robot协议robot协议查看

robots meta 标签 和 robots.txt 有什么区别?

1、robots

robots 一般是指位于网站根目录下的 robots.txt 文件,例如 https://www.fuyeor.com/robots.txt 位于根目录下。

robots.txt 这是一个纯文本文件,网站可以声明网站不想被搜索引擎访问,或者指定的搜索引擎只包含指定的内容。robots.txt 内容将直接影响搜索引擎对网站的收集。

搜索引擎抓取网站时,会先访问根目录 robots.txt 如果有,文件是有依据的 robots.txt 抓取内容规则,默认可以抓取。

2、robots meta 标签

meta robots 是在网站 <head> </head> 中以 meta 以标签形式表达 robots 例如:

<meta name="robots" content="参数"> 

meta name="robots&#34;代表所有搜索引擎[1],也可以针对某个搜索引擎,只需要robots用搜索引擎的蜘蛛名代替。搜索引擎的蜘蛛名称有:

  • Google:Googlebot
  • Bing:bingbot
  • Yandex:Yandexbot
  • Baidu:baiduspider

比如想让 Google 不包括网站,可以:

<meta name="Googlebot" content="nofollow"> 

而 content 指令有六个选项,即 index、follow、noindex、nofollow、all和none,它们的含义是:

  • index:指示搜索引擎索引本页
  • noindex:指示搜索引擎禁止索引本页;
  • follow:指令搜索引擎可以跟踪本页上的链接
  • nofollow:禁止指示搜索引擎跟踪本页上的链接;
  • all:相当于index和follow指令的总和,指令搜索引擎可以索引页面,也可以跟踪页面上的链接;
  • none相当于noindex和nofollow指令的总和,指令搜索引擎禁止索引页面和跟踪页面上的链接。

content参数可以写在一起,用逗号分开,如下:

<meta name="robots" content="noindex,nofollow"> 

参考资料

Robots Meta 共享标签的所有用法

robots.txt 文件的 Disallow 和 Allow 顺序有区别吗?

为什么夸克搜索引擎不遵守?robots规则,这是什么意思?

SEOer 一些基本的前端代码知识需要知道

如何在搜索引擎的图片搜索结果中排除网站的图片?

参考

  1. ^Robots Meta 共享标签的所有用法 https://docs.fuyeor.com/answer/5950.html

好了,这篇文章的内容就和大家分享到这里,如果大家对网赚副业项目资源感兴趣,可以添加微信:beng6655  备注:项目

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 sumchina520@foxmail.com 举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.hzy3.com/7989.html