robot协议robot协议查看

投稿用户 • • 电商运营 • 阅读 25

robots meta 标签 和 robots.txt 有什么区别？

1、robots

robots 一般是指位于网站根目录下的 robots.txt 文件，例如 https://www.fuyeor.com/robots.txt 位于根目录下。

robots.txt 这是一个纯文本文件，网站可以声明网站不想被搜索引擎访问，或者指定的搜索引擎只包含指定的内容。robots.txt 内容将直接影响搜索引擎对网站的收集。

搜索引擎抓取网站时，会先访问根目录 robots.txt 如果有，文件是有依据的 robots.txt 抓取内容规则，默认可以抓取。

2、robots meta 标签

meta robots 是在网站 <head> </head> 中以 meta 以标签形式表达 robots 例如：

<meta name="robots" content="参数">

meta name="robots&#34；代表所有搜索引擎[1]，也可以针对某个搜索引擎，只需要robots用搜索引擎的蜘蛛名代替。搜索引擎的蜘蛛名称有:

  • Google：Googlebot
  • Bing：bingbot
  • Yandex：Yandexbot
  • Baidu：baiduspider

比如想让 Google 不包括网站，可以：

<meta name="Googlebot" content="nofollow">

而 content 指令有六个选项，即 index、follow、noindex、nofollow、all和none，它们的含义是：

  • index:指示搜索引擎索引本页；
  • noindex:指示搜索引擎禁止索引本页；
  • follow:指令搜索引擎可以跟踪本页上的链接；
  • nofollow:禁止指示搜索引擎跟踪本页上的链接；
  • all:相当于index和follow指令的总和，指令搜索引擎可以索引页面，也可以跟踪页面上的链接；
  • none相当于noindex和nofollow指令的总和，指令搜索引擎禁止索引页面和跟踪页面上的链接。

content参数可以写在一起，用逗号分开，如下:

<meta name="robots" content="noindex,nofollow">

参考资料

Robots Meta 共享标签的所有用法

robots.txt 文件的 Disallow 和 Allow 顺序有区别吗？

为什么夸克搜索引擎不遵守？robots规则，这是什么意思？

SEOer 一些基本的前端代码知识需要知道

如何在搜索引擎的图片搜索结果中排除网站的图片？

参考

  1. ^Robots Meta 共享标签的所有用法 https://docs.fuyeor.com/answer/5950.html

好了，这篇文章的内容就和大家分享到这里，如果大家对网赚副业项目资源感兴趣，可以添加微信：beng6655  备注：项目 ！

本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 sumchina520@foxmail.com 举报，一经查实，本站将立刻删除。
如若转载，请注明出处：https://www.hzy3.com/7989.html
赞 (0)
投稿用户
0
上一篇 2022年11月23日 am6:15
下一篇 2022年11月23日 am8:13

相关推荐