欢迎光临欧亿注册SEO培训工作室,我们提供系统专业的网站搜索引擎优化实战培训
当前位置: 欧亿_欧亿注册 >> 欧亿注册 >>robots.txt文件,robots协议,robots.txt有什么作用

robots.txt文件,robots协议,robots.txt有什么作用

其实就是指Robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

而承载这些协议的文件就是robots.txt文件,那么robots.txt文件到底有啥用途,robots协议应该怎么写,有哪些注意事项,笔者在本文将详细跟大家介绍。

一、robots.txt文件的含义,robots.txt有什么作用

前面有提到,这个文本文件承载着robots协议,它告诉所有搜索引擎本网站哪些页面可以被抓取,哪些页面禁止抓取。这样做有两方面的意义:

1.保护隐私。有些页面信息不想或者说不能让外界看到,单搜索引擎并不知道这些情况,它还是会照常抓取、展现。如果我们通过设置robots做了限制,搜索引擎蜘蛛就会放弃抓取,外界就不能通过搜索引擎了解到这些隐秘信息。

2.调节页面抓取量。我们都知道每个网站。

三、robots.txt文件相关注意事项

有朋友说我的网站没有什么要禁止抓取的,你就不要设置robots.txt文件了吧,理论上行得通。不过,笔者建议,即便全部开放也最好设置一个robots文件,如本站的文件:http://www.jzwly.com/robots.txt。

PS:关注过本网站的朋友应该有印象,笔者说过本站是11月6号才有正式有蜘蛛抓取,为什么之前几天没有呢,问题就出在robots文件上!之前本站并没有设置这个文件,连续3天都没有蜘蛛抓取,笔者再三检查也没有发现有限制的地方,最后意识可能是robots的问题。在设置了robots.txt文件以后,当天便有蜘蛛正常抓取了。

四、robots.txt文件的位置

放在网站根目录下,在链接url的显示就是:http://www.abc.com/robots.txt,其中www.abc.com就是网站域名。

五、robots文件生成

有朋友提到有没有直接生产robots文件的工具,笔者认为这完全没有必要,robots文件应该手动去具体设置,这样才能发挥robots.txt文件最大的作用。

本文只是对robots.txt文件做了大体意义上的讲解,更多robots协议请参考百度百科资料http://baike..com/item/robots%E5%8D%8F%E8%AE%AE/2483797。

已帮助 6676 人

本站内容大部分由欧亿_欧亿注册原创,少部分内容来源于网络,如有侵权请与我们联系,我们会及时删除!
责任编辑:欧亿注册 | 发布时间:2020年02月25日14点32分52秒 | 本文永久地址为 http://www.jzwly.com/seo/34.html

评论列表(参与对robots.txt文件,robots协议,robots.txt有什么作用一文的评论):

1.再见  2018-05-01 17:30:13 回复该评论
robots.txt协议也是有讲究的哦?

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

欧亿注册SEO培训,提供系统专业的欧亿平台培训,帮助大家更快掌握SEO优化技巧。同时免费提供前沿的欧亿注册资料,这些实战欧亿注册都是经验积累,相信能给大家带来启示!

欧亿_欧亿注册地址:广州.厦滘 | 推荐:百度搜索指数如何刷