快速了解robot文件
2019-12-23 20:54:13
来源:
扬州市新竹网络科技有限公司
何为Robots协议?Robots协议是国际互联网界通行的道德规范,基于以下原则建立:
1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;
2、网站有义务保护其使用者的个人信息和隐私不被侵犯。
何为robot文件?robots.txt是限制搜索引擎spider(或称为蜘蛛)收录或爬取您网站内容的一种文件。搜索引擎蜘蛛在网站中首先访问的文件就是robot文件,当然,也可以没有robot文件,不过spider会访问您的网站的所有页面。
robot文件有何作用?屏蔽您网站的死链接,限制spider爬取您的网站内容,保护您网站的隐私内容。例如您的后台目录,或者存有您个人信息的页面或目录。
如果您网站的重复页面或死链接过多,搜索引擎蜘蛛会认为您的网站不行,价值较低,就会降低您网站的权重,网站排名就会下降,如果创建了robot文件并写入了相应的规则,那么搜索引擎蜘蛛就不会爬取您限制的页面,您网站的权重与排名也就不会降低了。
如何构建robot文件?robot文件也没什么特殊的地方,就是一文本文件(txt)。新建一个文本文件,然后重命名为robots并在此文件中编写相应的规则,醉后上传到网站跟目录就行了,注意一定要放置到跟目录且文件名一定要小写,不然就失效了。
如何编写robot文件规则?
或许您没有太多的时间来了解并学会robot文件规则,那么您可以生成robot文件规则,当然,您需要一定的英语基础,并了解特定的名词。假设您有时间来学习的话,就往下看下面的规则。
现假设一个robot文件里面规则有:
User-agent: *
Disallow: /admin/
Disallow: /user/
规则解读为:所有的搜索引擎蜘蛛都不允许访问根目录的admin目录与user目录。
现在你可能就明白了,user-agent:后面输入的是欲限制搜索引擎蜘蛛的名称,*为全部限制,baiduspider为限制百度搜索引擎蜘蛛不可以访问。
disallow:后面追加的是欲限制蜘蛛访问的目录名称。
注意,不管你有多少个disallow,只要有一个后面为空或者只有一个/符号的,就是所以目录都可以访问。符号一定是英文符号。
robot文件只是一种规则,并不是强制约束搜索引擎蜘蛛,需要搜索引擎蜘蛛配合才有用,有些spider会不顾您的robot文件,擅自访问您的限制页面。不过,就目前而且,大部分spider是遵守的robots.txt规则的。
1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;
2、网站有义务保护其使用者的个人信息和隐私不被侵犯。
何为robot文件?robots.txt是限制搜索引擎spider(或称为蜘蛛)收录或爬取您网站内容的一种文件。搜索引擎蜘蛛在网站中首先访问的文件就是robot文件,当然,也可以没有robot文件,不过spider会访问您的网站的所有页面。
robot文件有何作用?屏蔽您网站的死链接,限制spider爬取您的网站内容,保护您网站的隐私内容。例如您的后台目录,或者存有您个人信息的页面或目录。
如果您网站的重复页面或死链接过多,搜索引擎蜘蛛会认为您的网站不行,价值较低,就会降低您网站的权重,网站排名就会下降,如果创建了robot文件并写入了相应的规则,那么搜索引擎蜘蛛就不会爬取您限制的页面,您网站的权重与排名也就不会降低了。
如何构建robot文件?robot文件也没什么特殊的地方,就是一文本文件(txt)。新建一个文本文件,然后重命名为robots并在此文件中编写相应的规则,醉后上传到网站跟目录就行了,注意一定要放置到跟目录且文件名一定要小写,不然就失效了。
如何编写robot文件规则?
或许您没有太多的时间来了解并学会robot文件规则,那么您可以生成robot文件规则,当然,您需要一定的英语基础,并了解特定的名词。假设您有时间来学习的话,就往下看下面的规则。
现假设一个robot文件里面规则有:
User-agent: *
Disallow: /admin/
Disallow: /user/
规则解读为:所有的搜索引擎蜘蛛都不允许访问根目录的admin目录与user目录。
现在你可能就明白了,user-agent:后面输入的是欲限制搜索引擎蜘蛛的名称,*为全部限制,baiduspider为限制百度搜索引擎蜘蛛不可以访问。
disallow:后面追加的是欲限制蜘蛛访问的目录名称。
注意,不管你有多少个disallow,只要有一个后面为空或者只有一个/符号的,就是所以目录都可以访问。符号一定是英文符号。
robot文件只是一种规则,并不是强制约束搜索引擎蜘蛛,需要搜索引擎蜘蛛配合才有用,有些spider会不顾您的robot文件,擅自访问您的限制页面。不过,就目前而且,大部分spider是遵守的robots.txt规则的。
本站文章均为新竹网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!感谢...
猜你喜欢
联络方式:
电话:18905275582
邮箱:1700970777@qq.com
微信公众号
![](/Upload/1521124001.jpg)
手机网站
![](/Upload/1521278558.png)
小程序
![](/Upload/1626752931.jpg)
我们猜你喜欢
-
影响网站体验的因素
做为一个网站的运营者,用户对我们的网站感到满不潢意,这对我们运营网站来说可是置关重要的,毕竟有了用户的支持我们网站才会有发展,没有了用户那我们的网站也没有了存在的意义,所以,为了提高用户对我们网站满意度,小编总结了几个会影响到用户体验的因素! &n...
-
免费的域名靠不靠谱?
扬州办公系统一、不利于网站优化 现在网络里面真正能够免费申请的域名资源其实是非常少的,基本上只有国内外 IDC 商才能够免费申请到一些域名,而且申请下来的域名大部分都是二、三级形式的域名,这些免费的二、三...
-
CRM系统的价格如何决定
越来越多的企业开始借助CRM来帮助自己优化管理,提升业绩,关于CRM的问题也多了起来,比如说CRM的价格。 经常有人问CRM的价格是多少,其实这个问题很难回答,因为CRM的价格从几百元到几十万元不等,其...
-
对于扬州新竹网络即将开发CRM/OA系统你有什么看法?
客户关系管理(CRM)的定义是:企业为提高核心竞争力,利用相应的信息技术以及互联网技术协调企业与顾客间在销售、营销和服务上的交互,从而提升其管理方式,向客户提供创新式的个性化的客户交互和服务的过程。其终目标是吸引新客户、保留老客户以及将已有客户转为忠实客户,增...
-
3·15晚会曝光:免费WiFi手机App根本连不上 免费WiFi暗藏漏洞
应用市场上,打着提供“免费WiFi连接”服务的应用程序比比皆是。真的可以免费吗?3·15信息安全实验室对此展开了专门的测试,测试人员尝试了所有罗列的WiFi资源,没有一个能连上。奇怪的是,连接测试结束后,两个...