当前位置:武汉seo > SEO优化干货 > 正文

什么是robots协议?robots文件格式与写法

网站基本提升有很多,在其中robots协议便是这其中之一,今日就来谈一谈百度搜索robots协议分析,有关robots协议写法的有关难题。写好robots协议文件有利于人们的网站迅速的收录及维护好网站。

什么是robots协议?

它是给于网站与搜索引擎蜘蛛中间的一种协议文件,因此 其还可以称作网络爬虫协议或是智能机器人协议。

而百度搜索百度站长工具得出的官方网称呼是“爬虫清除规范”,根据这一文件网站管理人员能够要求搜索引擎蜘蛛赶到网哪里可以抓取,哪儿不可以抓取。

什么是robots协议?robots文件格式与写法

robots协议的实际意义

全部网站是由网站內容,程序流程,数据库查询信息内容这些有关的组成在一起构建起來的,而网站里边的东西并不是任何东西都需打百度搜索蜘蛛抓取收录的,有的东西不可以让其收录,如网站后台管理详细地址、登陆信息内容,网站模版文件这些,这种东东西假如被蜘蛛爬收录了,不但会减少网站排行的收录网页页面评分,还会继续泄漏网站重要信息。

robots协议文件的文件格式

User-agent:

此项的值用以叙述百度搜索引擎robot的名称,在"robots.txt"文件中,如果有好几条User-agent纪录表明有好几个robot会得到该协议的限定,对该文件而言,最少要有一条User-agent纪录。

假如此项的值设为*,则该协议对所有设备平均合理,在"robots.txt"文件中,"User-agent:*"那样的纪录只有有一条。

一般全是用"User-agent:*",容许全部模块搜索引擎蜘蛛到网站收录网页页面。

Disallow:

此项的值用以叙述不期望被浏览到的一个URL,这一URL能够是一条详细的途径,还可以是一部分的,一切以Disallow开始的URL均不容易被robot浏览到。

robots协议写法举例说明

比如:

"Disallow:/help"

对/help.html和/help/index.html都不允许百度搜索引擎浏览,

而"Disallow:/help/"

则容许robot浏览/help.html,而无法浏览/help/index.html。

一切一条Disallow纪录为空,表明该网站的任何部位都容许被浏览,在"robots.txt"文件中,最少要有一Disallow纪录。

假如"robots.txt"是一个空文件,则针对任何的百度搜索引擎robot,该网站全是开放式的。

robots.txt文件放到哪儿?

robots协议应当放到网站网站根目录下边,当搜索引擎蜘蛛来啦网站时第一时间是查询robots文件协议,随后会依据这一文件的协议标准来对网站內容开展抓取及收录网页页面。

未经允许不得转载:

作者:Keither, 转载或复制请以 超链接形式 并注明出处 武汉seo
原文地址:《什么是robots协议?robots文件格式与写法》 发布于2021-09-03

分享到:
赞(0)