【robots.txt】蜘蛛协议写法

1、User—Agent：定义搜索引擎类型（定义robots对哪个搜索引擎生效）

2、User—Agent：BaiduSpider（定义该协议只对百度搜索引擎生效）User—Agent：*（定义该协议协议对所有搜索引擎生效）

3、Disallow：定义搜索引擎禁止抓取收录地址

4、Disallow：/（代表着整站禁止搜索引宥牍险溶擎抓取，/代表着网站根目录），如果前期做了整站禁止搜索引擎抓取，后期蜘蛛将很长一段时间不会来网站进行抓取内容。Dis锾攒揉敫allow：/data/（代表着禁止蜘蛛抓取data目录后所有的页面）Disallow：/d（代表着data文件后边的网页被屏蔽）

5、原因：/d和路径中出现的目录词是相匹配的的，所以都会被屏蔽掉Disallow：/*？*屏蔽所有动漤逗庞俄态路径（动态链接中存在着？符号匹配）Disallow：/*.js$（屏蔽所有js文件）

6、Allow：定义允许抓取收录地址Allow：/seojishu/（代表着seojishu文件允许被抓取）

7、Disallow：/a/导致全站会被屏蔽，因为Disallow：/后边出现空格，建议写完robots在百度站长工具中效验一下是否有误。