网站robots文件的作用以及如何写

1、一.robots的原理robots文件的作用刚也说到了，一般搜索引擎蜘蛛会优先访问网站内部的robots文件，根据文件内设置的规则不再去抓取那些你像要屏蔽的网页网址。

2、二.robots的文件格式1.Disallow:该项的值用于描述不希望被抓取的URL链接2.Allow:该项的值用于描述希望被抓取的URL链接3.User-agent:该项的值用于描述搜索引鲎血赜牵擎robot的名字

3、三.robots的文件存放位置通常robots文件直接存放于网站ftp后台的根目录路径即可，一般搜索引擎蜘蛛优先发文的也是网站的根目录下的robots。

4、四.robots的文件格式通常robots的文件格式用一般的txt文本格式即可，保存的字符编码为utf-8标准字符即可。

5、五.robots的通配符介绍星号*，表示匹配0个或多个任意字符；美元符号$，表示行结束符；