用实例告诉你怎么写robots.txt文件

1、不任何搜索引擎收录任务目录和文件：（这样用法一般在建站初期，很多文件在进行修改阶段。）

2、让所有目录和文件都可以让所有搜索引擎收录：（这样写虽然很简单，但是对搜索引擎可是很不友好的）　

3、不想让某个搜索引擎的访问你的网站，这样也不会被那个搜索引擎收录啦（针对某个搜索引擎，用法可以根据你自己的实际情况设置）　

4、只允许某个搜索引擎的访问你的网站，同时要设置其他搜索引擎不允许访问才行（针对某个搜索引擎，用法可以根据你自己的实际情况设置）

5、设置网站的某个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。（平时使用的最多，一般设置参数文件夹，管理文件夹等）　需要注意的是对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。