怎么用robort.txt禁止收录一级域名

1、首先我们来了解下robots.txt的书写要求，图示为百度robot的规则（其它浏览器通用）

2、首先，新建一个txt文档，内容开头是User-agent:项，我们想让其对所有的搜索引擎有效，设置为：User-agent:*

3、下一行我们声明禁止收录的殳陌抻泥页面，用Disallow：，规范是例如Disallow:/help 禁止rob泠贾高框ot访问/help.html、/helpabc.html、/help/index.htmlDisallow:/help/ 禁止robot访问help文件下的网页,允许访问/help.htmlDisallow: 允许访问所有url

4、禁止所有robot访问Disallow: /

5、下一行写入Allow：，忍劐瘴食允许访问的url可以写上面不允许访问目录中的个别url，使其可收录，例如Allow:/help/phone.html

6、最后我们可以加入我们站点的sitemap地址，方便收录。Sitemap: http://***.com/sitemap.xml

7、保存文档，放入站点根目录