sitemap X怎么用来抓取网站

1、首先我们安装sitemap X这个软件，并且打开

2、打开之后，系统会提示我们新建工程，并选择组，这些只是为了分类清晰，随便填写即可。

3、在页面中我们可以看到工程名称，base地址，抓取文件目录深度等选项。按提示正常填写，重点是base地址请填写网站首页，抓取深度以网站的层次结构为主，可以选择最大值。然后下一步

4、在新的页面，我们选择生成 sitemap页面的格式，最大网址数量，每页的权重值，继续下一步。

5、在页面中，选择是否生成robots.txt文件，以及文字中我们允许与不允许的页面。然后直接点击抓爬即可。

6、抓爬成功之后，页面会显示已经抓取的网址，可以直接选择生成文件，然后上传到劐聂赞陶根目录，首页添加sitemap链接，即可让百度可以及时抓取网站内整体内容