知识点：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。通常情况下，一个好的网络爬虫功能，能够有效的帮助你从搜索引擎的角度理解你网站的销量，提供有关您的网站搜索性能的详细报告，帮助您更好的优化你的网站，但值得注意的是一个好的网络爬虫工具必须要能够执行以下基本功能：

1、能够检测移动元素

随着移动互联网的发展，现如今很多的企业不仅建立了pc端的网站，同时也建设了移动端网站，好的爬虫工具必须要能够帮助你检测出您的网站上的哪些区域或功能可能无法在移动设备上正常显示，甚至明确的给出你相应的解决的办法或建议。

2、检测robot.txt文件和站点地图

关于这点，其实任何一个好的网络爬虫都应该要做到，不仅如此，不但要做到能够检测到这些文件，还应该检测一些不可索引的页面。由于托管的约束，有可能这些页面不会被搜索引擎编入索引，如：robot.txt文件中的特定阐释。

3、能够与Google Analytics（分析）连接

不可否认，Google Analytics（分析）工具已经成为当前的主流，深的很多seo优化的钟爱，因为它能够有效的监控你的工作效果以你可能需要改变的中心。因此，选择与Google Analytics（分析）集成的抓取工具或许能够让你的工作更加的轻松，因为您可以在一个位置查看所有报告。

4、及时发现破损的页面和链接

受损的不完整页面和链接会给用户造成不好的体验，而这也是为什么谷歌会建议各位seo优化的站长们定期检查网站页面或链接是否受损的重要原因。一个好的爬虫工具必须要能够⑴时间检测到你网站链接和页面的受损情况，甚至提供一个页面，而作为seo优化站长的你只需要直接更新软件仪表板中的链接即可。

5、识别重定向问题以及HTTP和HTTPS冲突

重定向经常在网络上出现，一个好的爬虫不仅应该检测错误的重定向，还应该帮你挑选审阅它们。另外，对于有多个网页和帖子的网站而言，确保每个指向您网站的链接都反映出新的状态可能令人望而生畏。但这却是衡量一个爬虫工具好坏的依据，好的爬虫工具应该能够检测到这些冲突，并为你提供简单的处理方式。

总之，一款好的爬虫工具，能够帮助您精简你的网站，提升你优化工作的效率，帮助你的网站发挥最大的价值，所以各位seo优化的站长们务必要选择一个好的爬虫工具哦！