SEO Spider是一个强大而灵活的网站爬虫，能够有效地抓取小型和超大型网站，同时允许您实时分析结果。它收集关键的现场数据，使SEO能够做出明智的决定。
查找断裂的链接
即时抓取网站，发现断链（404）和服务器错误。批量导出错误和源URL，以便修复，或发送给开发人员。
审计重定向
查找临时和永久重定向，识别重定向链和循环，或上传一个URL列表，以便在网站迁移中进行审计。
分析页面标题和元数据
在抓取过程中分析页面标题和元描述，找出那些过长、过短、缺失或在您的网站上重复的内容。
发现重复的内容
通过md5算法检查发现准确的重复URL，部分重复的元素，如页面标题、描述或标题，并发现低内容页面。
用XPath提取数据
使用CSS Path、XPath或regex从网页的HTML中收集任何数据。这可能包括社会元标签、额外的标题、价格、SKU或更多!
查看robots.txt和指令
查看被robots.txt、meta robots或X-Robots-Tag指令（如’noindex’或’nofollow’）封锁的URL，以及canonicals和rel=”next “和rel=”prev”。
生成XML网站地图
快速创建XML网站地图和图像XML网站地图，并对包含的URL、最后修改、优先级和更改频率进行高级配置。
与GA、GSC和PSI整合
连接到Google Analytics、Search Console和PageSpeed Insights APIs，在抓取过程中获取所有URL的用户和性能数据，以获得更深入的了解。
抓取JavaScript网站
使用集成的Chromium WRS渲染网页，抓取动态的、富含JavaScript的网站和框架，如Angular、React和Vue.js。
可视化网站架构
使用交互式抓取和目录强制导向图和树状图网站可视化，评估内部链接和URL结构。
安排审计
安排在选定的时间间隔内进行抓取，并自动将抓取数据导出到任何位置，包括谷歌表格。或者完全通过命令行进行自动化。
对比抓取和分期
追踪SEO问题和机会的进展，查看两次抓取之间的变化。使用先进的URL映射功能，对生产环境进行阶段性比较。
