Xenu网站URL提取工具免费下载,模仿蜘蛛抓取全站链接以及站外链接,使用教程!

向宇峰 发表于 2015-6-12 16:20:02 | 查看: 10653 | 回复: 9
今天阿峰给大家分享一个工具-Xenu网站URL提取本文最后附件工具可直接下载
主要功能:
模仿蜘蛛抓取网站全站所有页面连接 图片 CSS JS 等连接,并且检测连接是否有效,是否404.自动检测404,错误链接,有效链接可提交百度。对于seo有很大帮助,建议大家都下载下来检测一下自己的网站,工具是英文版的,如有不懂英文的可以百度一下Xenu教程。
并且这个工具还可以抓取站外链接,没有加nofollow标签的很轻松就找到并且添加上。

使用教程:
1.首先我们来新建遍历网站,一般情况下,我建议有多域且页面较多一个一个域来排查,否则很容易产生死角。打开xenu后 文件-检查网址即可新建一个项目。
141725cwjcpl3c4rc3q3wf.png

2.配置项目,我们可以在这里输入我们要排查的网址,多子域且子域内容较多的建议一个子域一个子域进行排查,不建议勾选检查外部链接。在使用过程中大家可以把一些不必要检查的项目排除掉,这样会提高遍历的速度。
141726ze8lyto3ygllueso.png

3.高级配置。这一步一般站点收录量不大,对性能要求不高的可以不用设置,直接跳过这步。
在更多选择中我们可以设置线程数,线程数越高速度越快,同时占用系统资源越高,对站点的压力也会越大,如果站点的服务器空间性能不是特别好,或者在使用该工具过程中遇到站点挂了。可以在这里减少增加线程,部分电脑比较卡的也可以通过调低线程数量来缓解卡顿。
这里有一个层数建议大家要特别注意,因为这涉及到遍历的逻辑,一般情况写3-5即可,看网站的层级是否复杂,如果遍历出来的结果不够完整,大家可以调高最大层数。
141726dmmuzwzvzioquscw.png

4.设置完成后点击确定,程序就会开始遍历URL,这个时候建议数量较多的不要把程序放本地电脑,以免影响工作。
5.程序跑完后会询问是否需要报表,看大家需要可以自动生成报表,不过在这里我建议一部分朋友,第一次跑完后点菜单栏:文件-重试无法访问的链接。在让程序确认一遍这些链接是否是真的无法访问。
142924ebbyelj1ele3t4ct.png   
6.在说明一下,在这里列出的链接除了200状态外,其他的都在,包括301的也在这里显示。从上图大家可以看到,我还有很多这样错误的301链接还存在对外入口。那么这些链接我必须删除或者替换成为新的链接格式。查看方式很简单,点击链接右键属性,就可以看到这个错误的链接在哪些页面中保留入口了。一般标准化页面的错误,我们通过该工具可以一次性排查掉。一般301 302 这里都会返回没有返回信息,而404会返回状态没有找到。当然如果量更大建议可以导出excel里面去排查。
这里排查的时候有个技巧:点击菜单栏“视图”-勾选“只显示无效链接”,这样哪些正确的链接就不见了。

143415926i0dgfdg8d22t7.png
另外这个工具还可以去挖掘某个页面内部链接的数量和位置等等信息。

不会使用的请加QQ群:231557566 问我(群主)或者群员。

工具下载:(回复可见)
Xenu网站URL提取.zip (339.4 KB, 下载次数: 10540)

收藏 回复 显示全部楼层 道具 举报

匿名  发表于 2016-3-9 17:40:14
下载用了,很好用,xenu的确是抓取全站页面url 不错的工具 ,感谢博主分享。

回复 道具

匿名  发表于 2016-6-21 12:59:01
撒旦法师打发王菲王菲

回复 道具

匿名  发表于 2016-10-16 18:10:11
wddddddddddddd

回复 道具

宝宝双-喷嘴&过滤器-栋源 匿名  发表于 2016-12-28 15:05:57
感谢博主,我下载了怎么是英文的呀

回复 道具

匿名  发表于 2017-2-3 13:59:20
我下载了怎么是英文的呀

回复 道具

匿名  发表于 2017-2-12 16:46:20
好浩浩浩浩浩浩浩浩浩浩浩浩浩浩浩浩号

回复 道具

匿名  发表于 2017-2-12 16:46:44
好好好好好好好好好好好好

回复 道具

匿名  发表于 2017-3-21 17:06:24
好好好好好好好

回复 道具

匿名  发表于 2017-11-9 11:19:15
发地方

回复 道具

访客可直接回复,无需注册!
高级模式
B Color Image Link Quote Code Smilies @朋友 |上传

楼主 : 向宇峰

  • 收听TA
  • 加好友
  • 发消息
  • 打招呼
关注微信订阅号
    部分文章将会更新至微信订阅号
    微信添加好友搜索:xyfeng168
    或扫描下面二维码
    微信二维码
一直专注于网站优化 - 网络推广 - 网络营销 - 微信运营 - 网站建设

Copyright © 2013 向宇峰博客 版权所有
浙ICP备13033857号

返回顶部