怎样才能得到网站所有收录具体URL比如我想统计该网站目录收录了那些页面的具体URL

安装一个5118的seo插件工具5118站长工具箱 - 5118大数据就能实现了,可以检测到网站已收录或未收录的页面和链接,支持一键导出excel表格,很方便,而且还是免费的,基本上站长需要的东西都可以实现。
怎样才能得到网站所有收录具体URL比如我想统计该网站目录收录了那些页面的具体URL



■网友
批量采集+批量查询收录。不过也只能在网站规模不大的基础上。
■网友
就问题而言,只有每个url去查询这种方法,楼上两位都说得很清楚了不过,“百万级别的目录。。查询所有被收录的具体ur”,这其实是一个有点矛盾的需求?所以可能楼主实际的需求,不应该是通过查具体收录来解决。建议直接告知真实的需求。
■网友
好像没有什么好的方法,尤其是网站体量比较大或者是链接结构比较复杂的,用工具基本抓捕不全,如果自己的网站程序考虑通过后台逻辑去生成

■网友
【怎样才能得到网站所有收录具体URL比如我想统计该网站目录收录了那些页面的具体URL】
试试下面这两个工具
Sitemap 全站链接抓取 URL采集工具 - SEO查网页收录批量查询 SEO收录批量查询工具【百度 360 搜狗】- SEO查

■网友
1.入侵百度数据库:)2.把你的URL都列出来去搜索引擎搜索一下看看
■网友
大数据想要很精确的话是不可能查到的。你只能做一个估值,收录比。另外站长工具跟百度统计中的收录量都只是百度索引库里面的,他能作为一个趋势来判断「索引页面」的价值,不适用搜索引擎检索。
■网友
用每个url当关键词去搜索引擎搜索,如果结果里的地址和你搜的一样就说明被收录了


    推荐阅读