怎样才能得到网站所有收录具体URL比如我想统计该网站目录收录了那些页面的具体URL
安装一个5118的seo插件工具5118站长工具箱 - 5118大数据就能实现了,可以检测到网站已收录或未收录的页面和链接,支持一键导出excel表格,很方便,而且还是免费的,基本上站长需要的东西都可以实现。
■网友
批量采集+批量查询收录。不过也只能在网站规模不大的基础上。
■网友
就问题而言,只有每个url去查询这种方法,楼上两位都说得很清楚了不过,“百万级别的目录。。查询所有被收录的具体ur”,这其实是一个有点矛盾的需求?所以可能楼主实际的需求,不应该是通过查具体收录来解决。建议直接告知真实的需求。
■网友
好像没有什么好的方法,尤其是网站体量比较大或者是链接结构比较复杂的,用工具基本抓捕不全,如果自己的网站程序考虑通过后台逻辑去生成
■网友
【怎样才能得到网站所有收录具体URL比如我想统计该网站目录收录了那些页面的具体URL】
试试下面这两个工具
Sitemap 全站链接抓取 URL采集工具 - SEO查网页收录批量查询 SEO收录批量查询工具【百度 360 搜狗】- SEO查
■网友
1.入侵百度数据库:)2.把你的URL都列出来去搜索引擎搜索一下看看
■网友
大数据想要很精确的话是不可能查到的。你只能做一个估值,收录比。另外站长工具跟百度统计中的收录量都只是百度索引库里面的,他能作为一个趋势来判断「索引页面」的价值,不适用搜索引擎检索。
■网友
用每个url当关键词去搜索引擎搜索,如果结果里的地址和你搜的一样就说明被收录了
推荐阅读
- 聪明人养花,这3种“花”怎样也要养一盆,每年能省不少医药费
- 三角梅冬天有“四怕”,避开了才能安全越冬,来年疯狂开花不停歇!
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起,QQ钱包开始提现收费
- 银行it人怎样转型
- 汽车|冬天怎样让车内温度快速升高?座椅加热的最佳使用方式二,外循环的作用总结
- 怎样进入通信行业
- 怎样评价扶他柠檬茶的小说《云养汉》的结尾
- 怎样成为一名合格的Python程序员?
- 怎样评价华为、诺基亚、中兴中标中国移动高端路由交换设备扩容集采
