江苏龙网

  1. 首页 > 生活 > >

robots.txt 怎样根据某个单词禁止爬虫访问特定URL?

noindex 是告诉搜索引擎不要收录这个页面(百度还不支持)nofollow是告诉搜索引擎不要爬行页面的链接也不要给权重。 给页面的部分链接添加nofollow标签，不能起到减少链接分散权重的办法，增加页面内其他权重。因为Google（百度不知道）是根据页面的总权重和链接总数量（包括加了nofollow的链接）来计算每个链接的导出的权重，添加nofollow，只能屏蔽这部分的导出，而无法增加其他链接的权重。但是为什么还要添加nofollow呢？这是因为页面权重的问题，例如，很多网站的联系我们，所有的页面都有链接，这样的页面的权重一定会高过单一内容页，会抢其他页面的权重。而这样的页面却没有搜索的价值，所以使用nofollow标签。还有就是有些页面会造成内部竞争，如商城根据不同排序条件所产生的页面，标题重复，内容差异不大，这类的页面也要屏蔽。Meta \u0026lt;meta name="robots" content="NOINDEX,FOLLOW" /\u0026gt;适用于网站内的大量模板页面，如有些网站的评论页，是单独的页面。每个文章的评论如果没有的时候，就全部都是相同的页面，这样会产生重复页面，可以设置搜索引擎不用去收录。但是页面上的链接还可以传递权重，让蜘蛛爬行。 \u0026lt;meta name="robots" content="INDEX,NOFOLLOW" /\u0026gt;收录页面，不爬行链接，其实index可以省略。这样适合一些不想导出链接的页面。 \u0026lt;meta name="robots" content="NOINDEX,NOFOLLOW" /\u0026gt;就是告诉搜索引擎不要收录也不要爬行链接。\u0026lt;a\u0026gt;如果不想搜索引擎爬行特定的链接，将此标记直接写在某条链接上： \u0026lt;a href="https://www.zhihu.com/api/v4/questions/20075056/signin.php" rel="nofollow"\u0026gt;sign in\u0026lt;/a\u0026gt; ---------------------------------------其实 蜘蛛爬行时间不是一个需要你考虑的问题。结合自己的情况来部署就好了。单个页面通常是不会再robots.txt中屏蔽的。
■网友
可以 比如： User-agent: *Disallow: /*?replytocom=* 可以禁止爬行所有带?replaytocom=的url，而楼主的规则可以这样写： Disallow: /*-noneedword-*.html 更多的可以参考： 我的robots.txt文件 http://liboseo.com/robots.txt 百度的robots规则 http://www.baidu.com/search/robots.html Google关于robots的说明 http://support.google.com/webmasters/bin/answer.py?hl=zh-Hans\u0026amp;answer=156449
■网友
非常简单噢，仔细看看下面这个链接里的文字，介绍的非常详细。robots_官方课件_站长学院_百度站长平台
■网友
楼上的很详细 可以看看百度百科 或者Google官方的说明


    推荐阅读


    上一篇：求教win32原生单选按钮互斥的原理

    下一篇：YunOs5.0的发布，会给市场带来咋样的变化