Wordpress有哪些爬虫的防御措施

谢邀。我对WordPress没有研究,印象中它只是一个博客项目,对于这个层面上来说,你无法彻底阻挡爬虫。因为所有的反爬手段无非是增加爬虫的成本,同样的,你的成本也在增加。比如,你增加一个验证环节,你的计算成本也在上升。所以,反爬做到什么程度,需要具体项目具体分析。你可以搜索一下关键词 “反爬虫”就上我也看过不少优秀的思路。
■网友
谢邀!最新的WordPress版本没有摸过,那是6年前了,我把Drupal和WordPress都仔细研究了一下,当时他们都是架构特别好的框架,尤其Drupal。但是,发展这么多年,不知道是否增加了反爬机制。如果按照原先的架构设计原则,反爬不可能放在内核中,而是以可插拔的模块方式提供的,我猜测肯定会有第三方的反爬模块存在。至于反爬,也要从两方面来看,作为cms系统,根本上是希望各种爬虫尽量多地收录cms中的内容,在整个互联网流量中,很大部分的流量就是爬虫产生的(现在不知道机器流量有没有超过50%,我记得以前的文章说超过30%),我们用WordPress上一个网站的时候,更多的是考虑SEO,让爬虫爬起来更有效。另一方面,如果爬虫拼命爬你的网站,至少从心理上有点不太高兴。其实,根据我们自己网站内容的丰富程度来看,任何一个爬虫没有必要连续不断地爬我们的网站,因为他们也是要花费,除非他是刻意攻击你的网站。所以,我通常只用CMS中的黑名单模块,一旦发现一个网址很长期地没有意义地频繁爬取,就把这个网址加入黑名单。这个过程是手工看日志,手工加黑名单。如果想要特别智能的识别和屏蔽功能,应该查查WordPress的第三方模块,选一个合适的。


    推荐阅读