网络爬虫是合法的吗

在网站根目录下一般会有robots.txt来说明该网站的允许爬取得范围在遵守相关网站的robots.txt情况下是没有法律问题的。不遵守一般网站自己会通过技术手段屏蔽你,影响严重是可以诉诸法律的这里就有个案例:解读百度就“违反Robots协议”向360巨额索赔:一场数据争夺战
■网友
爬虫与反爬虫一直都有争论


    推荐阅读