为啥提到爬虫就想到Python

现身说法beautifulsoup + requests + PyV8不说轻松写意的分析html和动态执行js,光是自动管理session和字典似的cookie管理方式,都省了很多事。
■网友
提到Python并不一定想到爬虫啊 按我一般会最先想到科学计算 然后是web framwork 接下来会想到可以用来快速实现想法原型 之后才会想到爬虫,可以作为游戏脚本语言,etc………所以第一个问题其实不太成立啦。至于为何说到爬虫就想到 Python ,当然是因为方便简单呐。Python 自带的 urllib,re 库就能应对小爬虫的需要啦再复杂一点有request,beautifulsoup,lxml想要爬 js 多的 Python 也有实现了仿浏览器的库另外还有多线程的 Scrapy 框架当然自己实现多线程也是可以滴。另外由于Python各种库非常完备,无论是想爬图片,爬文字 然后 整理成对应格式,都是不复杂的。所以我们这些初学者,当然是什么(写起来)简单用什么呗……就像MFC和WPF都能写Windows GUI,恩,反正我是不想用MFC了现在……--------感谢 @王德明 提醒确实,Scrapy不是多线程而是非阻塞的(也就是异步请求),嗯嗯。 想要详细了解可以戳:Architecture overview咳咳,我因为从开始学就是用 Python 3.x,而Scrapy目前还没支持到所以没有用过……因为当初搜索了一下只有个大概印象,妄加描述了实在不好意思。


    推荐阅读