为啥提到爬虫就想到Python
现身说法beautifulsoup + requests + PyV8不说轻松写意的分析html和动态执行js,光是自动管理session和字典似的cookie管理方式,都省了很多事。
■网友
提到Python并不一定想到爬虫啊 按我一般会最先想到科学计算 然后是web framwork 接下来会想到可以用来快速实现想法原型 之后才会想到爬虫,可以作为游戏脚本语言,etc………所以第一个问题其实不太成立啦。至于为何说到爬虫就想到 Python ,当然是因为方便简单呐。Python 自带的 urllib,re 库就能应对小爬虫的需要啦再复杂一点有request,beautifulsoup,lxml想要爬 js 多的 Python 也有实现了仿浏览器的库另外还有多线程的 Scrapy 框架当然自己实现多线程也是可以滴。另外由于Python各种库非常完备,无论是想爬图片,爬文字 然后 整理成对应格式,都是不复杂的。所以我们这些初学者,当然是什么(写起来)简单用什么呗……就像MFC和WPF都能写Windows GUI,恩,反正我是不想用MFC了现在……--------感谢 @王德明 提醒确实,Scrapy不是多线程而是非阻塞的(也就是异步请求),嗯嗯。 想要详细了解可以戳:Architecture overview咳咳,我因为从开始学就是用 Python 3.x,而Scrapy目前还没支持到所以没有用过……因为当初搜索了一下只有个大概印象,妄加描述了实在不好意思。
推荐阅读
- 为啥看到书柜上的藏书会有心旷神怡的感觉
- 为啥知乎上普便有一种【我在北上广深打工,所以拥有更好的视野】这样的错觉
- 为啥工商银行的用户体验如此之差
- 汽车|看了中消协4S店服务测评调查结果,终于知道法系车为啥卖不好了
- 你为啥从窝窝商城离职?
- 销量|探险者:用诚意换销量,不寒碜
- 为啥5G和2.4G默认的BSSID是相同的
- 为啥电器实体店的价格比淘宝贵那么多
- python 爬虫,咋获得输入验证码之后的搜索结果
- 现在在线学习视频有很多了,为啥大部分人还是喜欢下载下来观看
