beautifulsoup与scrapy 这两者之间有啥区别
bs可以离线解释html文件,但是获取html文件是由用户的其他行为的定义的,比如urllib或者request而scrapy是一个完整的获取程序,只需要把网址贴上去,就会自动去爬。 省去很多用户需要关注的细节。
■网友
前者是html/xml解析用的后者是一个爬虫框架
■网友
如果真要写爬虫,个人倾向于beautifulsoup,这个模块可以很灵活到运用在各种框架中.而scrapy由于他本身到完成,反而局限性受到了很大到抑制
■网友
轮子和车子的区别。前者要依附于一个程序,后者自己就能跑。
推荐阅读
- scrapy抓取豆瓣报出403错误
- BeautifulSoup处理html文档的过程是怎么样的分为几个步骤
- scrapy怎样提升抓取速度
- 在MAC10.11.6版本环境上想把scrapy安装在Python3上,无法安装,请问有啥解决办法
- scrapy 分布式咋实现
- Python的scrapy爬虫,在获取初始网页的links后,怎样进一步爬取
- Scrapy无法在终端创建项目
- 关于Python BeautifulSoup解析页面内容丢失的问题
- 大数据和人工智能未来的方向,以及两者之间有何区别和联系
- 大神,快来拯救一下我,scrapy爬虫该咋学习
