终于有人把Scrapy爬虫框架讲明白了( 二 ) _Scrapy

文章插图
▲图8-2 框架组件数据流

引擎打开网站，找到处理该网站的爬虫并向该爬虫请求第一个要爬取的URL 。
引擎从爬虫中获取到第一个要爬取的URL，并在调度器中以请求调度。
引擎向调度器请求下一个要爬取的URL 。
调度器返回下一个要爬取的URL给引擎，引擎通过下载中间件转给下载器。
一旦页面下载完毕，下载器便会生成一个该页面的响应，并通过下载器中间件将其发送给引擎。
引擎从下载器中接收到响应并通过爬虫中间件发送给爬虫处理。
爬虫处理响应，并返回爬取到的项目及新的请求给引擎。
引擎将爬虫爬取到的项目传给项目管道，将爬虫返回的请求传给调度器。
从第2步重复直到调度器中没有更多的请求，引擎便会关闭该网站。

03 Scrapy框架中的Selector当我们取得了网页的响应之后，最关键的就是如何从繁杂的网页中把我们需要的数据提取出来，Python中常用以下模块来处理HTTP文本解析问题：

BeautifulSoup：作为程序员间非常流行的网页分析库，它通常基于html代码的结构来构造一个Python对象，对不良标记的处理也非常合理，但它有一个缺点，就是“慢” 。
lxml：一个基于ElementTree的Python化的XML解析库。

我们可以在Scrapy中使用任意熟悉的网页数据提取工具，如上面的两种，但是，Scrapy本身也为我们提供了一套提取数据的机制，我们称之为选择器Selector，它通过特定的XPath或者css表达式来选择HTML文件中的某个部分。
XPath是一门用来在XML文件中选择节点的语言，也可以用在HTML上。CSS是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。
Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式，功能全面、解析速度快且和准确度高。