江苏龙网

  1. 主页 > 生活百科 > >

python爬虫之Scrapy框架，基本介绍使用以及用框架下载图片案例

scrapy

一、Scrapy框架简介Scrapy是:由Python/ target=_blank class=infotextkey>Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据，只需要实现少量的代码，就能够快速的抓取 。
Scrapy使用了Twisted异步网络框架来处理网络通信，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活地实现各种需求 。
Scrapy可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中，其最初是为页面抓取(更确切地说是网络抓取)而设计的，也可以应用于获取API所返回的数据(例如Amazon Associates Web Services)或者通用的网络爬虫 。
二、Scrapy架构1、架构图
官方架构图

python爬虫之Scrapy框架，基本介绍使用以及用框架下载图片案例

文章插图
 
翻译架构图
python爬虫之Scrapy框架，基本介绍使用以及用框架下载图片案例

文章插图
 
2、组件
Scrapy主要包括了以下组件：
  • 爬虫中间件(Spider Middleware)：位于Scrapy引擎和爬虫之间的框架，主要用于处理爬虫的响应输入和请求输出 。
  • 调度器中间件(Scheduler Middleware)：位于Scrapy引擎和调度器之间的框架，主要用于处理从Scrapy引擎发送到调度器的请求和响应 。
  • 调度器（Scheduler）：用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回 。它就像是一个URL的优先队列，由它来决定下一个要抓取的网址是什么，同时在这里会去除重复的网址 。
  • 下载器中间件(Downloader Middleware)：位于Scrapy引擎和下载器之间的框架，主要用于处理Scrapy引擎与下载器之间的请求及响应 。代理IP和用户代理可以在这里设置 。
  • 下载器（Downloader）：用于下载网页内容，并将网页内容返回给爬虫 。
Scrapy引擎(ScrapyEngine)：用来控制整个系统的数据处理流程，并进行事务处理的触发 。
  • 爬虫（Spiders）：爬虫主要是干活的，用于从特定网页中提取自己需要的信息，即所谓的项目(又称实体) 。也可以从中提取URL，让Scrapy继续爬取下一个页面 。
  • 项目管道（Pipeline）：负责处理爬虫从网页中爬取的项目，主要的功能就是持久化项目、验证项目的有效性、清除不需要的信息 。当页面被爬虫解析后，将被送到项目管道，并经过几个特定的次序来处理其数据 。
3、运行流程
数据流(Data flow)，Scrapy中的数据流由执行引擎（ScrapyEngine）控制，其过程如下:
  1. 引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s) 。
  2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度 。
  3. 引擎向调度器请求下一个要爬取的URL 。
  4. 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader) 。
  5. 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎 。
  6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理 。
  7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎 。
  8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器 。
  9. (从第二步)重复直到调度器中没有更多地request，引擎关闭该网站
三、Scrapy安装以及生成项目1、下载安装
linux下载方式，直接安装
pip install scrapy或者pip3 install scrapy）windows 如果用Pycharm的话，在Pycharm底部打开命令终端
python爬虫之Scrapy框架，基本介绍使用以及用框架下载图片案例

文章插图
 
输入命令
pip install scrapy 
2、创建Scrapy项目
#创建一个叫ScrapyDemmoscrapy startproject ScrapyDemmo#进入项目文件夹cd ScrapyDemmo#创建一个名为baidu的爬虫，爬虫目标www.baidu.comscrapy genspider baidu www.baidu.com创建完成后，目录结构如下：
python爬虫之Scrapy框架，基本介绍使用以及用框架下载图片案例

文章插图
 

上一篇：OkHttp完美封装，用一行代码搞定外部请求，使用起来很方便

下一篇：装了.Net 7.0后，工程框架用 net6 的 dotnet watch 出错临时解决方案