Python爬虫案例，腾讯动漫爬虫，步骤超详细解释，源码分析 _Python爬虫案例

实施步骤(1) 数据爬取：使用requests请求为基础获取数据源。
(2) UA伪装：模拟浏览器访问网址。
(3) 数据解析：使用xpath语法处理数据。
(4) 数据存储：获取需求数据后使用Excrl进行存储
目标网址https://ac.qq.com/Comic/all/search/hot/page/1
库的使用Openpyxl：openpyxl 模块是一个读写 Excel 2010 文档的 Python 库，如果要处理更早格式的 Excel 文档，需要用到其它库（如：xlrd、xlwt 等），这是 openpyxl 比较其他模块的不足之处。openpyxl 是一款比较综合的工具，不仅能够同时读取和修改 Excel 文档，而且可以对Excel文件内单元格进行详细设置，包括单元格样式等内容，甚至还支持图表插入、打印设置等内容，使用 openpyxl 可以读写xltm, xltx, xlsm, xlsx 等类型的文件，且可以处理数据量较大的 Excel 文件，跨平台处理大量数据等。
Requests：requests是基于Python开发的HTTP 库，与urllib标准库相比，它不仅使用方便，而且能节约大量的工作。实际上，requests是在urllib的基础上进行了高度的封装，它不仅继承了urllib的所有特性，而且还支持一些其它的特性，比如使用Cookie保持会话、自动确定响应内容的编码等，可以轻而易举地完成浏览器的任何操作。
Lxml：lxml是一个Python库，使用它可以轻松处理XML和html文件，还可以用于web爬取。这个库的主要优点是易于使用，在解析大型文档时速度非常快，归档的也非常好，并且提供了简单的转换方法来将数据转换为Python数据类型，从而使文件操作更容易。
数据采集简单分析网页后发现该网页翻页操作可通过对url的相关参数修改得知。

文章插图

测试如下：

文章插图

进行多次测试得知通过对url相关参数修改的确实现了换页功能。
！！！！！！
共292页，我们可以通过简单的for循环实现每一页的替换。

文章插图

for n in range(293): 请求数据对url进行修饰后使得for循环的参数可以对请求的目标网址url进行影响。
url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'因为绝大多数门户网站的服务器会检测对应请求的载体身份标识，如果检测到载体身份标识为某一浏览器说明该请求是一个正常请求. 但是！如果检测到请求载体身份标识不是基础于某一款浏览器的，则表示该请求为不正常请求（爬虫），则服务器端就很有可能拒绝该次请求。所以为了应对我们进行一点小小的操作UA伪装（UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器）

文章插图

这里我们直接复制浏览器的UA让爬虫携带上就可以进行UA伪装了。

headers={"User-Agent":'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/85.0.4183.83 Safari/537.36'}

综上所述采集获取部分如下：

for n in range(293):url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'}response = requests.get(url=url,headers=headers)

数据分析
首先对采集的数据进行简单的处理。
response = response.text
tree = etree.HTML(response)
对网址进行检查分析。