网页下拉到一定的位置才加载下一部分的网页要咋爬取(Python)?
使用firebug插件观察求格式
■网友
说个思路，这个和ajax有关，先分析网页里获取json的格式与方法，在让Python模拟发送请求获取json数据，这样就能抓到你想要的内容了
■网友
对于这种下拉刷新的页面，可以使用无头浏览器（例如chrome的headless模式）打开，然后用scrollTo()方法或设置scrollTop属性先让页面往下滚动至出现分页按钮，然后再进行抓取。如果容易获取到其AJAX API的话，那就优先使用API。
■网友
抓包，你会看到网址特征
■网友
【网页下拉到一定的位置才加载下一部分的网页要咋爬取(Python)?】 请问楼主这个问题怎么处理的呢？最近碰到了类似的问题
■网友
请问你这个问题怎么处理的？碰到了类似的问题
推荐阅读
![[生肖]进入七月份，桃花运格外旺，月老千里牵姻缘，注定要脱单的4生肖](http://img88.010lm.com/img.php?https://image.uc.cn/s/wemedia/s/2020/de633fb902dea6a005549fc76ae58b41.jpg)
- PS网页版
- 网页设计和嵌入式哪个发展好一点?
- Foxmail、Outlook等邮件客户端，哪个综合体验更好，与网页邮箱相比又怎样
- 图像特征提取时，灰度共生矩阵的方向是咋确定的
- 1、相同的网址，为啥浏览器http和https都能登录，而爬虫不行\n2、网页下载内容不全
- 手绘二维码可以被扫描出来吗
- 为啥我无法保存一个网页的完整html文件
- 业界有啥稳定的，可靠的，可用性较强的音频测试量化方法
- 能否在网页搜索中加入点赞机制，从而个性化搜索引擎
- 有啥网页适合当做浏览器首页