scrapy结合splash处理（ajax）分页抓取?( 三 )
其实原理很简单,就是进去找到下一页的元素位置,然后.click()就好,页面解析我选择了beautifulsoup,你可以选择你顺手的.楼主想要一个通用的模板来处理上万不同的网站这个有点难啊,哪怕scrapy不同的网页也要写不同的selector,毕竟网页的模板时不同的,这里只提供一个思路,刚开始学爬虫,有什么问题还请提出.
■网友
谢邀,看了一下,不用翻页的,已经都把这5页74条数据都写在网页源码里面了,只不过没有完全显示出来.
这是最后一条,在源码里面一搜就有了.
■网友
谢邀，页面加载的问题selenium处理的比较智能。splash我也只是简单用，还不会实现同样功能。比如selenium可以等待某个元素可以点击：elementToBeClickablefrom selenium.webdriver.support import expected_conditions as ECwait = WebDriverWait(driver, 10)element = wait.until(EC.element_to_be_clickable((By.ID,\u0026#39;someid\u0026#39;)))还可以等待某个元素已经显示，等等。在它的文档里有详细介绍。
■网友
不知道这个问题你现在有没有好的办法解决呢？？？
■网友
splash dockers中是自动释放资源吗？
推荐阅读
- 贝聊是一个啥样的产品
- 专家：提升中国特色心脏病防治水平应中西医结合、内外科联合
- 小儿|优势互补！产康与小儿推拿的完美结合！
- 和VR结合得最好的手机是哪个品牌
- 功夫汽车|汽车和艺术的结合，会产生怎样的“钜浪”？广汽传祺告诉你答案
- 共享单车和共享汽车有结合点吗
- 趣头条|【爱车大征集】智能舒适的轿跑SUV，超强的动力结合更加的年轻化
- 医学在未来会和互联网紧密结合吗有哪些方向丁香园又会向哪些方向发展
- android应用的splash是“中国特色”还是有用的东西
- 云计算，物联网和工业4.0能否真正的结合，我们还有多远的路要走