scrapy模拟登陆豆瓣为何产生NotImplementedError错误( 二 )
【scrapy模拟登陆豆瓣为何产生NotImplementedError错误】 自认为实现原理是:通过start_requests方法生成cookie并向登陆页面提交请求,得到响应后将post_login方法作为回调函数,再 由post_login方法提交有登录名和密码的表单成功登陆,并将after_login方法作为回调函数,after_login方法再将 start_urls中的网址依次迭代递交请求,并最终由parse_item对反馈的网页信息进行处理,其中的每次传递必须带着cookie进行传递, 因为只有爬每个网页都带上cookie,才能延续登陆状态。但这样编辑后,CrawlSpider所特有的Rule规则竟然不对网页中爬到的信息进行提取和跟进,虽然可以在parse_item方法中对爬到的数据进行删选,需要的网页可以继续爬取,需要的数据可以通过item反馈,但如此实用的Rule方法如何再让它工作起来?
■网友
没有在spider里面实现 parse()方法,把post_login 方法名改一下吧。
推荐阅读
- 关于用phpfsocket 写Post, 模拟http 报文怎样写入要传输的处理数据
- 普通车|全新本田锋范两厢版实车亮相,率先登陆泰国市场,替代飞度!
- 环球车讯网|科二和科三的模拟考试,成为过关“技巧”,有必要花这个钱吗?
- 汽车|阿斯顿·马丁携DB家族登陆2020年广州国际车展
- 汽车市场|燃油汽车即将“退出”历史舞台,我国或将凭借实力“抢滩登陆”
- 高考|重磅! 教育部命题! 2021新高考官方模拟考时间确定! 连考3天, 统一改卷!
- 有啥比较好的物理运动模拟软件,解决简单运动学问题
- 锋范|最先登陆泰国,发动机带VTEC技术,全新锋范两厢版官图发布
- 高考|重磅! 教育部命题! 2021高考官方模拟考时间确定! 连考3天, 统一改卷!
- 趣头条|新一代锋范两厢版官图发布 率先登陆泰国市场/提供众多改装套件
