scrapy模拟登陆豆瓣为何产生NotImplementedError错误( 二 )

【scrapy模拟登陆豆瓣为何产生NotImplementedError错误】 自认为实现原理是:通过start_requests方法生成cookie并向登陆页面提交请求,得到响应后将post_login方法作为回调函数,再 由post_login方法提交有登录名和密码的表单成功登陆,并将after_login方法作为回调函数,after_login方法再将 start_urls中的网址依次迭代递交请求,并最终由parse_item对反馈的网页信息进行处理,其中的每次传递必须带着cookie进行传递, 因为只有爬每个网页都带上cookie,才能延续登陆状态。但这样编辑后,CrawlSpider所特有的Rule规则竟然不对网页中爬到的信息进行提取和跟进,虽然可以在parse_item方法中对爬到的数据进行删选,需要的网页可以继续爬取,需要的数据可以通过item反馈,但如此实用的Rule方法如何再让它工作起来?

■网友
没有在spider里面实现 parse()方法,把post_login 方法名改一下吧。


推荐阅读