python爬虫模拟登陆定期更换cookies
requests 可以自动管理 cookie
■网友
一般网站面对一个陌生的用户, 都会分发一个cookie, 用来记录这个用户的一些浏览行为. 所以如果一个IP的请求都不带cookie, 那很显然不是正常用户访问, 这时候往往根据IP直接封禁了.
那为什么带了cookie, 网站就不会用IP来封禁了呢?
因为好多公司或者学校等可能出口IP并不多, 总不能因为一个用户干坏事, 就连累所有用户吧. 所以这时候网站往往先封请求量大的cookie, 实在扛不住再封IP.
cookie为什么要更新?
因为cookie本身是有过期时间的, 网站往往会用新的cookie替换旧的cookie, 如果你不更新, 拿着一个失效的cookie去访问, 和没有cookie差不了多少.
如何更新cookie?
比如使用requestsr = requests.get(\u0026#39;http://baidu.com\u0026#39;, cookies=old_cookies)new_cookies = r.cookies# 新返回的就是更新后的cookies, 保存就好了 【python爬虫模拟登陆定期更换cookies】
■网友
获取cookie通常比较麻烦，可能是用浏览器自动或手动获取，然后给无界面爬虫用。一般用一个专门的进程获得cookie，存起来，其他进程拿来用，所以叫做池。啥，你啥网站都可以快速搞定，那不用看答案了。
■网友
一般手动，因为变量太多，人类的requests搞不定
推荐阅读
- 怎样成为一名合格的Python程序员?
- python 爬虫，咋获得输入验证码之后的搜索结果
- 关于用phpfsocket 写Post， 模拟http 报文怎样写入要传输的处理数据
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 零基础入门学习啥语言好
- Python3.4和3.5区别大么
- python 中 def_（）：...... return _有啥作用
- 新互联网网站用Java还靠谱么对比Php，Python，Ruby的话
- 30岁男，创业失败转行学python，是否很晚?也不好找工作?
- Python 的开发速度比 C#.net 或 Vb.net 更快吗?