python中爬虫直接访问网页和用request作为镜像访问网页的区别?
你说得没错,urlopen(url) 相当于快捷方式。
■网友
urllib2的文档中有介绍的HOWTO Fetch Internet Resources Using urllib2。后一种方式允许你在http请求之前做一些准备工作,比如设置请求头、代理等,贴一个文档中的例子import urllibimport urllib2url = \u0026#39;http://www.someserver.com/cgi-bin/register.cgi\u0026#39;user_agent = \u0026#39;Mozilla/5.0 (Windows NT 6.1; Win64; x64)\u0026#39;values = {\u0026#39;name\u0026#39;: \u0026#39;Michael Foord\u0026#39;, \u0026#39;location\u0026#39;: \u0026#39;Northampton\u0026#39;, \u0026#39;language\u0026#39;: \u0026#39;Python\u0026#39; }headers = {\u0026#39;User-Agent\u0026#39;: user_agent}data = https://www.zhihu.com/api/v4/questions/27555712/urllib.urlencode(values)req = urllib2.Request(url, data, headers)response = urllib2.urlopen(req)the_page = response.read()设置诸如请求头或者代理、cookie等的目的是因为某些网站(应该说是大部分网站)都会对http头信息进行一些检测,所以需要设置上述参数等来伪装成真实用户请求
■网友
如果你要添加一堆其他的头的时候 第二个就不行了…
推荐阅读
- 怎样成为一名合格的Python程序员?
- 孕妇到了预产期,小孩还没有入盆,请问是该等下去还是直接剖腹产
- python 爬虫,咋获得输入验证码之后的搜索结果
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- |为了人气这么拼?千万网红钟婷为了流量,直接挂掉自己眉毛
- 为啥腾讯要关闭ios端的赞赏,而不是将支付费用直接乘以1.43倍
- 普通车|想买大型SUV就别等了这3款车现大降价,途昂直接优惠一辆卡罗拉
- 零基础入门学习啥语言好
- 哪个数据库,可以直接做数据透视图(navicat类的也可以)
- 为啥微信没有为安卓平板推出客户端
