爬虫爬取东航的航班信息,遭遇反爬,咋解决

楼上说的都很有道理。你实用selenium爬一下试试。firefox最好是46版本以下,安装在C盘。贴代码:# -*- coding: utf-8 -*-from selenium import webdriverimport timedef parser(): browser = webdriver.Firefox() browser.get(\u0026#39;http://www.ceair.com/flight2014/pvg-kmg-160730_CNY.html\u0026#39;) time.sleep(5) text = browser.page_source browser.close() return textss=parser()print ss其中get后面的链接自己改
■网友
八成http请求没有伪装好,被人发现了,比方header refer等字段, 直接用selenium + 浏览器 省心又省力
■网友
能否贴出部分主要代码 可以分析一下。
■网友
谢邀我的意见和楼上差不多........大概率是你的代码写岔了打开浏览器,F12,重新来一遍........
■网友
爬五天再换有点长了,其实对方对IP对访问频率限制是可以测出来的。
其他字段能用随机的都不要写死。
【爬虫爬取东航的航班信息,遭遇反爬,咋解决】 就这样。


    推荐阅读