这个网站是咋反爬虫的,我该咋办?

headers = {\u0026#39;Accept-Language\u0026#39;:\u0026#39;zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3\u0026#39;} 加上这个就行了
■网友
【这个网站是咋反爬虫的,我该咋办?】 这个网站是咋反爬虫的,我该咋办?

这个网站是咋反爬虫的,我该咋办?

这个网站我也试过,刚开始就是用headers,但是403,并不是频率的问题。主要是headers要全面,这样是可以返回数据的。
■网友
你可以先测试下频率,多块的频率会被认为是爬虫。然后确保你的headers和ff的headers是完全一样。
■网友
我猜是网站设了单位时间内同IP访问的上限。可以在爬虫里加上扒了几个页面后暂停一会儿再继续,也可以设置扒几次以后就换IP,几个IP来回切换着用。


    推荐阅读