江苏龙网

  1. 首页 > 人文 > >

python来爬取煎蛋网随手拍小姐姐图片

前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 。
作者：程序员喧啸
本文使用了requests模块进行发送请求 ， 使用了BeautifulSoup模块对网页进行解析 ， 在使用之前首先安装这两个第三方库；方法如下：
安装requests库pipinstallrequests2.安装bs4库
pipinstallbs4PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取
我们打开煎蛋网 ， 看到了首页上面有信息---随手拍 ， 而我们的主要任务就是爬取随手拍的图片将其进行保存 。
忘了说 ， 网址是这个
#comments 开始分析网页源代码 ， 提取相关信息 。 那我们以什么样的思路来进行爬虫的设计呢？稍加思考 ， 聪明的你立即有了想法 ， 我们首先爬取整张网页的信息 ， 之后在该网页中提取原图的保存地址 ， 最后通过请求图片的地址 ， 将图片进行保存 。 我们大体上有了一个思路 ， 开始最有趣并且好玩的代码编写吧 。
首先右击页面选择审查元素（快捷键为Fn+F12） ， 之后再点击左上角的定位符号来定位图片被存在哪一个标签里面 。 其次我们要将该页面的源码爬取下来 ， 以便于下一步解析网页 ， 直接上代码来分析 。对以下代码的注释：
我们可以看到定义了一个函数get_totle_page(url) ， 说的高大上一点 ， 我们采用了模块化的程序设计思想；此处我们说另外一个高大上的名词 ， 即UA伪装 ， 现在好多网站都建立了反爬虫机制 ， UA伪装便是为了告诉浏览器我们的身份是一个浏览器 ， 而不是一个爬虫 ， 防止被限制访问 。 globalheaders由于接下来我们需要访问图片的地址 ， 发送请求信息将其存储下来 ， 所以我们将headers定义为全局变量 ， 方便请求图片的时候使用 。 很明显 ， 程序中我们还加入了异常处理机制 ， 可以这么理解 ， 当程序连接失败的时候进行异常处理 ， 返回值为None 。 defget_totle_page(url):globalheadersheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/78.0.3904.108Safari/537.36'}try:response=requests.get(url,headers=headers)ifresponse.status_code==200:returnresponse.textexceptrequests.ConnectionError:print("请求数据失败!!!")returnNone通过以上的操作 ， 我们发现图片存储在里面的
下的每个标签里面 。 其原图的地址保存在里面的下的标签中的标签的属性值"href"中 。
这一步是将图片的地址链接解析出 ， 我的想法是创建一个空列表totle_list=[]进行存储图片的地址链接 。 还是一样的风格 ， 简单粗暴 ， 直接上代码 。
我们使用的是BeautifulSoup来解析网页 ， 先来“煲一锅汤”
soup=BeautifulSoup(html,"lxml")前面我们分析了图片的具体保存的标签位置 ， 下面进行解析：
div=soup.find('div',attrs={'id':'comments'})ol_list=div.find(name='ol')forolinol_list.find_all(name='li'):try:text_list=ol.find('div',attrs={'class':'text'})#print(text_list)globala_lista_list='http:'+text_list.p.a['href']#print(a_list)totle_list.append(a_list)except:pass#print(totle_list)returntotle_list需要特别说明的一点 ， 在煎蛋网随手拍的网页上面有广告信息 ， 然而广告信息也保存在
标签里面 ， 所以在解析的过程我们需要跳过保存广告的标签进行解析图片 ， 所以我们加入了异常处理机制 ， 若标签里面没有 ， 直接跳过该标签 ， 解析下一个标签 。 再下来
我们就需要将解析的图片地址链接进行二进制数据的本地存储了 ， 为了保持我们一贯的整洁作风 ， 咳咳咳 ， 此处需要来一张图修饰一下······
有意无意的插上一句 ， os库是python的内置库 ， 在使用之前不需要特殊进行安装 ， 调用即可 。
ifnotos.path.exists('./picture_Libs'):os.mkdir('./picture_Libs')接下来进行请求图片的地址链接 ， 将图片进行本地的保存 。
循环遍历请求totle_list里面保存的图片的地址链接 ， 图片是二进制文件 ， 所以使用了response.content 。 img_path='./picture_Libs/'+totle.split('/')[-1]对于该语句是说明了图片的本地保存地址 ， 我们选的是新建的文件夹下面 ， 用split()语句以“/”对地址连接进行分割 ， 选择分割之后的最后一部分作为图片的名字来进行保存 。
fortotleintotle_list:try:response=requests.get(url=totle,headers=headers)ifresponse.status_code==200:response.encoding=response.apparent_encodingimg_data=https://pcff.toutiao.jxnews.com.cn/p/20200811/response.contentexceptTimeoutError:print('请求超时！！！')img_path='./picture_Libs/'+totle.split('/')[-1]#print(img_path)withopen(img_path,'wb')asfp:fp.write(img_data)最后
我们通过主函数将我们的各个功能模块串联起来 ， 话不多说 ， 上完整代码啦 。
我爬取的url是""+str(i)+"#comments"在爬取煎蛋网随手拍的时候 ， 可自行去观察url的不同 ， 来寻找规律 ， 来构建url进行爬取 。 importrequestsfrombs4importBeautifulSoupimportlxmlimportosdefget_totle_page(url):globalheadersheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/78.0.3904.108Safari/537.36'}try:response=requests.get(url,headers=headers)ifresponse.status_code==200:returnresponse.textexceptrequests.ConnectionError:print("请求数据失败!!!")returnNonedefget_content_page(html):soup=BeautifulSoup(html,"lxml")totle_list=[]div=soup.find('div',attrs={'id':'comments'})ol_list=div.find(name='ol')forolinol_list.find_all(name='li'):try:text_list=ol.find('div',attrs={'class':'text'})#print(text_list)globala_lista_list='http:'+text_list.p.a['href']#print(a_list)totle_list.append(a_list)except:pass#print(totle_list)returntotle_listdefsave_img_list(message):ifnotos.path.exists('./picture_Libs'):os.mkdir('./picture_Libs')fortotleinmessage:try:response=requests.get(url=totle,headers=headers)ifresponse.status_code==200:response.encoding=response.apparent_encodingimg_data=https://pcff.toutiao.jxnews.com.cn/p/20200811/response.contentexceptTimeoutError:print('请求超时！！！')img_path='./picture_Libs/'+totle.split('/')[-1]#print(img_path)withopen(img_path,'wb')asfp:fp.write(img_data)defmain():foriinrange(6):url=""+str(i)+"#comments"html=get_totle_page(url)message=get_content_page(html)#print(html)save_img_list(message)if__name__=="__main__":main()【python来爬取煎蛋网随手拍小姐姐图片】运行程序之后 ， 我们发现了好多好看的小姐姐保存在了我创建的文件夹里面 ， 哇 ， 没想到一打开一张就是一个背影杀手呀 ， 我这该死的运气 。


    推荐阅读


    上一篇：泡泡|ASTALIFT最新泡泡精华，拯救毛孔粗大和皮肤下垂！

    下一篇：中国|乘风破浪35载，大宝正当年