Python爬取网页中的图片(搜狗图片)详解


Posted in Python onMarch 23, 2017

前言

最近几天,研究了一下一直很好奇的爬虫算法。这里写一下最近几天的点点心得。下面进入正文:

你可能需要的工作环境:

我们这里以sogou作为爬取的对象。

首先我们进入搜狗图片http://pic.sogou.com/,进入壁纸分类(当然只是个例子Q_Q),因为如果需要爬取某网站资料,那么就要初步的了解它…

Python爬取网页中的图片(搜狗图片)详解

进去后就是这个啦,然后F12进入开发人员选项,笔者用的是Chrome。

右键图片>>检查   

Python爬取网页中的图片(搜狗图片)详解

发现我们需要的图片src是在img标签下的,于是先试着用 Python 的 requests提取该组件,进而获取img的src然后使用 urllib.request.urlretrieve逐个下载图片,从而达到批量获取资料的目的,思路好了,下面应该告诉程序要爬取的url为http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD,此url来自进入分类后的地址栏。明白了url地址我们来开始愉快的代码时间吧:

在写这段爬虫程序的时候,最好要逐步调试,确保我们的每一步操作正确,这也是程序猿应该有的好习惯。笔者不知道自己算不算个程序猿哈。线面我们来剖析该url指向的网页。

import requests
import urllib
from bs4 import BeautifulSoup
res = requests.get('http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD')
soup = BeautifulSoup(res.text,'html.parser')
print(soup.select('img'))

output:

Python爬取网页中的图片(搜狗图片)详解

发现输出内容并不包含我们要的图片元素,而是只剖析到logo的img,这显然不是我们想要的。也就是说需要的图片资料不在url  即 http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD里面。因此考虑可能该元素是动态的,细心的同学可能会发现,当在网页内,向下滑动鼠标滚轮,图片是动态刷新出来的,也就是说,该网页并不是一次加载出全部资源,而是动态加载资源。这也避免了因为网页过于臃肿,而影响加载速度。下面痛苦的探索开始了,我们是要找到所有图片的真正的url 笔者也是刚刚接触,找这个不是太有经验。最后找的位置F12>>Network>>XHR>>(点击XHR下的文件)>>Preview。

Python爬取网页中的图片(搜狗图片)详解

发现,有点接近我们需要的元素了,点开all_items 发现下面是0 1 2 3...一个一个的貌似是图片元素。试着打开一个url。发现真的是图片的地址。找到目标之后。点击XHR下的Headers

得到第二行

Request URL:

http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15&width=1536&height=864,试着去掉一些不必要的部分,技巧就是,删掉可能的部分之后,访问不受影响。经笔者筛选。最后得到的url:http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15  字面意思,知道category后面可能为分类。start为开始下标,len为长度,也即图片的数量。好了,开始愉快的代码时间吧:

开发环境为Win7  Python 3.6,运行的时候Python需要安装requests,

Python3.6 安装requests 应该CMD敲入:

pip install requests

笔者在这里也是边调试边写,这里把最终的代码贴出来:

import requests
import json
import urllib

def getSogouImag(category,length,path):
 n = length
 cate = category
 imgs = requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category='+cate+'&tag=%E5%85%A8%E9%83%A8&start=0&len='+str(n))
 jd = json.loads(imgs.text)
 jd = jd['all_items']
 imgs_url = []
 for j in jd:
  imgs_url.append(j['bthumbUrl'])
 m = 0
 for img_url in imgs_url:
   print('***** '+str(m)+'.jpg *****'+' Downloading...')
   urllib.request.urlretrieve(img_url,path+str(m)+'.jpg')
   m = m + 1
 print('Download complete!')

getSogouImag('壁纸',2000,'d:/download/壁纸/')

程序跑起来的时候,笔者还是有点小激动的。来,感受一下:

Python爬取网页中的图片(搜狗图片)详解 

Python爬取网页中的图片(搜狗图片)详解 

至此,关于该爬虫程序的编程过程叙述完毕。整体来看,找到需要爬取元素所在url,是爬虫诸多环节中的关键

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
修改Python的pyxmpp2中的主循环使其提高性能
Apr 24 Python
Python实现常见的回文字符串算法
Nov 14 Python
Python网页正文转换语音文件的操作方法
Dec 09 Python
Django框架静态文件使用/中间件/禁用ip功能实例详解
Jul 22 Python
Python学习笔记之Django创建第一个数据库模型的方法
Aug 07 Python
python调用接口的4种方式代码实例
Nov 19 Python
Python 使用threading+Queue实现线程池示例
Dec 21 Python
python模拟预测一下新型冠状病毒肺炎的数据
Feb 01 Python
使用遗传算法求二元函数的最小值
Feb 11 Python
浅谈keras保存模型中的save()和save_weights()区别
May 21 Python
Python不支持 i ++ 语法的原因解析
Jul 22 Python
Pytorch实现图像识别之数字识别(附详细注释)
May 11 Python
Python编程之event对象的用法实例分析
Mar 23 #Python
Python中.py文件打包成exe可执行文件详解
Mar 22 #Python
python3中dict(字典)的使用方法示例
Mar 22 #Python
Python编程实现删除VC临时文件及Debug目录的方法
Mar 22 #Python
Python多线程经典问题之乘客做公交车算法实例
Mar 22 #Python
利用pyinstaller或virtualenv将python程序打包详解
Mar 22 #Python
python条件变量之生产者与消费者操作实例分析
Mar 22 #Python
You might like
如何在PHP中使用Oracle数据库(2)
2006/10/09 PHP
写php分页时出现的Fatal error的解决方法
2011/04/18 PHP
php数组查找函数总结
2014/11/18 PHP
php使用array_search函数实现数组查找的方法
2015/06/12 PHP
PHP模板引擎Smarty内建函数详解
2016/04/11 PHP
强悍无比的WEB开发好助手FireBug(Firefox Plugin)
2007/01/16 Javascript
原生javascript实现图片轮播效果代码
2010/09/03 Javascript
jquery监控数据是否变化(修正版)
2011/04/12 Javascript
JavaScript中this关键词的使用技巧、工作原理以及注意事项
2014/05/20 Javascript
js实现的牛顿摆效果
2015/03/31 Javascript
jQuery实现鼠标经过时高亮,同时其他同级元素变暗的效果
2016/09/18 Javascript
利用React-router+Webpack快速构建react程序
2016/10/27 Javascript
jQuery删除当前节点元素
2016/12/07 Javascript
Angular指令封装jQuery日期时间插件datetimepicker实现双向绑定示例
2017/01/22 Javascript
关于vuex的学习实践笔记
2017/04/05 Javascript
Nuxt.js实现校验访问浏览器类型的中间件
2018/08/24 Javascript
在微信小程序中使用图表的方法示例
2019/04/25 Javascript
koa2 数据api中间件设计模型的实现方法
2020/07/13 Javascript
详解C++编程中一元运算符的重载
2016/01/19 Python
解决python2.7用pip安装包时出现错误的问题
2017/01/23 Python
PyTorch中反卷积的用法详解
2019/12/30 Python
最新PyCharm从安装到PyCharm永久激活再到PyCharm官方中文汉化详细教程
2020/11/17 Python
零件设计自荐信范文
2013/11/27 职场文书
预备党员的自我评价
2014/03/12 职场文书
农民工工资支付承诺函
2014/03/31 职场文书
社会实践先进工作者事迹材料
2014/05/06 职场文书
诚信的演讲稿范文
2014/05/12 职场文书
城市轨道交通工程职业生涯规划书范文
2014/09/16 职场文书
标准离婚协议书(2014版)
2014/10/05 职场文书
工作失职检讨书500字
2014/10/17 职场文书
交通事故协议书范本
2014/11/18 职场文书
男方家长婚礼致辞
2015/07/27 职场文书
2016年心理学教育培训学习心得体会
2016/01/12 职场文书
Oracle 区块链表创建过程详解
2021/05/15 Oracle
CSS作用域(样式分割)的使用汇总
2021/11/07 HTML / CSS
在js中修改html body的样式
2021/11/11 Javascript