Python爬取网页中的图片(搜狗图片)详解


Posted in Python onMarch 23, 2017

前言

最近几天,研究了一下一直很好奇的爬虫算法。这里写一下最近几天的点点心得。下面进入正文:

你可能需要的工作环境:

我们这里以sogou作为爬取的对象。

首先我们进入搜狗图片http://pic.sogou.com/,进入壁纸分类(当然只是个例子Q_Q),因为如果需要爬取某网站资料,那么就要初步的了解它…

Python爬取网页中的图片(搜狗图片)详解

进去后就是这个啦,然后F12进入开发人员选项,笔者用的是Chrome。

右键图片>>检查   

Python爬取网页中的图片(搜狗图片)详解

发现我们需要的图片src是在img标签下的,于是先试着用 Python 的 requests提取该组件,进而获取img的src然后使用 urllib.request.urlretrieve逐个下载图片,从而达到批量获取资料的目的,思路好了,下面应该告诉程序要爬取的url为http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD,此url来自进入分类后的地址栏。明白了url地址我们来开始愉快的代码时间吧:

在写这段爬虫程序的时候,最好要逐步调试,确保我们的每一步操作正确,这也是程序猿应该有的好习惯。笔者不知道自己算不算个程序猿哈。线面我们来剖析该url指向的网页。

import requests
import urllib
from bs4 import BeautifulSoup
res = requests.get('http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD')
soup = BeautifulSoup(res.text,'html.parser')
print(soup.select('img'))

output:

Python爬取网页中的图片(搜狗图片)详解

发现输出内容并不包含我们要的图片元素,而是只剖析到logo的img,这显然不是我们想要的。也就是说需要的图片资料不在url  即 http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD里面。因此考虑可能该元素是动态的,细心的同学可能会发现,当在网页内,向下滑动鼠标滚轮,图片是动态刷新出来的,也就是说,该网页并不是一次加载出全部资源,而是动态加载资源。这也避免了因为网页过于臃肿,而影响加载速度。下面痛苦的探索开始了,我们是要找到所有图片的真正的url 笔者也是刚刚接触,找这个不是太有经验。最后找的位置F12>>Network>>XHR>>(点击XHR下的文件)>>Preview。

Python爬取网页中的图片(搜狗图片)详解

发现,有点接近我们需要的元素了,点开all_items 发现下面是0 1 2 3...一个一个的貌似是图片元素。试着打开一个url。发现真的是图片的地址。找到目标之后。点击XHR下的Headers

得到第二行

Request URL:

http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15&width=1536&height=864,试着去掉一些不必要的部分,技巧就是,删掉可能的部分之后,访问不受影响。经笔者筛选。最后得到的url:http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15  字面意思,知道category后面可能为分类。start为开始下标,len为长度,也即图片的数量。好了,开始愉快的代码时间吧:

开发环境为Win7  Python 3.6,运行的时候Python需要安装requests,

Python3.6 安装requests 应该CMD敲入:

pip install requests

笔者在这里也是边调试边写,这里把最终的代码贴出来:

import requests
import json
import urllib

def getSogouImag(category,length,path):
 n = length
 cate = category
 imgs = requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category='+cate+'&tag=%E5%85%A8%E9%83%A8&start=0&len='+str(n))
 jd = json.loads(imgs.text)
 jd = jd['all_items']
 imgs_url = []
 for j in jd:
  imgs_url.append(j['bthumbUrl'])
 m = 0
 for img_url in imgs_url:
   print('***** '+str(m)+'.jpg *****'+' Downloading...')
   urllib.request.urlretrieve(img_url,path+str(m)+'.jpg')
   m = m + 1
 print('Download complete!')

getSogouImag('壁纸',2000,'d:/download/壁纸/')

程序跑起来的时候,笔者还是有点小激动的。来,感受一下:

Python爬取网页中的图片(搜狗图片)详解 

Python爬取网页中的图片(搜狗图片)详解 

至此,关于该爬虫程序的编程过程叙述完毕。整体来看,找到需要爬取元素所在url,是爬虫诸多环节中的关键

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
用Python的Django框架完成视频处理任务的教程
Apr 02 Python
Python 3.x 新特性及10大变化
Jun 12 Python
python 接口返回的json字符串实例
Mar 27 Python
python实现nao机器人身体躯干和腿部动作操作
Apr 29 Python
Python基于WordCloud制作词云图
Nov 29 Python
超全Python图像处理讲解(多模块实现)
Apr 13 Python
python判断一个变量是否已经设置的方法
Aug 13 Python
Python调用飞书发送消息的示例
Nov 10 Python
Python爬虫新手入门之初学lxml库
Dec 20 Python
详解Open Folder as PyCharm Project怎么添加的方法
Dec 29 Python
Python脚本调试工具安装过程
Jan 11 Python
django中websocket的具体使用
Jan 22 Python
Python编程之event对象的用法实例分析
Mar 23 #Python
Python中.py文件打包成exe可执行文件详解
Mar 22 #Python
python3中dict(字典)的使用方法示例
Mar 22 #Python
Python编程实现删除VC临时文件及Debug目录的方法
Mar 22 #Python
Python多线程经典问题之乘客做公交车算法实例
Mar 22 #Python
利用pyinstaller或virtualenv将python程序打包详解
Mar 22 #Python
python条件变量之生产者与消费者操作实例分析
Mar 22 #Python
You might like
用PHP查询搜索引擎排名位置的代码
2010/01/05 PHP
PHP中echo和print的区别
2014/08/28 PHP
使用XHGui来测试PHP性能的教程
2015/07/03 PHP
PHP将二维数组某一个字段相同的数组合并起来的方法
2016/02/26 PHP
js/ajax跨越访问-jsonp的原理和实例(javascript和jquery实现代码)
2012/12/27 Javascript
js 获取屏幕各种宽高的方法(浏览器兼容)
2013/05/15 Javascript
JS写的贪吃蛇游戏(个人练习)
2013/07/08 Javascript
js给onclick赋值传参数的两种方法
2013/11/25 Javascript
jQuery学习笔记之2个小技巧
2015/01/19 Javascript
js调出上下文菜单的实例
2015/12/17 Javascript
AngularJs表单验证实例代码解析
2016/11/29 Javascript
Bootstrap CSS组件之按钮组(btn-group)
2016/12/17 Javascript
thinkjs之页面跳转同步异步操作
2017/02/05 Javascript
基于代数方程库Algebra.js解二元一次方程功能示例
2017/06/09 Javascript
JavaScript标准对象_动力节点Java学院整理
2017/06/27 Javascript
JavaScript数据类型的存储方法详解
2017/08/25 Javascript
jQuery easyui datagird编辑行删除行功能的实现代码
2018/09/20 jQuery
vue下拉菜单组件(含搜索)的实现代码
2018/11/25 Javascript
判断“命令按钮”是否被鼠标单击详解
2019/07/31 Javascript
python爬取w3shcool的JQuery课程并且保存到本地
2017/04/06 Python
python2与python3中关于对NaN类型数据的判断和转换方法
2018/10/30 Python
快速排序的四种python实现(推荐)
2019/04/03 Python
关于 Python opencv 使用中的 ValueError: too many values to unpack
2019/06/28 Python
Django对models里的objects的使用详解
2019/08/17 Python
python装饰器练习题及答案
2019/11/01 Python
python 对任意数据和曲线进行拟合并求出函数表达式的三种解决方案
2020/02/18 Python
Python爬虫代理池搭建的方法步骤
2020/09/28 Python
阿根廷首家户外用品制造商和经销商:Montagne
2018/02/12 全球购物
运动会入场式解说词
2014/02/18 职场文书
营销部内勤岗位职责
2014/04/30 职场文书
售后客服工作职责
2014/06/16 职场文书
沙滩主题婚礼活动策划方案
2014/09/15 职场文书
小学假期安全广播稿
2014/09/28 职场文书
优秀学生干部事迹材料
2014/12/24 职场文书
2016年班主任新年寄语
2015/08/18 职场文书
电脑关机速度很慢怎么办 提升电脑关机速度设置教程
2022/04/08 数码科技