Python爬取网页中的图片(搜狗图片)详解


Posted in Python onMarch 23, 2017

前言

最近几天,研究了一下一直很好奇的爬虫算法。这里写一下最近几天的点点心得。下面进入正文:

你可能需要的工作环境:

我们这里以sogou作为爬取的对象。

首先我们进入搜狗图片http://pic.sogou.com/,进入壁纸分类(当然只是个例子Q_Q),因为如果需要爬取某网站资料,那么就要初步的了解它…

Python爬取网页中的图片(搜狗图片)详解

进去后就是这个啦,然后F12进入开发人员选项,笔者用的是Chrome。

右键图片>>检查   

Python爬取网页中的图片(搜狗图片)详解

发现我们需要的图片src是在img标签下的,于是先试着用 Python 的 requests提取该组件,进而获取img的src然后使用 urllib.request.urlretrieve逐个下载图片,从而达到批量获取资料的目的,思路好了,下面应该告诉程序要爬取的url为http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD,此url来自进入分类后的地址栏。明白了url地址我们来开始愉快的代码时间吧:

在写这段爬虫程序的时候,最好要逐步调试,确保我们的每一步操作正确,这也是程序猿应该有的好习惯。笔者不知道自己算不算个程序猿哈。线面我们来剖析该url指向的网页。

import requests
import urllib
from bs4 import BeautifulSoup
res = requests.get('http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD')
soup = BeautifulSoup(res.text,'html.parser')
print(soup.select('img'))

output:

Python爬取网页中的图片(搜狗图片)详解

发现输出内容并不包含我们要的图片元素,而是只剖析到logo的img,这显然不是我们想要的。也就是说需要的图片资料不在url  即 http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD里面。因此考虑可能该元素是动态的,细心的同学可能会发现,当在网页内,向下滑动鼠标滚轮,图片是动态刷新出来的,也就是说,该网页并不是一次加载出全部资源,而是动态加载资源。这也避免了因为网页过于臃肿,而影响加载速度。下面痛苦的探索开始了,我们是要找到所有图片的真正的url 笔者也是刚刚接触,找这个不是太有经验。最后找的位置F12>>Network>>XHR>>(点击XHR下的文件)>>Preview。

Python爬取网页中的图片(搜狗图片)详解

发现,有点接近我们需要的元素了,点开all_items 发现下面是0 1 2 3...一个一个的貌似是图片元素。试着打开一个url。发现真的是图片的地址。找到目标之后。点击XHR下的Headers

得到第二行

Request URL:

http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15&width=1536&height=864,试着去掉一些不必要的部分,技巧就是,删掉可能的部分之后,访问不受影响。经笔者筛选。最后得到的url:http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15  字面意思,知道category后面可能为分类。start为开始下标,len为长度,也即图片的数量。好了,开始愉快的代码时间吧:

开发环境为Win7  Python 3.6,运行的时候Python需要安装requests,

Python3.6 安装requests 应该CMD敲入:

pip install requests

笔者在这里也是边调试边写,这里把最终的代码贴出来:

import requests
import json
import urllib

def getSogouImag(category,length,path):
 n = length
 cate = category
 imgs = requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category='+cate+'&tag=%E5%85%A8%E9%83%A8&start=0&len='+str(n))
 jd = json.loads(imgs.text)
 jd = jd['all_items']
 imgs_url = []
 for j in jd:
  imgs_url.append(j['bthumbUrl'])
 m = 0
 for img_url in imgs_url:
   print('***** '+str(m)+'.jpg *****'+' Downloading...')
   urllib.request.urlretrieve(img_url,path+str(m)+'.jpg')
   m = m + 1
 print('Download complete!')

getSogouImag('壁纸',2000,'d:/download/壁纸/')

程序跑起来的时候,笔者还是有点小激动的。来,感受一下:

Python爬取网页中的图片(搜狗图片)详解 

Python爬取网页中的图片(搜狗图片)详解 

至此,关于该爬虫程序的编程过程叙述完毕。整体来看,找到需要爬取元素所在url,是爬虫诸多环节中的关键

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
使用70行Python代码实现一个递归下降解析器的教程
Apr 17 Python
Python简单爬虫导出CSV文件的实例讲解
Jul 06 Python
Python实现的序列化和反序列化二叉树算法示例
Mar 02 Python
python实现月食效果实例代码
Jun 18 Python
Django 查询数据库并返回页面的例子
Aug 12 Python
Python hashlib模块加密过程解析
Nov 05 Python
Python ini文件常用操作方法解析
Apr 26 Python
Keras中的多分类损失函数用法categorical_crossentropy
Jun 11 Python
tensorflow 动态获取 BatchSzie 的大小实例
Jun 30 Python
Python如何输出百分比
Jul 31 Python
如何Tkinter模块编写Python图形界面
Oct 14 Python
Python中Selenium对Cookie的操作方法
Jul 09 Python
Python编程之event对象的用法实例分析
Mar 23 #Python
Python中.py文件打包成exe可执行文件详解
Mar 22 #Python
python3中dict(字典)的使用方法示例
Mar 22 #Python
Python编程实现删除VC临时文件及Debug目录的方法
Mar 22 #Python
Python多线程经典问题之乘客做公交车算法实例
Mar 22 #Python
利用pyinstaller或virtualenv将python程序打包详解
Mar 22 #Python
python条件变量之生产者与消费者操作实例分析
Mar 22 #Python
You might like
PHP输出九九乘法表代码实例
2015/03/27 PHP
PHP单元测试配置与使用方法详解
2019/12/27 PHP
PHP7生产环境队列Beanstalkd用法详解
2020/05/19 PHP
学习YUI.Ext第七日-View&JSONView Part Two-一个画室网站的案例
2007/03/10 Javascript
通过上下左右键和回车键切换光标实现代码
2013/03/08 Javascript
js 时间格式与时间戳的相互转换示例代码
2013/12/25 Javascript
javascript 控制input只允许输入的各种指定内容
2014/06/19 Javascript
node.js中的url.format方法使用说明
2014/12/10 Javascript
jQuery实现平滑滚动页面到指定锚点链接的方法
2015/07/15 Javascript
解决jQuery uploadify在非IE核心浏览器下无法上传
2015/08/05 Javascript
javascript中日期函数new Date()的浏览器兼容性问题
2015/09/05 Javascript
vue router路由嵌套不显示问题的解决方法
2017/06/17 Javascript
jquery实现左右轮播图效果
2017/09/28 jQuery
浅谈vue-router2路由参数注意的问题
2017/11/08 Javascript
Javascript中prototype与__proto__的关系详解
2018/03/11 Javascript
Vue el-autocomplete远程搜索下拉框并实现自动填充功能(推荐)
2019/10/25 Javascript
如何编写一个 Webpack Loader的实现
2020/10/18 Javascript
js实现简单的轮播图效果
2020/12/13 Javascript
[02:40]DOTA2英雄基础教程 先知
2013/11/29 DOTA
Python最基本的输入输出详解
2015/04/25 Python
Flask框架实现给视图函数增加装饰器操作示例
2018/07/16 Python
Python 实现try重新执行
2019/12/21 Python
Python实现GIF图倒放
2020/07/16 Python
Django如何继承AbstractUser扩展字段
2020/11/27 Python
解决TensorFlow训练模型及保存数量限制的问题
2021/03/03 Python
JD Sports比利时官网:英国领先的运动鞋和运动服饰零售商
2018/10/10 全球购物
澳大利亚波希米亚风时尚品牌:Tree of Life
2019/09/15 全球购物
大学生毕业自我鉴定
2013/11/06 职场文书
12月小学生校园广播稿
2014/02/04 职场文书
毕业生找工作自荐书
2014/06/30 职场文书
元旦晚会活动总结
2014/07/09 职场文书
写字楼租赁意向书
2014/07/30 职场文书
2014年质量管理工作总结
2014/12/01 职场文书
横店影视城导游词
2015/02/06 职场文书
毕业论文致谢范文
2015/05/14 职场文书
Moment的feature导致线上bug解决分析
2022/09/23 Javascript