Python爬取网页中的图片(搜狗图片)详解


Posted in Python onMarch 23, 2017

前言

最近几天,研究了一下一直很好奇的爬虫算法。这里写一下最近几天的点点心得。下面进入正文:

你可能需要的工作环境:

我们这里以sogou作为爬取的对象。

首先我们进入搜狗图片http://pic.sogou.com/,进入壁纸分类(当然只是个例子Q_Q),因为如果需要爬取某网站资料,那么就要初步的了解它…

Python爬取网页中的图片(搜狗图片)详解

进去后就是这个啦,然后F12进入开发人员选项,笔者用的是Chrome。

右键图片>>检查   

Python爬取网页中的图片(搜狗图片)详解

发现我们需要的图片src是在img标签下的,于是先试着用 Python 的 requests提取该组件,进而获取img的src然后使用 urllib.request.urlretrieve逐个下载图片,从而达到批量获取资料的目的,思路好了,下面应该告诉程序要爬取的url为http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD,此url来自进入分类后的地址栏。明白了url地址我们来开始愉快的代码时间吧:

在写这段爬虫程序的时候,最好要逐步调试,确保我们的每一步操作正确,这也是程序猿应该有的好习惯。笔者不知道自己算不算个程序猿哈。线面我们来剖析该url指向的网页。

import requests
import urllib
from bs4 import BeautifulSoup
res = requests.get('http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD')
soup = BeautifulSoup(res.text,'html.parser')
print(soup.select('img'))

output:

Python爬取网页中的图片(搜狗图片)详解

发现输出内容并不包含我们要的图片元素,而是只剖析到logo的img,这显然不是我们想要的。也就是说需要的图片资料不在url  即 http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD里面。因此考虑可能该元素是动态的,细心的同学可能会发现,当在网页内,向下滑动鼠标滚轮,图片是动态刷新出来的,也就是说,该网页并不是一次加载出全部资源,而是动态加载资源。这也避免了因为网页过于臃肿,而影响加载速度。下面痛苦的探索开始了,我们是要找到所有图片的真正的url 笔者也是刚刚接触,找这个不是太有经验。最后找的位置F12>>Network>>XHR>>(点击XHR下的文件)>>Preview。

Python爬取网页中的图片(搜狗图片)详解

发现,有点接近我们需要的元素了,点开all_items 发现下面是0 1 2 3...一个一个的貌似是图片元素。试着打开一个url。发现真的是图片的地址。找到目标之后。点击XHR下的Headers

得到第二行

Request URL:

http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15&width=1536&height=864,试着去掉一些不必要的部分,技巧就是,删掉可能的部分之后,访问不受影响。经笔者筛选。最后得到的url:http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15  字面意思,知道category后面可能为分类。start为开始下标,len为长度,也即图片的数量。好了,开始愉快的代码时间吧:

开发环境为Win7  Python 3.6,运行的时候Python需要安装requests,

Python3.6 安装requests 应该CMD敲入:

pip install requests

笔者在这里也是边调试边写,这里把最终的代码贴出来:

import requests
import json
import urllib

def getSogouImag(category,length,path):
 n = length
 cate = category
 imgs = requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category='+cate+'&tag=%E5%85%A8%E9%83%A8&start=0&len='+str(n))
 jd = json.loads(imgs.text)
 jd = jd['all_items']
 imgs_url = []
 for j in jd:
  imgs_url.append(j['bthumbUrl'])
 m = 0
 for img_url in imgs_url:
   print('***** '+str(m)+'.jpg *****'+' Downloading...')
   urllib.request.urlretrieve(img_url,path+str(m)+'.jpg')
   m = m + 1
 print('Download complete!')

getSogouImag('壁纸',2000,'d:/download/壁纸/')

程序跑起来的时候,笔者还是有点小激动的。来,感受一下:

Python爬取网页中的图片(搜狗图片)详解 

Python爬取网页中的图片(搜狗图片)详解 

至此,关于该爬虫程序的编程过程叙述完毕。整体来看,找到需要爬取元素所在url,是爬虫诸多环节中的关键

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python编程实现数学运算求一元二次方程的实根算法示例
Apr 02 Python
Python之re操作方法(详解)
Jun 14 Python
django用户注册、登录、注销和用户扩展的示例
Mar 19 Python
Python文件监听工具pyinotify与watchdog实例
Oct 15 Python
查看端口并杀进程python脚本代码
Dec 17 Python
Python彻底删除文件夹及其子文件方式
Dec 23 Python
pytorch实现线性拟合方式
Jan 15 Python
关于Python Tkinter Button控件command传参问题的解决方式
Mar 04 Python
django queryset相加和筛选教程
May 18 Python
keras的三种模型实现与区别说明
Jul 03 Python
PyQt实现计数器的方法示例
Jan 18 Python
深度学习小工程练习之垃圾分类详解
Apr 14 Python
Python编程之event对象的用法实例分析
Mar 23 #Python
Python中.py文件打包成exe可执行文件详解
Mar 22 #Python
python3中dict(字典)的使用方法示例
Mar 22 #Python
Python编程实现删除VC临时文件及Debug目录的方法
Mar 22 #Python
Python多线程经典问题之乘客做公交车算法实例
Mar 22 #Python
利用pyinstaller或virtualenv将python程序打包详解
Mar 22 #Python
python条件变量之生产者与消费者操作实例分析
Mar 22 #Python
You might like
php 静态变量的初始化
2009/11/15 PHP
php下用cookie统计用户访问网页次数的代码
2010/05/09 PHP
PHP操作MongoDB GridFS 存储文件的详解
2013/06/20 PHP
php学习笔记之面向对象
2014/11/08 PHP
自己写的php中文截取函数mb_strlen和mb_substr
2015/02/09 PHP
PHP实现懒加载的方法
2015/03/07 PHP
AJAX架构之Dojo篇
2007/04/10 Javascript
解决AJAX中跨域访问出现'没有权限'的错误
2008/08/20 Javascript
url 特殊字符 传递参数解决方法
2010/01/01 Javascript
JQuery 学习笔记01 JQuery初接触
2010/05/06 Javascript
基于Jquery的温度计动画效果
2010/06/18 Javascript
jQuery使用height()获取高度需要注意的地方
2014/12/13 Javascript
JavaScript中检查对象property的存在性方法介绍
2014/12/30 Javascript
JavaScript DOM事件(笔记)
2015/04/08 Javascript
JavaScript中boolean类型之三种情景实例代码
2016/11/21 Javascript
详解NodeJs支付宝移动支付签名及验签
2017/01/06 NodeJs
详解vue模拟加载更多功能(数据追加)
2017/06/23 Javascript
使用classList来实现两个按钮样式的切换方法
2018/01/24 Javascript
基于$.ajax()方法从服务器获取json数据的几种方式总结
2018/01/31 Javascript
Vue.js 表单控件操作小结
2018/03/29 Javascript
小程序实现展开/收起的效果示例
2018/09/22 Javascript
详解利用nodejs对本地json文件进行增删改查
2019/09/20 NodeJs
echarts 使用formatter 修改鼠标悬浮事件信息操作
2020/07/20 Javascript
Python通过90行代码搭建一个音乐搜索工具
2015/07/29 Python
利用python将图片转换成excel文档格式
2017/12/30 Python
一个月入门Python爬虫学习,轻松爬取大规模数据
2018/01/03 Python
Python中单例模式总结
2018/02/20 Python
python和mysql交互操作实例详解【基于pymysql库】
2019/06/04 Python
python如何获取列表中每个元素的下标位置
2019/07/01 Python
美国知名的百货清仓店:Neiman Marcus Last Call
2016/08/03 全球购物
行政管理人员精品工作推荐信
2013/11/04 职场文书
学习雷锋精神倡议书
2015/04/27 职场文书
暑假生活随笔
2015/08/15 职场文书
2016年4月份红领巾广播稿
2015/12/21 职场文书
2016党员干部廉政准则学习心得体会
2016/01/20 职场文书
Redis字典实现、Hash键冲突及渐进式rehash详解
2021/09/04 Redis