Python爬取网页中的图片(搜狗图片)详解


Posted in Python onMarch 23, 2017

前言

最近几天,研究了一下一直很好奇的爬虫算法。这里写一下最近几天的点点心得。下面进入正文:

你可能需要的工作环境:

我们这里以sogou作为爬取的对象。

首先我们进入搜狗图片http://pic.sogou.com/,进入壁纸分类(当然只是个例子Q_Q),因为如果需要爬取某网站资料,那么就要初步的了解它…

Python爬取网页中的图片(搜狗图片)详解

进去后就是这个啦,然后F12进入开发人员选项,笔者用的是Chrome。

右键图片>>检查   

Python爬取网页中的图片(搜狗图片)详解

发现我们需要的图片src是在img标签下的,于是先试着用 Python 的 requests提取该组件,进而获取img的src然后使用 urllib.request.urlretrieve逐个下载图片,从而达到批量获取资料的目的,思路好了,下面应该告诉程序要爬取的url为http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD,此url来自进入分类后的地址栏。明白了url地址我们来开始愉快的代码时间吧:

在写这段爬虫程序的时候,最好要逐步调试,确保我们的每一步操作正确,这也是程序猿应该有的好习惯。笔者不知道自己算不算个程序猿哈。线面我们来剖析该url指向的网页。

import requests
import urllib
from bs4 import BeautifulSoup
res = requests.get('http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD')
soup = BeautifulSoup(res.text,'html.parser')
print(soup.select('img'))

output:

Python爬取网页中的图片(搜狗图片)详解

发现输出内容并不包含我们要的图片元素,而是只剖析到logo的img,这显然不是我们想要的。也就是说需要的图片资料不在url  即 http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD里面。因此考虑可能该元素是动态的,细心的同学可能会发现,当在网页内,向下滑动鼠标滚轮,图片是动态刷新出来的,也就是说,该网页并不是一次加载出全部资源,而是动态加载资源。这也避免了因为网页过于臃肿,而影响加载速度。下面痛苦的探索开始了,我们是要找到所有图片的真正的url 笔者也是刚刚接触,找这个不是太有经验。最后找的位置F12>>Network>>XHR>>(点击XHR下的文件)>>Preview。

Python爬取网页中的图片(搜狗图片)详解

发现,有点接近我们需要的元素了,点开all_items 发现下面是0 1 2 3...一个一个的貌似是图片元素。试着打开一个url。发现真的是图片的地址。找到目标之后。点击XHR下的Headers

得到第二行

Request URL:

http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15&width=1536&height=864,试着去掉一些不必要的部分,技巧就是,删掉可能的部分之后,访问不受影响。经笔者筛选。最后得到的url:http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15  字面意思,知道category后面可能为分类。start为开始下标,len为长度,也即图片的数量。好了,开始愉快的代码时间吧:

开发环境为Win7  Python 3.6,运行的时候Python需要安装requests,

Python3.6 安装requests 应该CMD敲入:

pip install requests

笔者在这里也是边调试边写,这里把最终的代码贴出来:

import requests
import json
import urllib

def getSogouImag(category,length,path):
 n = length
 cate = category
 imgs = requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category='+cate+'&tag=%E5%85%A8%E9%83%A8&start=0&len='+str(n))
 jd = json.loads(imgs.text)
 jd = jd['all_items']
 imgs_url = []
 for j in jd:
  imgs_url.append(j['bthumbUrl'])
 m = 0
 for img_url in imgs_url:
   print('***** '+str(m)+'.jpg *****'+' Downloading...')
   urllib.request.urlretrieve(img_url,path+str(m)+'.jpg')
   m = m + 1
 print('Download complete!')

getSogouImag('壁纸',2000,'d:/download/壁纸/')

程序跑起来的时候,笔者还是有点小激动的。来,感受一下:

Python爬取网页中的图片(搜狗图片)详解 

Python爬取网页中的图片(搜狗图片)详解 

至此,关于该爬虫程序的编程过程叙述完毕。整体来看,找到需要爬取元素所在url,是爬虫诸多环节中的关键

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python基于动态规划算法解决01背包问题实例
Dec 06 Python
python一行sql太长折成多行并且有多个参数的方法
Jul 19 Python
Python爬取个人微信朋友信息操作示例
Aug 03 Python
Python高级特性切片(Slice)操作详解
Sep 27 Python
python批量从es取数据的方法(文档数超过10000)
Dec 27 Python
python使用PIL模块获取图片像素点的方法
Jan 08 Python
python脚本开机自启的实现方法
Jun 28 Python
如何通过Python实现标签云算法
Jul 02 Python
通过实例学习Python Excel操作
Jan 06 Python
利用python实现平稳时间序列的建模方式
Jun 03 Python
python3爬虫中引用Queue的实例讲解
Nov 24 Python
python安装及变量名介绍详解
Dec 12 Python
Python编程之event对象的用法实例分析
Mar 23 #Python
Python中.py文件打包成exe可执行文件详解
Mar 22 #Python
python3中dict(字典)的使用方法示例
Mar 22 #Python
Python编程实现删除VC临时文件及Debug目录的方法
Mar 22 #Python
Python多线程经典问题之乘客做公交车算法实例
Mar 22 #Python
利用pyinstaller或virtualenv将python程序打包详解
Mar 22 #Python
python条件变量之生产者与消费者操作实例分析
Mar 22 #Python
You might like
PHP 进程锁定问题分析研究
2009/11/24 PHP
用php+ajax新建流程(请假、进货、出货等)
2017/06/11 PHP
In Javascript Class, how to call the prototype method.(three method)
2007/01/09 Javascript
LBS blog sql注射漏洞[All version]-官方已有补丁
2007/08/26 Javascript
firefox浏览器下javascript 拖动层效果与原理分析代码
2007/12/04 Javascript
读jQuery之五(取DOM元素)
2011/06/20 Javascript
百度地图api应用标注地理位置信息(js版)
2013/02/01 Javascript
js的alert弹出框出现乱码解决方案
2013/09/02 Javascript
点击标签切换和自动切换DIV选项卡
2014/08/10 Javascript
javascript版2048小游戏
2015/03/18 Javascript
avalonjs实现仿微博的图片拖动特效
2015/05/06 Javascript
Angular6 用户自定义标签开发的实现方法
2019/01/08 Javascript
koa-router路由参数和前端路由的结合详解
2019/05/19 Javascript
nodeJs的安装与npm全局环境变量的配置详解
2020/01/06 NodeJs
JS如何监听div的resize事件详解
2020/12/03 Javascript
vue 实现click同时传入事件对象和自定义参数
2021/01/29 Vue.js
[02:02]2018DOTA2亚洲邀请赛Mineski赛前采访
2018/04/04 DOTA
[56:00]2018DOTA2亚洲邀请赛 4.6 淘汰赛 VP vs TNC 第二场
2018/04/10 DOTA
Python中处理unchecked未捕获异常实例
2015/01/17 Python
Python HTMLParser模块解析html获取url实例
2015/04/08 Python
python 的列表遍历删除实现代码
2020/04/12 Python
Django 实现下载文件功能的示例
2018/03/06 Python
磁盘垃圾文件清理器python代码实现
2020/08/24 Python
Python小工具之消耗系统指定大小内存的方法
2018/12/03 Python
python+pyqt5实现图片批量缩放工具
2019/03/18 Python
Footshop罗马尼亚:最好的运动鞋选择
2019/09/10 全球购物
市场推广策划方案
2014/06/02 职场文书
学习十八大的心得体会
2014/09/01 职场文书
委托书格式范文
2015/01/28 职场文书
试用期旷工辞退通知书
2015/04/17 职场文书
参加招聘会后的感想
2015/08/10 职场文书
小学新课改心得体会
2016/01/22 职场文书
2016年乡镇综治宣传月活动总结
2016/03/16 职场文书
python基于tkinter实现gif录屏功能
2021/05/19 Python
Javascript使用integrity属性进行安全验证
2021/11/07 Javascript
Python人工智能之混合高斯模型运动目标检测详解分析
2021/11/07 Python