python爬虫获取京东手机图片的图文教程


Posted in Python onDecember 29, 2017

如题,首先当然是要打开京东的手机页面

python爬虫获取京东手机图片的图文教程

python爬虫获取京东手机图片的图文教程

因为要获取不同页面的所有手机图片,所以我们要跳转到不同页面观察页面地址的规律,这里观察第二页页面

python爬虫获取京东手机图片的图文教程

由观察可以得到,第二页的链接地址很有可能是

https://list.jd.com/list.html?cat=9987,653,655&page=2

那么对应第n页的地址就是

https://list.jd.com/list.html?cat=9987,653,655&page=n

我们就可以利用这个规律在编程的时候打开自己想要获取的页面了

接着我们查看页面的源代码,观察图片链接的规律

python爬虫获取京东手机图片的图文教程

python爬虫获取京东手机图片的图文教程

我们使用在源代码的页面使用ctrl+f查找,然后在查找框里面输入页面第一台手机的名字 “vivo X9s 全网通 4GB+64GB 玫瑰金 移动” 快速定位到图片链接附近的代码,便于后面编程对图片范围进行筛选

python爬虫获取京东手机图片的图文教程

可以看到,上图的画红线的三个部分,<div id="plist" 在这一页中是唯一出现的一个元素,而且离图片链接比较近,所以可以作为筛选页面的开头位置

<img width=“220”……这个是手机图片的信息,我们要获取的是后面

//img14.360buyimg.com/n7/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg

这个链接,但是观察发现后面也有一个图片链接

img data-sku="5291744" width="25" height="25" class="loading-style2" src="//img14.360buyimg.com/n9/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg"

这个很明显不是我们要找的手机图片链接

所以我们要使用正则表达式将真正的图片链接筛选出来,观察发现这两个图片链接的区别在于手机图片链接里面含有n7元素,而另外一个图片链接含有n9元素,这样子我们的正则表达式就可以表示为pat2 = '//.+?/n7/.+?\.jpg'

接着我们要找到这个页面最后一张手机图片的位置,方便找出可以作为筛选页面的结束位置,方法和上面类似,在源代码搜索框输入 小米(MI) 红米Note4X 手机 香槟金 全网通 3GB+32GB 定位到页面最后一张图片位置

python爬虫获取京东手机图片的图文教程

可以看到,下面<div class="page clearfix">在该页面中是唯一的,而且比较接近最后一张手机图片附近的链接,所以可以作为筛选结尾位置的元素,其实筛选的元素只要满足唯一并且接近我们要获取的目标,那么也可以作为我们要选取的元素

经过上面准备之后,我们得出了大概的思路

1首先进行第一次筛选,使用正则表达式pat1 = '<div id="plist".+<div class="page clearfix">'将图片链接的范围大概筛选出来

2然后进行第二次筛选,使用正则表达式pat2 = '//.+?/n7/.+?\.jpg'将手机图片链接筛选出来

3使用urllib.urlretrieve保存链接图片到本地

下面给出python代码

# -*- coding: UTF-8 -*- 
import re 
import urllib2 
import urllib 
 
def craw(url, page): 
 html1 = urllib2.urlopen(url).read() 
 html1 = str(html1) 
 pat1 = '<div id="plist".+<div class="page clearfix">' 
 result1 = re.compile(pat1, re.DOTALL).findall(html1) 
 #获取第一次筛选结果 
 result1 = result1[0] 
 #*匹配0个或者多个前面表达式 
 #.匹配任意字符,加上re.dotall包括换行符 
 #+匹配1个或者多个前面表达式 
 #?非贪婪匹配,就是只匹配一组 
 #筛选出图片链接列表 
 pat2 = '//.+?/n7/.+?\.jpg' 
 imagelist = re.compile(pat2).findall(result1) 
 #x作为图片文件的顺序 
 x=1 
 
 for imageurl in imagelist: 
 imagename = "C:/Users/Administrator/Desktop/jdphone_img/" + str(page) + str(x) + ".jpg" 
 imageurl = "http:" + imageurl 
 try: 
  #保存图片 
  urllib.urlretrieve(imageurl, filename=imagename) 
 except urllib2.URLError as e: 
  #hasattr判断对象里面是否有name属性 
  if hasattr(e, "code"): 
  x+=1 
  if hasattr(e, "reason"): 
  x+=1 
 x+=1 
 
for i in range(1, 3): 
 url = "https://list.jd.com/list.html?cat=9987,653,655&page=" + str(i) 
 craw(url, i)

注意:我这里只保存了第一二页的手机图片,在进行第二次筛选的时候正则表达式之所以会加了一个"?"进行非贪婪匹配,也就是一次只筛选出一张手机图片链接,如果不加这个非贪婪匹配那么我们会把第一个含有“//”到最后一个结尾含有.jpg之间的所有内容都会筛选出来,显示是不符合的,在这里建议可以把正则表达式的?去掉,然后看一下输出结果,去体会一下非贪婪匹配是怎么样的。

Python 相关文章推荐
使用pandas对矢量化数据进行替换处理的方法
Apr 11 Python
Python中判断输入是否为数字的实现代码
May 26 Python
python计算列表内各元素的个数实例
Jun 29 Python
解决Python3.5+OpenCV3.2读取图像的问题
Dec 05 Python
Python获取Redis所有Key以及内容的方法
Feb 19 Python
在Python中构建增广矩阵的实现方法
Jul 01 Python
用python打印1~20的整数实例讲解
Jul 01 Python
Django认证系统实现的web页面实现代码
Aug 12 Python
OpenCV中VideoCapture类的使用详解
Feb 14 Python
导致python中import错误的原因是什么
Jul 01 Python
python中remove函数的踩坑记录
Jan 04 Python
Python可视化神器pyecharts之绘制箱形图
Jul 07 Python
python通过getopt模块如何获取执行的命令参数详解
Dec 29 #Python
基于并发服务器几种实现方法(总结)
Dec 29 #Python
Python matplotlib画图实例之绘制拥有彩条的图表
Dec 28 #Python
python操作列表的函数使用代码详解
Dec 28 #Python
Python读csv文件去掉一列后再写入新的文件实例
Dec 28 #Python
python3.6连接MySQL和表的创建与删除实例代码
Dec 28 #Python
python3使用scrapy生成csv文件代码示例
Dec 28 #Python
You might like
dede3.1分页文字采集过滤规则详说(图文教程)续四
2007/04/03 PHP
CodeIgniter php mvc框架 中国网站
2008/05/26 PHP
ThinkPHP框架设计及扩展详解
2014/11/25 PHP
smarty学习笔记之常见代码段用法总结
2016/03/19 PHP
Yii2汉字转拼音类的实例代码
2017/04/18 PHP
PHP实现双链表删除与插入节点的方法示例
2017/11/11 PHP
JS面向对象、prototype、call()、apply()
2009/05/14 Javascript
用jquery和json从后台获得数据集的代码
2011/11/07 Javascript
js保留两位小数使用toFixed实现
2013/07/29 Javascript
jquery插件开发之实现jquery手风琴功能分享
2014/03/10 Javascript
javascript将浮点数转换成整数的三个方法
2014/06/23 Javascript
JQuery控制radio选中和不选中方法总结
2015/04/15 Javascript
jQuery自动添加表单项的方法
2015/07/13 Javascript
JavaScript实现同一页面内两个表单互相传值的方法
2015/08/12 Javascript
关于AngularJs数据的本地存储详解
2017/01/20 Javascript
深究AngularJS如何获取input的焦点(自定义指令)
2017/06/12 Javascript
vee-validate vue 2.0自定义表单验证的实例
2018/08/28 Javascript
Layer.js实现表格溢出内容省略号显示,悬停显示全部的方法
2019/09/16 Javascript
通过实例解析vuejs如何实现调试代码
2020/07/16 Javascript
python zip文件 压缩
2008/12/24 Python
Python生成不重复随机值的方法
2015/05/11 Python
python开发简易版在线音乐播放器
2017/03/03 Python
Python3 实现随机生成一组不重复数并按行写入文件
2018/04/09 Python
Python 从相对路径下import的方法
2018/12/04 Python
Python字典对象实现原理详解
2019/07/01 Python
pygame用blit()实现动画效果的示例代码
2020/05/28 Python
python 三种方法提取pdf中的图片
2021/02/07 Python
澳大利亚女性快速时尚零售商:Ally Fashion
2018/04/25 全球购物
GWebs公司笔试题
2012/05/04 面试题
质检的岗位职责
2013/11/17 职场文书
计算机毕业生自荐信
2014/06/12 职场文书
小学课外阅读总结
2014/07/09 职场文书
2014年药店店长工作总结
2014/11/17 职场文书
毕业生捐书活动倡议书
2015/04/27 职场文书
读《皮囊》有感:理解是对他人的最大的善举
2019/11/14 职场文书
如何使用Python实现一个简易的ORM模型
2021/05/12 Python