python爬虫获取京东手机图片的图文教程


Posted in Python onDecember 29, 2017

如题,首先当然是要打开京东的手机页面

python爬虫获取京东手机图片的图文教程

python爬虫获取京东手机图片的图文教程

因为要获取不同页面的所有手机图片,所以我们要跳转到不同页面观察页面地址的规律,这里观察第二页页面

python爬虫获取京东手机图片的图文教程

由观察可以得到,第二页的链接地址很有可能是

https://list.jd.com/list.html?cat=9987,653,655&page=2

那么对应第n页的地址就是

https://list.jd.com/list.html?cat=9987,653,655&page=n

我们就可以利用这个规律在编程的时候打开自己想要获取的页面了

接着我们查看页面的源代码,观察图片链接的规律

python爬虫获取京东手机图片的图文教程

python爬虫获取京东手机图片的图文教程

我们使用在源代码的页面使用ctrl+f查找,然后在查找框里面输入页面第一台手机的名字 “vivo X9s 全网通 4GB+64GB 玫瑰金 移动” 快速定位到图片链接附近的代码,便于后面编程对图片范围进行筛选

python爬虫获取京东手机图片的图文教程

可以看到,上图的画红线的三个部分,<div id="plist" 在这一页中是唯一出现的一个元素,而且离图片链接比较近,所以可以作为筛选页面的开头位置

<img width=“220”……这个是手机图片的信息,我们要获取的是后面

//img14.360buyimg.com/n7/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg

这个链接,但是观察发现后面也有一个图片链接

img data-sku="5291744" width="25" height="25" class="loading-style2" src="//img14.360buyimg.com/n9/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg"

这个很明显不是我们要找的手机图片链接

所以我们要使用正则表达式将真正的图片链接筛选出来,观察发现这两个图片链接的区别在于手机图片链接里面含有n7元素,而另外一个图片链接含有n9元素,这样子我们的正则表达式就可以表示为pat2 = '//.+?/n7/.+?\.jpg'

接着我们要找到这个页面最后一张手机图片的位置,方便找出可以作为筛选页面的结束位置,方法和上面类似,在源代码搜索框输入 小米(MI) 红米Note4X 手机 香槟金 全网通 3GB+32GB 定位到页面最后一张图片位置

python爬虫获取京东手机图片的图文教程

可以看到,下面<div class="page clearfix">在该页面中是唯一的,而且比较接近最后一张手机图片附近的链接,所以可以作为筛选结尾位置的元素,其实筛选的元素只要满足唯一并且接近我们要获取的目标,那么也可以作为我们要选取的元素

经过上面准备之后,我们得出了大概的思路

1首先进行第一次筛选,使用正则表达式pat1 = '<div id="plist".+<div class="page clearfix">'将图片链接的范围大概筛选出来

2然后进行第二次筛选,使用正则表达式pat2 = '//.+?/n7/.+?\.jpg'将手机图片链接筛选出来

3使用urllib.urlretrieve保存链接图片到本地

下面给出python代码

# -*- coding: UTF-8 -*- 
import re 
import urllib2 
import urllib 
 
def craw(url, page): 
 html1 = urllib2.urlopen(url).read() 
 html1 = str(html1) 
 pat1 = '<div id="plist".+<div class="page clearfix">' 
 result1 = re.compile(pat1, re.DOTALL).findall(html1) 
 #获取第一次筛选结果 
 result1 = result1[0] 
 #*匹配0个或者多个前面表达式 
 #.匹配任意字符,加上re.dotall包括换行符 
 #+匹配1个或者多个前面表达式 
 #?非贪婪匹配,就是只匹配一组 
 #筛选出图片链接列表 
 pat2 = '//.+?/n7/.+?\.jpg' 
 imagelist = re.compile(pat2).findall(result1) 
 #x作为图片文件的顺序 
 x=1 
 
 for imageurl in imagelist: 
 imagename = "C:/Users/Administrator/Desktop/jdphone_img/" + str(page) + str(x) + ".jpg" 
 imageurl = "http:" + imageurl 
 try: 
  #保存图片 
  urllib.urlretrieve(imageurl, filename=imagename) 
 except urllib2.URLError as e: 
  #hasattr判断对象里面是否有name属性 
  if hasattr(e, "code"): 
  x+=1 
  if hasattr(e, "reason"): 
  x+=1 
 x+=1 
 
for i in range(1, 3): 
 url = "https://list.jd.com/list.html?cat=9987,653,655&page=" + str(i) 
 craw(url, i)

注意:我这里只保存了第一二页的手机图片,在进行第二次筛选的时候正则表达式之所以会加了一个"?"进行非贪婪匹配,也就是一次只筛选出一张手机图片链接,如果不加这个非贪婪匹配那么我们会把第一个含有“//”到最后一个结尾含有.jpg之间的所有内容都会筛选出来,显示是不符合的,在这里建议可以把正则表达式的?去掉,然后看一下输出结果,去体会一下非贪婪匹配是怎么样的。

Python 相关文章推荐
Python输出9*9乘法表的方法
May 25 Python
使用Python中的tkinter模块作图的方法
Feb 07 Python
基于python实现在excel中读取与生成随机数写入excel中
Jan 04 Python
python使用opencv驱动摄像头的方法
Aug 03 Python
解决安装python3.7.4报错Can''t connect to HTTPS URL because the SSL module is not available
Jul 31 Python
树莓派3 搭建 django 服务器的实例
Aug 29 Python
python被修饰的函数消失问题解决(基于wraps函数)
Nov 04 Python
Python函数的定义方式与函数参数问题实例分析
Dec 26 Python
基于pytorch 预训练的词向量用法详解
Jan 06 Python
Python爬虫之Selenium中frame/iframe表单嵌套页面
Dec 04 Python
Python用户自定义异常的实现
Dec 25 Python
基于PyQT5制作一个桌面摸鱼工具
Feb 15 Python
python通过getopt模块如何获取执行的命令参数详解
Dec 29 #Python
基于并发服务器几种实现方法(总结)
Dec 29 #Python
Python matplotlib画图实例之绘制拥有彩条的图表
Dec 28 #Python
python操作列表的函数使用代码详解
Dec 28 #Python
Python读csv文件去掉一列后再写入新的文件实例
Dec 28 #Python
python3.6连接MySQL和表的创建与删除实例代码
Dec 28 #Python
python3使用scrapy生成csv文件代码示例
Dec 28 #Python
You might like
PHP会话控制:Session与Cookie详解
2014/09/27 PHP
PHP单例模式定义与使用实例详解
2017/02/06 PHP
laravel实现图片上传预览,及编辑时可更换图片,并实时变化的例子
2019/11/14 PHP
JavaScript获取GridView选择的行内容
2009/04/14 Javascript
jQuery ctrl+Enter shift+Enter实现代码
2010/02/07 Javascript
浅析JQuery获取和设置Select选项的常用方法总结
2013/07/04 Javascript
node.js中的path.basename方法使用说明
2014/12/09 Javascript
JQuery实现的图文自动轮播效果插件
2015/06/19 Javascript
Bootstrap 网格系统布局详解
2017/03/19 Javascript
深入理解vue-loader如何使用
2017/06/06 Javascript
ubuntu编译nodejs所需的软件并安装
2017/09/12 NodeJs
利用javascript如何随机生成一定位数的密码
2017/09/22 Javascript
Node.js一行代码实现静态文件服务器的方法步骤
2019/05/07 Javascript
JavaScript实现拖拽效果
2020/03/16 Javascript
vue-cli4项目开启eslint保存时自动格式问题
2020/07/13 Javascript
原生js实现点击按钮复制内容到剪切板
2020/11/19 Javascript
在Linux系统上安装Python的Scrapy框架的教程
2015/06/11 Python
python字符串编码识别模块chardet简单应用
2015/06/15 Python
用TensorFlow实现lasso回归和岭回归算法的示例
2018/05/02 Python
Python实现监控键盘鼠标操作示例【基于pyHook与pythoncom模块】
2018/09/04 Python
详解Django的model查询操作与查询性能优化
2018/10/16 Python
解决Python内层for循环如何break出外层的循环的问题
2019/06/24 Python
Python列表嵌套常见坑点及解决方案
2020/09/30 Python
有关HTML5 Video对象的ontimeupdate事件(Chrome上无效)的问题
2013/07/19 HTML / CSS
新西兰床上用品和家居用品购物网站:Adairs
2018/04/27 全球购物
荷兰的时尚市场:To Be Dressed
2019/05/06 全球购物
美国在线医疗分销商:MedEx Supply
2020/02/04 全球购物
村委会主任先进事迹
2014/01/15 职场文书
婚假请假条怎么写
2014/04/10 职场文书
银行职员自我鉴定
2014/04/20 职场文书
高中班级口号
2014/06/09 职场文书
2014全年工作总结
2014/11/27 职场文书
《成长的天空》读后感3篇
2019/12/06 职场文书
使用canvas实现雪花飘动效果的示例代码
2021/03/30 HTML / CSS
python3美化表格数据输出结果的实现代码
2021/04/14 Python
Java实现聊天机器人完善版
2021/07/04 Java/Android