python爬虫获取京东手机图片的图文教程


Posted in Python onDecember 29, 2017

如题,首先当然是要打开京东的手机页面

python爬虫获取京东手机图片的图文教程

python爬虫获取京东手机图片的图文教程

因为要获取不同页面的所有手机图片,所以我们要跳转到不同页面观察页面地址的规律,这里观察第二页页面

python爬虫获取京东手机图片的图文教程

由观察可以得到,第二页的链接地址很有可能是

https://list.jd.com/list.html?cat=9987,653,655&page=2

那么对应第n页的地址就是

https://list.jd.com/list.html?cat=9987,653,655&page=n

我们就可以利用这个规律在编程的时候打开自己想要获取的页面了

接着我们查看页面的源代码,观察图片链接的规律

python爬虫获取京东手机图片的图文教程

python爬虫获取京东手机图片的图文教程

我们使用在源代码的页面使用ctrl+f查找,然后在查找框里面输入页面第一台手机的名字 “vivo X9s 全网通 4GB+64GB 玫瑰金 移动” 快速定位到图片链接附近的代码,便于后面编程对图片范围进行筛选

python爬虫获取京东手机图片的图文教程

可以看到,上图的画红线的三个部分,<div id="plist" 在这一页中是唯一出现的一个元素,而且离图片链接比较近,所以可以作为筛选页面的开头位置

<img width=“220”……这个是手机图片的信息,我们要获取的是后面

//img14.360buyimg.com/n7/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg

这个链接,但是观察发现后面也有一个图片链接

img data-sku="5291744" width="25" height="25" class="loading-style2" src="//img14.360buyimg.com/n9/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg"

这个很明显不是我们要找的手机图片链接

所以我们要使用正则表达式将真正的图片链接筛选出来,观察发现这两个图片链接的区别在于手机图片链接里面含有n7元素,而另外一个图片链接含有n9元素,这样子我们的正则表达式就可以表示为pat2 = '//.+?/n7/.+?\.jpg'

接着我们要找到这个页面最后一张手机图片的位置,方便找出可以作为筛选页面的结束位置,方法和上面类似,在源代码搜索框输入 小米(MI) 红米Note4X 手机 香槟金 全网通 3GB+32GB 定位到页面最后一张图片位置

python爬虫获取京东手机图片的图文教程

可以看到,下面<div class="page clearfix">在该页面中是唯一的,而且比较接近最后一张手机图片附近的链接,所以可以作为筛选结尾位置的元素,其实筛选的元素只要满足唯一并且接近我们要获取的目标,那么也可以作为我们要选取的元素

经过上面准备之后,我们得出了大概的思路

1首先进行第一次筛选,使用正则表达式pat1 = '<div id="plist".+<div class="page clearfix">'将图片链接的范围大概筛选出来

2然后进行第二次筛选,使用正则表达式pat2 = '//.+?/n7/.+?\.jpg'将手机图片链接筛选出来

3使用urllib.urlretrieve保存链接图片到本地

下面给出python代码

# -*- coding: UTF-8 -*- 
import re 
import urllib2 
import urllib 
 
def craw(url, page): 
 html1 = urllib2.urlopen(url).read() 
 html1 = str(html1) 
 pat1 = '<div id="plist".+<div class="page clearfix">' 
 result1 = re.compile(pat1, re.DOTALL).findall(html1) 
 #获取第一次筛选结果 
 result1 = result1[0] 
 #*匹配0个或者多个前面表达式 
 #.匹配任意字符,加上re.dotall包括换行符 
 #+匹配1个或者多个前面表达式 
 #?非贪婪匹配,就是只匹配一组 
 #筛选出图片链接列表 
 pat2 = '//.+?/n7/.+?\.jpg' 
 imagelist = re.compile(pat2).findall(result1) 
 #x作为图片文件的顺序 
 x=1 
 
 for imageurl in imagelist: 
 imagename = "C:/Users/Administrator/Desktop/jdphone_img/" + str(page) + str(x) + ".jpg" 
 imageurl = "http:" + imageurl 
 try: 
  #保存图片 
  urllib.urlretrieve(imageurl, filename=imagename) 
 except urllib2.URLError as e: 
  #hasattr判断对象里面是否有name属性 
  if hasattr(e, "code"): 
  x+=1 
  if hasattr(e, "reason"): 
  x+=1 
 x+=1 
 
for i in range(1, 3): 
 url = "https://list.jd.com/list.html?cat=9987,653,655&page=" + str(i) 
 craw(url, i)

注意:我这里只保存了第一二页的手机图片,在进行第二次筛选的时候正则表达式之所以会加了一个"?"进行非贪婪匹配,也就是一次只筛选出一张手机图片链接,如果不加这个非贪婪匹配那么我们会把第一个含有“//”到最后一个结尾含有.jpg之间的所有内容都会筛选出来,显示是不符合的,在这里建议可以把正则表达式的?去掉,然后看一下输出结果,去体会一下非贪婪匹配是怎么样的。

Python 相关文章推荐
python实现异步回调机制代码分享
Jan 10 Python
go和python调用其它程序并得到程序输出
Feb 10 Python
Django静态资源URL STATIC_ROOT的配置方法
Nov 08 Python
Python命令行参数解析模块optparse使用实例
Apr 13 Python
Python构造自定义方法来美化字典结构输出的示例
Jun 16 Python
Python实现带百分比的进度条
Jun 28 Python
python3.x 将byte转成字符串的方法
Jul 17 Python
Django model update的多种用法介绍
Mar 28 Python
Django自带的加密算法及加密模块详解
Dec 03 Python
python实现爱奇艺登陆密码RSA加密的方法示例详解
May 27 Python
通俗讲解python 装饰器
Sep 07 Python
Python实现Appium端口检测与释放的实现
Dec 31 Python
python通过getopt模块如何获取执行的命令参数详解
Dec 29 #Python
基于并发服务器几种实现方法(总结)
Dec 29 #Python
Python matplotlib画图实例之绘制拥有彩条的图表
Dec 28 #Python
python操作列表的函数使用代码详解
Dec 28 #Python
Python读csv文件去掉一列后再写入新的文件实例
Dec 28 #Python
python3.6连接MySQL和表的创建与删除实例代码
Dec 28 #Python
python3使用scrapy生成csv文件代码示例
Dec 28 #Python
You might like
关于PHP的curl开启问题探讨
2014/04/08 PHP
基于PHP的微信公众号的开发流程详解
2020/08/07 PHP
30个精美的jQuery幻灯片效果插件和教程
2011/08/23 Javascript
怎样在JavaScript里写一个swing把数据插入数据库
2012/12/10 Javascript
Javascript实现关联数据(Linked Data)查询及注意细节
2013/02/22 Javascript
固定网页背景图同时保持图片比例的思路代码
2013/08/15 Javascript
深入理解javascript动态插入技术
2013/11/12 Javascript
jQuery如何取id有.的值一般的方法是取不到的
2014/04/18 Javascript
nodejs的HTML分析利器node-jquery用法浅析
2016/11/08 NodeJs
玩转NODE.JS(四)-搭建简单的聊天室的代码
2016/11/11 Javascript
微信小程序开发之从相册获取图片 使用相机拍照 本地图片上传
2017/04/18 Javascript
JS组件系列之MVVM组件构建自己的Vue组件
2017/04/28 Javascript
基于Vue过渡状态实例讲解
2017/09/14 Javascript
vue使用axios实现文件上传进度的实时更新详解
2017/12/20 Javascript
JS求Number类型数组中最大元素方法
2018/04/08 Javascript
springMvc 前端用json的方式向后台传递对象数组方法
2018/08/07 Javascript
js实现省级联动(数据结构优化)
2020/07/17 Javascript
深入理解Python中的*重复运算符
2017/10/28 Python
python使用matplotlib模块绘制多条折线图、散点图
2020/04/26 Python
PyCharm 创建指定版本的 Django(超详图解教程)
2019/06/18 Python
pycharm 安装JPype的教程
2019/08/08 Python
Python的pygame安装教程详解
2020/02/10 Python
python opencv肤色检测的实现示例
2020/12/21 Python
俄罗斯的精英皮具:Wittchen
2018/01/29 全球购物
包装类的功能、种类、常用方法
2012/01/27 面试题
Oracle快照(snapshot)
2015/03/13 面试题
Java面向对象面试题
2016/12/26 面试题
临床医师个人自我评价
2014/04/06 职场文书
关于爱国的演讲稿
2014/05/07 职场文书
网站推广策划方案
2014/06/04 职场文书
任命书范本大全
2014/06/06 职场文书
2014业务员年终工作总结
2014/12/09 职场文书
骨干教师申报材料
2014/12/17 职场文书
社区艾滋病宣传活动总结
2015/05/07 职场文书
民事答辩状范本
2015/05/21 职场文书
SQL Server2019安装的详细步骤实战记录(亲测可用)
2022/06/10 SQL Server