python爬虫获取京东手机图片的图文教程


Posted in Python onDecember 29, 2017

如题,首先当然是要打开京东的手机页面

python爬虫获取京东手机图片的图文教程

python爬虫获取京东手机图片的图文教程

因为要获取不同页面的所有手机图片,所以我们要跳转到不同页面观察页面地址的规律,这里观察第二页页面

python爬虫获取京东手机图片的图文教程

由观察可以得到,第二页的链接地址很有可能是

https://list.jd.com/list.html?cat=9987,653,655&page=2

那么对应第n页的地址就是

https://list.jd.com/list.html?cat=9987,653,655&page=n

我们就可以利用这个规律在编程的时候打开自己想要获取的页面了

接着我们查看页面的源代码,观察图片链接的规律

python爬虫获取京东手机图片的图文教程

python爬虫获取京东手机图片的图文教程

我们使用在源代码的页面使用ctrl+f查找,然后在查找框里面输入页面第一台手机的名字 “vivo X9s 全网通 4GB+64GB 玫瑰金 移动” 快速定位到图片链接附近的代码,便于后面编程对图片范围进行筛选

python爬虫获取京东手机图片的图文教程

可以看到,上图的画红线的三个部分,<div id="plist" 在这一页中是唯一出现的一个元素,而且离图片链接比较近,所以可以作为筛选页面的开头位置

<img width=“220”……这个是手机图片的信息,我们要获取的是后面

//img14.360buyimg.com/n7/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg

这个链接,但是观察发现后面也有一个图片链接

img data-sku="5291744" width="25" height="25" class="loading-style2" src="//img14.360buyimg.com/n9/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg"

这个很明显不是我们要找的手机图片链接

所以我们要使用正则表达式将真正的图片链接筛选出来,观察发现这两个图片链接的区别在于手机图片链接里面含有n7元素,而另外一个图片链接含有n9元素,这样子我们的正则表达式就可以表示为pat2 = '//.+?/n7/.+?\.jpg'

接着我们要找到这个页面最后一张手机图片的位置,方便找出可以作为筛选页面的结束位置,方法和上面类似,在源代码搜索框输入 小米(MI) 红米Note4X 手机 香槟金 全网通 3GB+32GB 定位到页面最后一张图片位置

python爬虫获取京东手机图片的图文教程

可以看到,下面<div class="page clearfix">在该页面中是唯一的,而且比较接近最后一张手机图片附近的链接,所以可以作为筛选结尾位置的元素,其实筛选的元素只要满足唯一并且接近我们要获取的目标,那么也可以作为我们要选取的元素

经过上面准备之后,我们得出了大概的思路

1首先进行第一次筛选,使用正则表达式pat1 = '<div id="plist".+<div class="page clearfix">'将图片链接的范围大概筛选出来

2然后进行第二次筛选,使用正则表达式pat2 = '//.+?/n7/.+?\.jpg'将手机图片链接筛选出来

3使用urllib.urlretrieve保存链接图片到本地

下面给出python代码

# -*- coding: UTF-8 -*- 
import re 
import urllib2 
import urllib 
 
def craw(url, page): 
 html1 = urllib2.urlopen(url).read() 
 html1 = str(html1) 
 pat1 = '<div id="plist".+<div class="page clearfix">' 
 result1 = re.compile(pat1, re.DOTALL).findall(html1) 
 #获取第一次筛选结果 
 result1 = result1[0] 
 #*匹配0个或者多个前面表达式 
 #.匹配任意字符,加上re.dotall包括换行符 
 #+匹配1个或者多个前面表达式 
 #?非贪婪匹配,就是只匹配一组 
 #筛选出图片链接列表 
 pat2 = '//.+?/n7/.+?\.jpg' 
 imagelist = re.compile(pat2).findall(result1) 
 #x作为图片文件的顺序 
 x=1 
 
 for imageurl in imagelist: 
 imagename = "C:/Users/Administrator/Desktop/jdphone_img/" + str(page) + str(x) + ".jpg" 
 imageurl = "http:" + imageurl 
 try: 
  #保存图片 
  urllib.urlretrieve(imageurl, filename=imagename) 
 except urllib2.URLError as e: 
  #hasattr判断对象里面是否有name属性 
  if hasattr(e, "code"): 
  x+=1 
  if hasattr(e, "reason"): 
  x+=1 
 x+=1 
 
for i in range(1, 3): 
 url = "https://list.jd.com/list.html?cat=9987,653,655&page=" + str(i) 
 craw(url, i)

注意:我这里只保存了第一二页的手机图片,在进行第二次筛选的时候正则表达式之所以会加了一个"?"进行非贪婪匹配,也就是一次只筛选出一张手机图片链接,如果不加这个非贪婪匹配那么我们会把第一个含有“//”到最后一个结尾含有.jpg之间的所有内容都会筛选出来,显示是不符合的,在这里建议可以把正则表达式的?去掉,然后看一下输出结果,去体会一下非贪婪匹配是怎么样的。

Python 相关文章推荐
python中合并两个文本文件并按照姓名首字母排序的例子
Apr 25 Python
Python连接phoenix的方法示例
Sep 29 Python
Numpy中stack(),hstack(),vstack()函数用法介绍及实例
Jan 09 Python
浅谈python脚本设置运行参数的方法
Dec 03 Python
Flask框架踩坑之ajax跨域请求实现
Feb 22 Python
python交易记录链的实现过程详解
Jul 03 Python
python实现代码统计器
Sep 19 Python
Python3使用xlrd、xlwt处理Excel方法数据
Feb 28 Python
利用pyecharts读取csv并进行数据统计可视化的实现
Apr 17 Python
jupyter notebook中美观显示矩阵实例
Apr 17 Python
浅谈matplotlib中FigureCanvasXAgg的用法
Jun 16 Python
python用tkinter实现一个简易能进行随机点名的界面
Sep 27 Python
python通过getopt模块如何获取执行的命令参数详解
Dec 29 #Python
基于并发服务器几种实现方法(总结)
Dec 29 #Python
Python matplotlib画图实例之绘制拥有彩条的图表
Dec 28 #Python
python操作列表的函数使用代码详解
Dec 28 #Python
Python读csv文件去掉一列后再写入新的文件实例
Dec 28 #Python
python3.6连接MySQL和表的创建与删除实例代码
Dec 28 #Python
python3使用scrapy生成csv文件代码示例
Dec 28 #Python
You might like
东芝TOSHIBA RP-F11电路分析
2021/03/02 无线电
利用php实现禁用IE和火狐的缓存问题
2012/12/03 PHP
php防止SQL注入详解及防范
2013/11/12 PHP
php实现简单的上传进度条
2015/11/17 PHP
thinkPHP3.x常量整理(预定义常量/路径常量/系统常量)
2016/05/20 PHP
关于php中的json_encode()和json_decode()函数的一些说明
2016/11/20 PHP
PHP实现深度优先搜索算法(DFS,Depth First Search)详解
2017/09/16 PHP
PHP赋值的内部是如何跑的详解
2019/01/13 PHP
JavaScript-世界上误解最深的语言分析
2007/08/12 Javascript
JS解密入门 最终变量劫持
2008/06/25 Javascript
JavaScript高级程序设计(第3版)学习笔记 概述
2012/10/11 Javascript
js判断页面中是否有指定控件的简单实例
2014/03/04 Javascript
跟我学习javascript的作用域与作用域链
2015/11/19 Javascript
详解Javascript ES6中的箭头函数(Arrow Functions)
2016/08/24 Javascript
jQuery中each循环的跳出和结束实例
2017/08/16 jQuery
JS禁止浏览器右键查看元素或按F12审查元素自动关闭页面示例代码
2017/09/07 Javascript
js+SVG实现动态时钟效果
2018/07/14 Javascript
vuex直接赋值的三种方法总结
2018/09/16 Javascript
jQuery表单校验插件validator使用方法详解
2020/02/18 jQuery
Vue常用传值方式、父传子、子传父及非父子实例分析
2020/02/24 Javascript
Python3实现从指定路径查找文件的方法
2015/05/22 Python
用python写扫雷游戏实例代码分享
2018/05/27 Python
python 字符串和整数的转换方法
2018/06/25 Python
HTML的form表单和django的form表单
2019/07/25 Python
Python使用random模块生成随机数操作实例详解
2019/09/17 Python
python实现WebSocket服务端过程解析
2019/10/18 Python
pip安装提示Twisted错误问题(Python3.6.4安装Twisted错误)
2020/05/09 Python
OpenCV 使用imread()函数读取图片的六种正确姿势
2020/07/09 Python
如何用 Python 处理不平衡数据集
2021/01/04 Python
为2021年的第一场雪锦上添花:用matplotlib绘制雪花和雪景
2021/01/05 Python
CSS3 三维变形实现立体方块特效源码
2016/12/15 HTML / CSS
英国国家美术馆商店:National Gallery
2019/05/01 全球购物
《月球之谜》教学反思
2014/04/10 职场文书
接收函格式
2015/01/30 职场文书
民警忠诚教育心得体会
2016/01/23 职场文书
mysql查询结果实现多列拼接查询
2022/04/03 MySQL