Python如何使用正则表达式爬取京东商品信息


Posted in Python onJune 01, 2020

京东(JD.com)是中国最大的自营式电商企业,2015年第一季度在中国自营式B2C电商市场的占有率为56.3%。如此庞大的一个电商网站,上面的商品信息是海量的,小编今天就带小伙伴利用正则表达式,并且基于输入的关键词来实现主题爬虫。

首先进去京东网,输入自己想要查询的商品,小编在这里以关键词“狗粮”作为搜索对象,之后得到后面这一串网址:
https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8,其实参数%E7%8B%97%E7%B2%AE解码之后就是“狗粮”的意思。那么非常明显,只要输入keyword这个参数之后,将其进行编码,就可以获取到我们的目标网址了,请求网页,得到响应,尔后利用选择器便可以进行下一步的精准采集了。

在京东网上,狗粮信息在京东官网上的网页源码如下图所示:

Python如何使用正则表达式爬取京东商品信息

狗粮信息在京东官网上的网页源码

话不多说,直接撸代码,如下图所示。小编用的是py3,也建议大家以后多用py3版本。通常URL编码的方式是把需要编码的字符转化为%xx的形式,一般来说URL的编码是基于UTF-8的,当然也有的于浏览器平台有关。在Python的urllib库中提供了quote方法,可以实现对URL的字符串进行编码,从而可以进入到对应的网页中去。

正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expression,在代码中常简写为regex、regexp或RE),是一种可以用于模式匹配和替换的强有力的工具。找到目标网页之后,调用urllib中的urlopen函数打开网页并获取源码,之后利用正则表达式实现对目标信息的精准采集。

Python如何使用正则表达式爬取京东商品信息

利用正则表达式实现对目标信息的精准采集

正则表达式写在这个程序中确实蛮复杂的,也占据了多行,但是主要用到的正则表达式是[\w\W]+?和[\s\S]+?。

[\s\S]或者[\w\W]是完全通配的意思,\s是指空白,包括空格、换行、tab缩进等所有的空白,而\S刚好相反。这样一正一反下来,就表示所有的字符,完全的,一字不漏的。另外,[]这个符号,表示在它里面包含的单个字符不限顺序的出现,比如下面的正则:[ace]*,这表示,只要出现a/c/e这三个任意的字母,都会被匹配。

此外,[\s]表示,只要出现空白就匹配;[\S]表示,非空白就匹配。那么它们的组合,表示所有的都匹配,与它相对应的,有[\w\W]等,意义完全相同。其实,[\s\S] 和 [\w\W]这样的用法,比"."所匹配的还要多,因为"."是不会匹配换行的,所有出现有换行匹配的时候,人们就习惯 使用[\s\S]或者[\w\W]这样的完全通配模式。

最后得到的输出效果图如下所示:

Python如何使用正则表达式爬取京东商品信息

输出效果图

这样小伙伴们就可以获取到狗粮的商品信息了,当然,小编在这里只是抛砖引玉,只匹配了四个信息,而且只是做了个单页的获取。需要更多数据的小伙伴们可以自行去更改正则表达式和设置多页,达到你想要的效果。下篇文章小编将利用美丽的汤BeautifulSoup来进行匹配目标数据,实现目标信息的精准获取。

最后给大家简单介绍一下正则表达式。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些匹配某个模式的文本。

正则表达式对于初学者确实晦涩难懂,不过慢慢学习还是可以掌握的,并不一定要完全记下来,但是你要知道什么时候需要什么参数,能做到顺利使用它就可以了。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python Trie树实现字典排序
Mar 28 Python
python操作mysql数据库
Mar 05 Python
python队列queue模块详解
Apr 27 Python
Python键盘输入转换为列表的实例
Jun 23 Python
python如何查看微信消息撤回
Nov 27 Python
Python列表常见操作详解(获取,增加,删除,修改,排序等)
Feb 18 Python
Pytorch 实现冻结指定卷积层的参数
Jan 06 Python
selenium 多窗口切换的实现(windows)
Jan 18 Python
Python实现序列化及csv文件读取
Jan 19 Python
通过python 执行 nohup 不生效的解决
Apr 16 Python
python温度转换华氏温度实现代码
Dec 06 Python
python plt.plot bar 如何设置绘图尺寸大小
Jun 01 Python
浅谈pycharm导入pandas包遇到的问题及解决
Jun 01 #Python
python实现密码验证合格程序的思路详解
Jun 01 #Python
Python网络爬虫四大选择器用法原理总结
Jun 01 #Python
浅谈Pycharm的项目文件名是红色的原因及解决方式
Jun 01 #Python
pycharm设置默认的UTF-8编码模式的方法详解
Jun 01 #Python
解决pycharm导入本地py文件时,模块下方出现红色波浪线的问题
Jun 01 #Python
Python常见反爬虫机制解决方案
Jun 01 #Python
You might like
利用php下载xls文件(自己动手写的)
2014/04/18 PHP
PHP信号量基本用法实例详解
2016/02/12 PHP
php设计模式之单例模式代码
2016/06/11 PHP
YII2框架使用控制台命令的方法分析
2020/03/18 PHP
Javascript 中的类和闭包
2010/01/08 Javascript
jQuery dialog 异步调用ashx,webservice数据的代码
2010/08/03 Javascript
javascript 回到顶部效果的实现代码
2014/02/17 Javascript
javascript 模拟坦克大战游戏(html5版)附源码下载
2014/04/08 Javascript
简单谈谈javascript代码复用模式
2015/01/28 Javascript
JS脚本根据手机浏览器类型跳转WAP手机网站(两种方式)
2015/08/04 Javascript
jQuery实现带动画效果的多级下拉菜单代码
2015/09/08 Javascript
浅谈node.js中async异步编程
2015/10/22 Javascript
Angular中$cacheFactory的作用和用法实例详解
2016/08/19 Javascript
Bootstrap Table使用心得总结
2016/11/29 Javascript
详谈angularjs中路由页面强制更新的问题
2017/04/24 Javascript
详解vue-cli快速构建项目以及引入bootstrap、jq
2017/05/26 Javascript
vue 实现 ios 原生picker 效果及实现思路解析
2017/12/06 Javascript
基于nodejs的微信JS-SDK简单应用实现
2019/05/21 NodeJs
Python使用Mechanize模块编写爬虫的要点解析
2016/03/31 Python
python中利用Future对象回调别的函数示例代码
2017/09/07 Python
程序员写Python时的5个坏习惯,你有几条?
2018/11/26 Python
Python实现繁体中文与简体中文相互转换的方法示例
2018/12/18 Python
python实现公司年会抽奖程序
2019/01/22 Python
Python-Flask:动态创建表的示例详解
2019/11/22 Python
python实现全排列代码(回溯、深度优先搜索)
2020/02/26 Python
Python优秀开源项目Rich源码解析的流程分析
2020/07/06 Python
Django后端分离 使用element-ui文件上传方式
2020/07/12 Python
Python性能分析工具py-spy原理用法解析
2020/07/27 Python
解决python3输入的坑——input()
2020/12/05 Python
Pytorch1.5.1版本安装的方法步骤
2020/12/31 Python
KLOOK客路:发现更好玩的世界,预订独一无二的旅行体验
2016/12/16 全球购物
简单说说tomcat的配置
2013/05/28 面试题
“四风”问题的主要表现和危害思想汇报
2014/09/19 职场文书
社区党的群众路线教育实践活动剖析材料
2014/10/09 职场文书
2014年高数考试作弊检讨书
2014/12/14 职场文书
Vue elementUI表单嵌套表格并对每行进行校验详解
2022/02/18 Vue.js