Python如何使用正则表达式爬取京东商品信息


Posted in Python onJune 01, 2020

京东(JD.com)是中国最大的自营式电商企业,2015年第一季度在中国自营式B2C电商市场的占有率为56.3%。如此庞大的一个电商网站,上面的商品信息是海量的,小编今天就带小伙伴利用正则表达式,并且基于输入的关键词来实现主题爬虫。

首先进去京东网,输入自己想要查询的商品,小编在这里以关键词“狗粮”作为搜索对象,之后得到后面这一串网址:
https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8,其实参数%E7%8B%97%E7%B2%AE解码之后就是“狗粮”的意思。那么非常明显,只要输入keyword这个参数之后,将其进行编码,就可以获取到我们的目标网址了,请求网页,得到响应,尔后利用选择器便可以进行下一步的精准采集了。

在京东网上,狗粮信息在京东官网上的网页源码如下图所示:

Python如何使用正则表达式爬取京东商品信息

狗粮信息在京东官网上的网页源码

话不多说,直接撸代码,如下图所示。小编用的是py3,也建议大家以后多用py3版本。通常URL编码的方式是把需要编码的字符转化为%xx的形式,一般来说URL的编码是基于UTF-8的,当然也有的于浏览器平台有关。在Python的urllib库中提供了quote方法,可以实现对URL的字符串进行编码,从而可以进入到对应的网页中去。

正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expression,在代码中常简写为regex、regexp或RE),是一种可以用于模式匹配和替换的强有力的工具。找到目标网页之后,调用urllib中的urlopen函数打开网页并获取源码,之后利用正则表达式实现对目标信息的精准采集。

Python如何使用正则表达式爬取京东商品信息

利用正则表达式实现对目标信息的精准采集

正则表达式写在这个程序中确实蛮复杂的,也占据了多行,但是主要用到的正则表达式是[\w\W]+?和[\s\S]+?。

[\s\S]或者[\w\W]是完全通配的意思,\s是指空白,包括空格、换行、tab缩进等所有的空白,而\S刚好相反。这样一正一反下来,就表示所有的字符,完全的,一字不漏的。另外,[]这个符号,表示在它里面包含的单个字符不限顺序的出现,比如下面的正则:[ace]*,这表示,只要出现a/c/e这三个任意的字母,都会被匹配。

此外,[\s]表示,只要出现空白就匹配;[\S]表示,非空白就匹配。那么它们的组合,表示所有的都匹配,与它相对应的,有[\w\W]等,意义完全相同。其实,[\s\S] 和 [\w\W]这样的用法,比"."所匹配的还要多,因为"."是不会匹配换行的,所有出现有换行匹配的时候,人们就习惯 使用[\s\S]或者[\w\W]这样的完全通配模式。

最后得到的输出效果图如下所示:

Python如何使用正则表达式爬取京东商品信息

输出效果图

这样小伙伴们就可以获取到狗粮的商品信息了,当然,小编在这里只是抛砖引玉,只匹配了四个信息,而且只是做了个单页的获取。需要更多数据的小伙伴们可以自行去更改正则表达式和设置多页,达到你想要的效果。下篇文章小编将利用美丽的汤BeautifulSoup来进行匹配目标数据,实现目标信息的精准获取。

最后给大家简单介绍一下正则表达式。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些匹配某个模式的文本。

正则表达式对于初学者确实晦涩难懂,不过慢慢学习还是可以掌握的,并不一定要完全记下来,但是你要知道什么时候需要什么参数,能做到顺利使用它就可以了。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python socket C/S结构的聊天室应用实现
Nov 30 Python
python中__call__内置函数用法实例
Jun 04 Python
python实现搜索本地文件信息写入文件的方法
Feb 22 Python
Python实现脚本锁功能(同时只能执行一个脚本)
May 10 Python
Python实现字符串逆序输出功能示例
Jun 24 Python
如何用C代码给Python写扩展库(Cython)
May 17 Python
Python简易版停车管理系统
Aug 12 Python
如何让python的运行速度得到提升
Jul 08 Python
python通过函数名调用函数的几种场景
Sep 23 Python
Django使用django-simple-captcha做验证码的实现示例
Jan 07 Python
详解使用python爬取抖音app视频(appium可以操控手机)
Jan 26 Python
教你如何使用Python下载B站视频的详细教程
Apr 29 Python
浅谈pycharm导入pandas包遇到的问题及解决
Jun 01 #Python
python实现密码验证合格程序的思路详解
Jun 01 #Python
Python网络爬虫四大选择器用法原理总结
Jun 01 #Python
浅谈Pycharm的项目文件名是红色的原因及解决方式
Jun 01 #Python
pycharm设置默认的UTF-8编码模式的方法详解
Jun 01 #Python
解决pycharm导入本地py文件时,模块下方出现红色波浪线的问题
Jun 01 #Python
Python常见反爬虫机制解决方案
Jun 01 #Python
You might like
基于xcache的配置与使用详解
2013/06/18 PHP
php注册登录系统简化版
2020/12/28 PHP
PHP执行普通shell命令流程解析
2020/08/24 PHP
autoPlay 基于jquery的图片自动播放效果
2011/12/07 Javascript
循环 vs 递归浅谈
2013/02/28 Javascript
禁用键盘上的(全局)指定键兼容iE、Chrome、火狐
2013/05/14 Javascript
使用javascript做的一个随机点名程序
2014/02/13 Javascript
jquery ui bootstrap 实现自定义风格
2014/11/14 Javascript
JavaScript中的类(Class)详细介绍
2014/12/30 Javascript
js判断鼠标左、中、右键哪个被点击的方法
2015/01/27 Javascript
js实现不提交表单获取单选按钮值的方法
2015/08/21 Javascript
理解Javascript的call、apply
2015/12/16 Javascript
JSONObject使用方法详解
2015/12/17 Javascript
JS实现简单的右下角弹出提示窗口完整实例
2016/06/21 Javascript
jq给页面添加覆盖层遮罩的实例
2017/02/16 Javascript
js实现做通讯录的索引滑动显示效果和滑动显示锚点效果
2017/02/18 Javascript
webpack构建vue项目的详细教程(配置篇)
2017/07/17 Javascript
js推箱子小游戏步骤代码解析
2018/01/10 Javascript
详解webpack4升级指南以及从webpack3.x迁移
2018/06/12 Javascript
深入浅析nuxt.js基于ssh的vue通用框架
2019/05/21 Javascript
JS实现小米轮播图
2020/09/21 Javascript
jquery实现图片放大镜效果
2020/12/23 jQuery
python通过pil将图片转换成黑白效果的方法
2015/03/16 Python
Python文件与文件夹常见基本操作总结
2016/09/19 Python
python实现批量按比例缩放图片效果
2018/03/30 Python
Python寻找两个有序数组的中位数实例详解
2018/12/05 Python
关于Tensorflow分布式并行策略
2020/02/03 Python
Python如何实现小程序 无限求和平均
2020/02/18 Python
Python3.9.1中使用split()的处理方法(推荐)
2021/02/07 Python
任意一块网页内容实现“活”的背景(目前火狐浏览器专有)
2014/05/07 HTML / CSS
AmazeUI 手机版页面的顶部导航条Header与侧边导航栏offCanvas的示例代码
2020/08/19 HTML / CSS
新秀丽拉杆箱美国官方网站:Samsonite美国
2016/07/25 全球购物
服务行业个人求职的自我评价
2013/12/12 职场文书
工作失职检讨书
2015/01/26 职场文书
教师年度考核个人总结
2015/02/12 职场文书
SQL Server中的逻辑函数介绍
2022/05/25 SQL Server