Python基于BeautifulSoup爬取京东商品信息


Posted in Python onJune 01, 2020

今天小编利用美丽的汤来为大家演示一下如何实现京东商品信息的精准匹配~~

HTML文件其实就是由一组尖括号构成的标签组织起来的,每一对尖括号形式一个标签,标签之间存在上下关系,形成标签树;因此可以说Beautiful Soup库是解析、遍历、维护“标签树”的功能库。

如何利用BeautifulSoup抓取京东网商品信息

Python基于BeautifulSoup爬取京东商品信息

首先进入京东网,输入自己想要查询的商品,向服务器发送网页请求。在这里小编仍以关键词“狗粮”作为搜索对象,之后得到后面这一串网址:
https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8,其中参数的意思就是我们输入的keyword,在本例中该参数代表“狗粮”,具体详情可以参考Python大神用正则表达式教你搞定京东商品信息。所以,只要输入keyword这个参数之后,将其进行编码,就可以获取到目标URL。之后请求网页,得到响应,尔后利用bs4选择器进行下一步的数据采集。

商品信息在京东官网上的部分网页源码如下图所示:

Python基于BeautifulSoup爬取京东商品信息

狗粮信息在京东官网上的网页源码

仔细观察源码,可以发现我们所需的目标信息是存在<li data-sku="*****" class="gl-item">标签下的,那么接下来我们就像剥洋葱一样,一层一层的去获取我们想要的信息。

直接上代码,如下图所示:

Python基于BeautifulSoup爬取京东商品信息

请求网页,获取源码

通常URL编码的方式是把需要编码的字符转化为%xx的形式,一般来说URL的编码是基于UTF-8的,当然也有的于浏览器平台有关。在Python的urllib库中提供了quote方法,可以实现对URL的字符串进行编码,从而可以进入到对应的网页中去。

之后利用美丽的汤去提取目标信息,如商品的名字、链接、图片和价格,具体的代码如下图所示:

Python基于BeautifulSoup爬取京东商品信息

利用美丽的汤去提取目标信息

在本例中,有个地方需要注意,部分图片的链接是空值,所以在提取的时候需要考虑到这个问题。其解决方法有两个,其一是如果使用img['src']会有报错产生,因为匹配不到对应值;但是使用get['src']就不会报错,如果没有匹配到,它会自动返回None。此外也可以利用try+except进行异常处理,如果匹配不到就pass,小伙伴们可以自行测试一下,这个代码测速过程在上图中也有提及哈。使用get方法获取信息,是bs4中的一个小技巧,希望小伙伴们都可以学以致用噢~~~

最后得到的效果图如下所示:

Python基于BeautifulSoup爬取京东商品信息

最终效果图

新鲜的狗粮出炉咯~~~

小伙伴们,有没有发现利用BeautifulSoup来获取目标信息比正则表达式要简单一些呢

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用gzip模块压缩文件的简单教程
Apr 08 Python
浅谈python字符串方法的简单使用
Jul 18 Python
巧用python和libnmapd,提取Nmap扫描结果
Aug 23 Python
简单的python后台管理程序
Apr 13 Python
Python3.4学习笔记之常用操作符,条件分支和循环用法示例
Mar 01 Python
django中ORM模型常用的字段的使用方法
Mar 05 Python
python使用 cx_Oracle 模块进行查询操作示例
Nov 28 Python
pytorch实现mnist分类的示例讲解
Jan 10 Python
PyTorch实现AlexNet示例
Jan 14 Python
TensorFlow打印输出tensor的值
Apr 19 Python
pytorch 计算ConvTranspose1d输出特征大小方式
Jun 23 Python
pycharm全局搜索的具体步骤
Jul 28 Python
k-means 聚类算法与Python实现代码
Jun 01 #Python
python 代码实现k-means聚类分析的思路(不使用现成聚类库)
Jun 01 #Python
python如何写出表白程序
Jun 01 #Python
python中os包的用法
Jun 01 #Python
python保留格式汇总各部门excel内容的实现思路
Jun 01 #Python
Python如何使用正则表达式爬取京东商品信息
Jun 01 #Python
浅谈pycharm导入pandas包遇到的问题及解决
Jun 01 #Python
You might like
php图片的裁剪与缩放生成符合需求的缩略图
2013/01/11 PHP
PHP imagegrabscreen和imagegrabwindow(截取网站缩略图)的实例代码
2013/11/07 PHP
javascript中的prototype属性使用说明(函数功能扩展)
2010/08/16 Javascript
JavaScript学习心得之概述
2015/01/20 Javascript
javascript实现简单的二级联动
2015/03/19 Javascript
Jquery结合HTML5实现文件上传
2015/06/25 Javascript
jquery实现列表上下移动功能
2016/02/25 Javascript
聊一聊JavaScript作用域和作用域链
2016/05/03 Javascript
JS排序算法之冒泡排序,选择排序与插入排序实例分析
2017/12/13 Javascript
vue中element-ui表格缩略图悬浮放大功能的实例代码
2018/06/26 Javascript
JavaScript解析及序列化JSON的方法实例分析
2019/01/04 Javascript
用Vue.js在浏览器中实现裁剪图像功能
2019/06/18 Javascript
微信小程序swiper禁止用户手动滑动代码实例
2019/08/23 Javascript
JavaScript定时器常见用法实例分析
2019/11/15 Javascript
vant实现购物车功能
2020/06/29 Javascript
[02:11]完美世界DOTA2联赛10月28日赛事精彩集锦:来吧展示实力强劲
2020/10/29 DOTA
浅谈Python单向链表的实现
2015/12/24 Python
python3使用SMTP发送HTML格式邮件
2018/06/19 Python
利用django-suit模板添加自定义的菜单、页面及设置访问权限
2018/07/13 Python
Python设计模式之模板方法模式实例详解
2019/01/17 Python
Python 实现两个服务器之间文件的上传方法
2019/02/13 Python
Django REST Framework序列化外键获取外键的值方法
2019/07/26 Python
jupyter notebook中美观显示矩阵实例
2020/04/17 Python
Python闭包与装饰器原理及实例解析
2020/04/30 Python
Nisbets爱尔兰:英国最大的厨房和餐饮设备供应商
2019/01/26 全球购物
英国购买威士忌网站:Master of Malt
2019/09/26 全球购物
乐高瑞士官方商店:LEGO CH
2020/08/16 全球购物
Unix控制后台进程都有哪些进程
2016/09/22 面试题
会展策划与管理专业大学生职业生涯规划
2014/02/07 职场文书
节能减排倡议书
2014/04/15 职场文书
新闻传播专业求职信
2014/07/22 职场文书
党的群众路线教育实践活动个人剖析材料
2014/10/07 职场文书
目标责任书格式范文
2015/05/11 职场文书
关于空气污染危害的感想
2015/08/11 职场文书
个人工作失误的保证书怎么写?
2019/06/21 职场文书
在容器中使用nginx搭建上传下载服务器
2022/05/11 Servers