python抓取京东小米8手机配置信息


Posted in Python onNovember 13, 2018

本文代码是使用python抓取京东小米8手机的配置信息

首先找到小米8商品的链接:https://item.jd.com/7437788.html

然后找到其配置信息的标签,我们找到其配置信息的标签为 <div  class="Ptable"> 

python抓取京东小米8手机配置信息

然后再分析其配置信息的页面的规律,我们发现都是dl中包含了dt和dd,而一个dt对应的一个dd,dt对应的是参数,dd对应的是参数具体的值

python抓取京东小米8手机配置信息

下面是源代码

import requests
from bs4 import BeautifulSoup
from pandas import Series
from pandas import DataFrame
 
 
response=requests.get("https://item.jd.com/7437788.html")
html=response.text
 
soup=BeautifulSoup(html,"html.parser")
divSoup=soup.find("div",attrs={"class","Ptable"}) ##找到其配置信息的标签
 
data=DataFrame(columns=["参数","值"])   #定义一个二元的DataFrame
dls=divSoup.find_all("dl")
 
for dl in dls:
  dts=dl.find_all("dt")
  dds=dl.find_all("dd")
  if len(dts)==len(dds):
    for i in range(len(dts)):
      f=dts[i].getText();
      p=dds[i].getText();
      data=data.append(Series([f,p],index=["参数","值"]),ignore_index=True);
print(data)

这是最终抓取到的配置信息,一共有64行,这里我就不一一列举出来了 

python抓取京东小米8手机配置信息

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python重试装饰器示例
Feb 11 Python
Python实现合并字典的方法
Jul 07 Python
将Python的Django框架与认证系统整合的方法
Jul 24 Python
Python实现获取本地及远程图片大小的方法示例
Jul 21 Python
详解PyCharm配置Anaconda的艰难心路历程
Aug 13 Python
python调用opencv实现猫脸检测功能
Jan 15 Python
Python利用heapq实现一个优先级队列的方法
Feb 03 Python
PyCharm使用Docker镜像搭建Python开发环境
Dec 26 Python
基于spring boot 日志(logback)报错的解决方式
Feb 20 Python
解决阿里云邮件发送不能使用25端口问题
Aug 07 Python
python3 os进行嵌套操作的实例讲解
Nov 19 Python
python代码实现扫码关注公众号登录的实战
Nov 01 Python
python输入整条数据分割存入数组的方法
Nov 13 #Python
在Python中输入一个以空格为间隔的数组方法
Nov 13 #Python
python 输入一个数n,求n个数求乘或求和的实例
Nov 13 #Python
python判断完全平方数的方法
Nov 13 #Python
python实现n个数中选出m个数的方法
Nov 13 #Python
Python使用combinations实现排列组合的方法
Nov 13 #Python
python生成n个元素的全组合方法
Nov 13 #Python
You might like
CURL的学习和应用(附多线程实现)
2013/06/03 PHP
PHP中unset,array_splice删除数组中元素的区别
2014/07/28 PHP
推荐十款免费 WordPress 插件
2015/03/24 PHP
Yii隐藏URL中index.php的方法
2016/07/12 PHP
利用PHP如何统计Nginx日志的User Agent数据
2019/03/06 PHP
Thinkphp5框架使用validate实现验证功能的方法
2019/08/27 PHP
PHP7修改的函数
2021/03/09 PHP
JS中for循序中延迟加载动态效果的具体实现
2013/08/18 Javascript
JS小功能(offsetLeft实现图片滚动效果)实例代码
2013/11/28 Javascript
一款基jquery超炫的动画导航菜单可响应单击事件
2014/11/02 Javascript
JavaScript中的this关键字使用详解
2015/08/14 Javascript
js中获取键盘事件的简单实现方法
2016/10/10 Javascript
js 单引号替换成双引号,双引号替换成单引号的实现方法
2017/02/16 Javascript
微信小程序实现滑动删除效果
2017/05/19 Javascript
React中嵌套组件与被嵌套组件的通信过程
2018/07/11 Javascript
解决vuejs项目里css引用背景图片不能显示的问题
2018/09/13 Javascript
js数据类型转换与流程控制操作实例分析
2019/12/18 Javascript
es6中let和const的使用方法详解
2020/02/24 Javascript
Python 条件判断的缩写方法
2008/09/06 Python
python操作ie登陆土豆网的方法
2015/05/09 Python
Python实现的简单算术游戏实例
2015/05/26 Python
对python实现合并两个排序链表的方法详解
2019/01/23 Python
python循环嵌套的多种使用方法解析
2019/11/29 Python
python标准库OS模块详解
2020/03/10 Python
Django调用支付宝接口代码实例详解
2020/04/04 Python
python GUI计算器的实现
2020/10/09 Python
美国NBA官方商店:NBA Store
2019/04/12 全球购物
英国领先的电动可调床制造商:Laybrook
2019/12/26 全球购物
教学个人的自我评价分享
2014/02/16 职场文书
小学数学课后反思
2014/04/23 职场文书
市场总监岗位职责
2015/02/11 职场文书
办公室管理规章制度
2015/08/04 职场文书
科级干部培训心得体会
2016/01/06 职场文书
8g内存用python读取10文件_面试题-python 如何读取一个大于 10G 的txt文件?
2021/05/28 Python
Python连续赋值需要注意的一些问题
2021/06/03 Python
CSS实现五种常用的2D转换
2021/12/06 HTML / CSS