python抓取京东小米8手机配置信息


Posted in Python onNovember 13, 2018

本文代码是使用python抓取京东小米8手机的配置信息

首先找到小米8商品的链接:https://item.jd.com/7437788.html

然后找到其配置信息的标签,我们找到其配置信息的标签为 <div  class="Ptable"> 

python抓取京东小米8手机配置信息

然后再分析其配置信息的页面的规律,我们发现都是dl中包含了dt和dd,而一个dt对应的一个dd,dt对应的是参数,dd对应的是参数具体的值

python抓取京东小米8手机配置信息

下面是源代码

import requests
from bs4 import BeautifulSoup
from pandas import Series
from pandas import DataFrame
 
 
response=requests.get("https://item.jd.com/7437788.html")
html=response.text
 
soup=BeautifulSoup(html,"html.parser")
divSoup=soup.find("div",attrs={"class","Ptable"}) ##找到其配置信息的标签
 
data=DataFrame(columns=["参数","值"])   #定义一个二元的DataFrame
dls=divSoup.find_all("dl")
 
for dl in dls:
  dts=dl.find_all("dt")
  dds=dl.find_all("dd")
  if len(dts)==len(dds):
    for i in range(len(dts)):
      f=dts[i].getText();
      p=dds[i].getText();
      data=data.append(Series([f,p],index=["参数","值"]),ignore_index=True);
print(data)

这是最终抓取到的配置信息,一共有64行,这里我就不一一列举出来了 

python抓取京东小米8手机配置信息

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
举例讲解Python中字典的合并值相加与异或对比
Jun 04 Python
Python常用时间操作总结【取得当前时间、时间函数、应用等】
May 11 Python
pygame游戏之旅 添加游戏介绍
Nov 20 Python
Python中的字符串切片(截取字符串)的详解
May 15 Python
python实现翻转棋游戏(othello)
Jul 29 Python
django 微信网页授权认证api的步骤详解
Jul 30 Python
Python 等分切分数据及规则命名的实例代码
Aug 16 Python
python读取word 中指定位置的表格及表格数据
Oct 23 Python
在Mac中PyCharm配置python Anaconda环境过程图解
Mar 11 Python
解决Django中checkbox复选框的传值问题
Mar 31 Python
使用python实现微信小程序自动签到功能
Apr 27 Python
基于django 的orm中非主键自增的实现方式
May 18 Python
python输入整条数据分割存入数组的方法
Nov 13 #Python
在Python中输入一个以空格为间隔的数组方法
Nov 13 #Python
python 输入一个数n,求n个数求乘或求和的实例
Nov 13 #Python
python判断完全平方数的方法
Nov 13 #Python
python实现n个数中选出m个数的方法
Nov 13 #Python
Python使用combinations实现排列组合的方法
Nov 13 #Python
python生成n个元素的全组合方法
Nov 13 #Python
You might like
php strnatcmp()函数的用法总结
2013/11/27 PHP
PHP生成(支持多模板)二维码海报代码
2018/04/30 PHP
基于jquery实现的类似百度搜索的输入框自动完成功能
2011/08/23 Javascript
Javascript 面向对象(一)(共有方法,私有方法,特权方法)
2012/05/23 Javascript
JQuery事件e参数的方法preventDefault()取消默认行为
2013/09/26 Javascript
jquery插件jSignature实现手动签名
2015/05/04 Javascript
javascript消除window.close()的提示窗口
2015/05/20 Javascript
jQuery插件编写步骤详解
2016/06/03 Javascript
浅谈Javascript中的12种DOM节点类型
2016/08/19 Javascript
使用Angular缓存父页面数据的方法
2017/01/03 Javascript
动态加载css方法实现和深入解析
2017/01/18 Javascript
AngularJS动态菜单操作指令
2017/04/25 Javascript
JS全角与半角转化实例(分享)
2017/07/04 Javascript
Vee-Validate的使用方法详解
2017/09/22 Javascript
详解设置Webstorm 利用babel将ES6自动转码成ES5
2017/12/20 Javascript
Angular2 父子组件通信方式的示例
2018/01/29 Javascript
jQuery实现的点击显示隐藏下拉菜单功能完整示例
2019/05/17 jQuery
vue中created和mounted的区别浅析
2019/08/13 Javascript
微信小程序用户拒绝授权的处理方法详解
2019/09/20 Javascript
vue+vant-UI框架实现购物车的复选框全选和反选功能
2019/11/05 Javascript
浅谈Vue SSR中的Bundle的具有使用
2019/11/21 Javascript
为什么推荐使用JSX开发Vue3
2020/12/28 Vue.js
Python格式化css文件的方法
2015/03/10 Python
详解Django中的ifequal和ifnotequal标签使用
2015/07/16 Python
浅谈优化Django ORM中的性能问题
2020/07/09 Python
详解查看Python解释器路径的两种方式
2020/10/15 Python
html5手机键盘弹出收起的处理
2020/01/20 HTML / CSS
亚洲颇具影响力的男性在线购物零售商:His
2019/11/24 全球购物
大学生个人自荐信样本
2014/03/02 职场文书
幼儿园大班家长评语
2014/04/17 职场文书
团队精神的演讲稿
2014/05/14 职场文书
学校食堂食品安全责任书
2014/07/28 职场文书
质监局领导班子对照检查材料思想汇报
2014/09/27 职场文书
经营目标责任书
2015/05/08 职场文书
2015年财务部年度工作总结
2015/05/19 职场文书
python-opencv 中值滤波{cv2.medianBlur(src, ksize)}的用法
2021/06/05 Python