python抓取京东小米8手机配置信息


Posted in Python onNovember 13, 2018

本文代码是使用python抓取京东小米8手机的配置信息

首先找到小米8商品的链接:https://item.jd.com/7437788.html

然后找到其配置信息的标签,我们找到其配置信息的标签为 <div  class="Ptable"> 

python抓取京东小米8手机配置信息

然后再分析其配置信息的页面的规律,我们发现都是dl中包含了dt和dd,而一个dt对应的一个dd,dt对应的是参数,dd对应的是参数具体的值

python抓取京东小米8手机配置信息

下面是源代码

import requests
from bs4 import BeautifulSoup
from pandas import Series
from pandas import DataFrame
 
 
response=requests.get("https://item.jd.com/7437788.html")
html=response.text
 
soup=BeautifulSoup(html,"html.parser")
divSoup=soup.find("div",attrs={"class","Ptable"}) ##找到其配置信息的标签
 
data=DataFrame(columns=["参数","值"])   #定义一个二元的DataFrame
dls=divSoup.find_all("dl")
 
for dl in dls:
  dts=dl.find_all("dt")
  dds=dl.find_all("dd")
  if len(dts)==len(dds):
    for i in range(len(dts)):
      f=dts[i].getText();
      p=dds[i].getText();
      data=data.append(Series([f,p],index=["参数","值"]),ignore_index=True);
print(data)

这是最终抓取到的配置信息,一共有64行,这里我就不一一列举出来了 

python抓取京东小米8手机配置信息

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中处理字符串之isdecimal()方法的使用
May 20 Python
Python基于PyGraphics包实现图片截取功能的方法
Dec 21 Python
一条命令解决mac版本python IDLE不能输入中文问题
May 15 Python
在Python中使用defaultdict初始化字典以及应用方法
Oct 31 Python
Python读取excel指定列生成指定sql脚本的方法
Nov 28 Python
pyqt5 禁止窗口最大化和禁止窗口拉伸的方法
Jun 18 Python
对Django中static(静态)文件详解以及{% static %}标签的使用方法
Jul 28 Python
python监控nginx端口和进程状态
Sep 06 Python
Pytorch 实现计算分类器准确率(总分类及子分类)
Jan 18 Python
如何搭建pytorch环境的方法步骤
May 06 Python
全网最细 Python 格式化输出用法讲解(推荐)
Jan 18 Python
Python实现Excel自动分组合并单元格
Feb 22 Python
python输入整条数据分割存入数组的方法
Nov 13 #Python
在Python中输入一个以空格为间隔的数组方法
Nov 13 #Python
python 输入一个数n,求n个数求乘或求和的实例
Nov 13 #Python
python判断完全平方数的方法
Nov 13 #Python
python实现n个数中选出m个数的方法
Nov 13 #Python
Python使用combinations实现排列组合的方法
Nov 13 #Python
python生成n个元素的全组合方法
Nov 13 #Python
You might like
php准确获取文件MIME类型的方法
2015/06/17 PHP
thinkPHP实现签到功能的方法
2017/03/15 PHP
createElement动态创建HTML对象脚本代码
2008/11/24 Javascript
javascript设计模式 接口介绍
2012/07/24 Javascript
JavaScript如何从listbox里同时删除多个项目
2013/10/12 Javascript
Javascript实现计算个人所得税
2015/05/10 Javascript
js显示当前日期时间和星期几
2015/10/22 Javascript
JS折半插入排序算法实例
2015/12/02 Javascript
AngularJS控制器controller正确的通信的方法
2016/01/25 Javascript
JavaScript开发Chrome浏览器扩展程序UI的教程
2016/05/16 Javascript
基于Phantomjs生成PDF的实现方法
2016/11/07 Javascript
JavaScript数据结构之二叉树的查找算法示例
2017/04/13 Javascript
JavaScript事件处理程序详解
2017/09/19 Javascript
JavaScript体验异步更好的解决办法
2018/01/08 Javascript
ionic2中使用自动生成器的方法
2018/03/04 Javascript
vue excel上传预览和table内容下载到excel文件中
2019/12/10 Javascript
python生成器的使用方法
2013/11/21 Python
Python玩转PDF的各种骚操作
2019/05/06 Python
简单了解为什么python函数后有多个括号
2019/12/19 Python
python查询MySQL将数据写入Excel
2020/10/29 Python
全网最细 Python 格式化输出用法讲解(推荐)
2021/01/18 Python
Python3+Appium安装及Appium模拟微信登录方法详解
2021/02/16 Python
详解移动端h5页面根据屏幕适配的四种方案
2020/04/15 HTML / CSS
当x.equals(y)等于true时,x.hashCode()与y.hashCode()可以不相等,这句话对不对
2015/05/02 面试题
贯彻学习两会心得体会范文
2014/03/17 职场文书
2014年大学生党课心得体会范文
2014/03/29 职场文书
银行求职信范文
2014/05/26 职场文书
供用电专业求职信
2014/07/07 职场文书
村级个人对照检查材料
2014/08/22 职场文书
优秀教师先进个人事迹材料
2014/08/31 职场文书
奖学金感谢信
2015/01/21 职场文书
2015年保安个人工作总结
2015/04/02 职场文书
圆明园纪录片观后感
2015/06/03 职场文书
运动员入场前导词
2015/07/20 职场文书
运动会200米广播稿
2015/08/19 职场文书
2016大学生入党积极分子心得体会
2016/01/06 职场文书