python抓取京东小米8手机配置信息


Posted in Python onNovember 13, 2018

本文代码是使用python抓取京东小米8手机的配置信息

首先找到小米8商品的链接:https://item.jd.com/7437788.html

然后找到其配置信息的标签,我们找到其配置信息的标签为 <div  class="Ptable"> 

python抓取京东小米8手机配置信息

然后再分析其配置信息的页面的规律,我们发现都是dl中包含了dt和dd,而一个dt对应的一个dd,dt对应的是参数,dd对应的是参数具体的值

python抓取京东小米8手机配置信息

下面是源代码

import requests
from bs4 import BeautifulSoup
from pandas import Series
from pandas import DataFrame
 
 
response=requests.get("https://item.jd.com/7437788.html")
html=response.text
 
soup=BeautifulSoup(html,"html.parser")
divSoup=soup.find("div",attrs={"class","Ptable"}) ##找到其配置信息的标签
 
data=DataFrame(columns=["参数","值"])   #定义一个二元的DataFrame
dls=divSoup.find_all("dl")
 
for dl in dls:
  dts=dl.find_all("dt")
  dds=dl.find_all("dd")
  if len(dts)==len(dds):
    for i in range(len(dts)):
      f=dts[i].getText();
      p=dds[i].getText();
      data=data.append(Series([f,p],index=["参数","值"]),ignore_index=True);
print(data)

这是最终抓取到的配置信息,一共有64行,这里我就不一一列举出来了 

python抓取京东小米8手机配置信息

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求
Oct 13 Python
Python编程中字符串和列表的基本知识讲解
Oct 14 Python
Python编程中对文件和存储器的读写示例
Jan 25 Python
Python做文本按行去重的实现方法
Oct 19 Python
利用django如何解析用户上传的excel文件
Jul 24 Python
详解python多线程、锁、event事件机制的简单使用
Apr 27 Python
Python文件如何引入?详解引入Python文件步骤
Dec 10 Python
Python完成哈夫曼树编码过程及原理详解
Jul 29 Python
使用PyTorch实现MNIST手写体识别代码
Jan 18 Python
python中安装django模块的方法
Mar 12 Python
python用字节处理文件实例讲解
Apr 13 Python
tensorboard 可视化之localhost:6006不显示的解决方案
May 22 Python
python输入整条数据分割存入数组的方法
Nov 13 #Python
在Python中输入一个以空格为间隔的数组方法
Nov 13 #Python
python 输入一个数n,求n个数求乘或求和的实例
Nov 13 #Python
python判断完全平方数的方法
Nov 13 #Python
python实现n个数中选出m个数的方法
Nov 13 #Python
Python使用combinations实现排列组合的方法
Nov 13 #Python
python生成n个元素的全组合方法
Nov 13 #Python
You might like
咖啡界又出新概念,无需咖啡豆的分子咖啡
2021/03/03 咖啡文化
Dedecms V3.1 生成HTML速度的优化办法
2007/03/18 PHP
调整优化您的LAMP应用程序的5种简单方法
2011/06/26 PHP
PHP 正则表达式常用函数
2014/08/17 PHP
Android AsyncTack 异步任务实例详解
2016/11/02 PHP
新手入门常用代码集锦
2007/01/11 Javascript
jquery-easyui关闭tab自动切换到前一个tab
2010/07/29 Javascript
js注意img图片的onerror事件的分析
2011/01/01 Javascript
js保留小数点后几位的写法
2014/01/03 Javascript
JQuery CheckBox(复选框)操作方法汇总
2015/04/15 Javascript
jQuery中通过ajax的get()函数读取页面的方法
2016/02/29 Javascript
详解webpack打包vue时提取css
2017/05/26 Javascript
layui select动态添加option的实例
2018/03/07 Javascript
解决使用bootstrap的dropdown部件时报错:error:Bootstrap dropdown require Popper.js问题
2018/08/30 Javascript
node+express框架中连接使用mysql(经验总结)
2018/11/10 Javascript
vue使用element-ui实现表单验证
2020/12/13 Vue.js
Vue如何实现变量表达式选择器
2021/02/18 Vue.js
python教程之用py2exe将PY文件转成EXE文件
2014/06/12 Python
Python实现Linux下守护进程的编写方法
2014/08/22 Python
Python单链表的简单实现方法
2014/09/23 Python
举例讲解Python中metaclass元类的创建与使用
2016/06/30 Python
Python遍历文件夹和读写文件的实现代码
2016/08/28 Python
python实现感知器
2017/12/19 Python
Python OpenCV处理图像之图像直方图和反向投影
2018/07/10 Python
python实现websocket的客户端压力测试
2019/06/25 Python
深入了解Python iter() 方法的用法
2019/07/11 Python
python集合的创建、添加及删除操作示例
2019/10/08 Python
使用NumPy读取MNIST数据的实现代码示例
2019/11/20 Python
python使用docx模块读写docx文件的方法与docx模块常用方法详解
2020/02/17 Python
python实现的分层随机抽样案例
2020/02/25 Python
专升本自我鉴定
2013/10/10 职场文书
数学系个人求职信范文
2014/01/30 职场文书
组工干部对照检查材料
2014/08/25 职场文书
纪念九一八事变演讲稿:忘记意味着背叛
2014/09/14 职场文书
小学优秀教师先进事迹材料
2014/12/16 职场文书
穆斯林的葬礼读书笔记
2015/06/26 职场文书