python抓取京东小米8手机配置信息


Posted in Python onNovember 13, 2018

本文代码是使用python抓取京东小米8手机的配置信息

首先找到小米8商品的链接:https://item.jd.com/7437788.html

然后找到其配置信息的标签,我们找到其配置信息的标签为 <div  class="Ptable"> 

python抓取京东小米8手机配置信息

然后再分析其配置信息的页面的规律,我们发现都是dl中包含了dt和dd,而一个dt对应的一个dd,dt对应的是参数,dd对应的是参数具体的值

python抓取京东小米8手机配置信息

下面是源代码

import requests
from bs4 import BeautifulSoup
from pandas import Series
from pandas import DataFrame
 
 
response=requests.get("https://item.jd.com/7437788.html")
html=response.text
 
soup=BeautifulSoup(html,"html.parser")
divSoup=soup.find("div",attrs={"class","Ptable"}) ##找到其配置信息的标签
 
data=DataFrame(columns=["参数","值"])   #定义一个二元的DataFrame
dls=divSoup.find_all("dl")
 
for dl in dls:
  dts=dl.find_all("dt")
  dds=dl.find_all("dd")
  if len(dts)==len(dds):
    for i in range(len(dts)):
      f=dts[i].getText();
      p=dds[i].getText();
      data=data.append(Series([f,p],index=["参数","值"]),ignore_index=True);
print(data)

这是最终抓取到的配置信息,一共有64行,这里我就不一一列举出来了 

python抓取京东小米8手机配置信息

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python读写unicode文件的方法
Jul 10 Python
Python中int()函数的用法浅析
Oct 17 Python
Django ORM框架的定时任务如何使用详解
Oct 19 Python
用Python写脚本,实现完全备份和增量备份的示例
Apr 29 Python
使用Python来开发微信功能
Jun 13 Python
python 实现对数据集的归一化的方法(0-1之间)
Jul 17 Python
详解Python 调用C# dll库最简方法
Jun 20 Python
python Django中models进行模糊查询的示例
Jul 18 Python
基于python实现FTP文件上传与下载操作(ftp&amp;sftp协议)
Apr 01 Python
python Paramiko使用示例
Sep 21 Python
Python中生成ndarray实例讲解
Feb 22 Python
Python代码,能玩30多款童年游戏!这些有几个是你玩过的
Apr 27 Python
python输入整条数据分割存入数组的方法
Nov 13 #Python
在Python中输入一个以空格为间隔的数组方法
Nov 13 #Python
python 输入一个数n,求n个数求乘或求和的实例
Nov 13 #Python
python判断完全平方数的方法
Nov 13 #Python
python实现n个数中选出m个数的方法
Nov 13 #Python
Python使用combinations实现排列组合的方法
Nov 13 #Python
python生成n个元素的全组合方法
Nov 13 #Python
You might like
PHP如何获取当前主机、域名、网址、路径、端口等参数
2017/06/09 PHP
浅谈Laravel POST,PUT,PATCH 路由的区别
2019/10/15 PHP
一些常用的JS功能函数代码
2009/06/23 Javascript
UpdatePanel和Jquery冲突的解决方法
2013/04/01 Javascript
JS通过相同的name进行表格求和代码
2013/08/18 Javascript
js同源策略详解
2015/05/21 Javascript
JavaScript实现数组随机排序的方法
2015/06/26 Javascript
js实现的后台左侧管理菜单代码
2015/09/11 Javascript
微信小程序 slider的简单实例
2017/04/19 Javascript
react-router实现按需加载
2017/05/09 Javascript
vue父组件异步获取数据传给子组件的方法
2018/07/26 Javascript
详解Puppeteer前端自动化测试实践
2019/02/21 Javascript
浅入深出Vue之自动化路由
2019/08/06 Javascript
vue中上传视频或图片或图片和文字一起到后端的解决方法
2019/12/01 Javascript
vue渲染方式render和template的区别
2020/06/05 Javascript
vue 避免变量赋值后双向绑定的操作
2020/11/07 Javascript
[01:50]WODOTA制作 DOTA2中文宣传片《HERO》
2013/04/28 DOTA
[02:10]DOTA2亚洲邀请赛 EG战队出场宣传片
2015/02/07 DOTA
[31:47]夜魇凡尔赛茶话会 第三期01:选手知多少
2021/03/11 DOTA
Python实现提取文章摘要的方法
2015/04/21 Python
python3.4用函数操作mysql5.7数据库
2017/06/23 Python
Django 2.0版本的新特性抢先看!
2018/01/05 Python
Flask解决跨域的问题示例代码
2018/02/12 Python
VScode编写第一个Python程序HelloWorld步骤
2018/04/06 Python
浅谈python日志的配置文件路径问题
2018/04/28 Python
Python的互斥锁与信号量详解
2019/09/12 Python
德国大型和小型家用电器网上商店:Energeto
2019/05/15 全球购物
异常和异常类的概念
2014/09/12 面试题
如何利用XMLHTTP检测URL及探测服务器信息
2013/11/10 面试题
工作保证书范文
2014/04/29 职场文书
师德师风个人自我剖析材料
2014/09/27 职场文书
政风行风评议心得体会
2014/10/21 职场文书
精神文明建设汇报材料
2014/12/24 职场文书
2015年药店店长工作总结
2015/04/29 职场文书
2015年小学教师培训工作总结
2015/07/21 职场文书
AJAX实现省市县三级联动效果
2021/10/16 Javascript