Python爬取数据并实现可视化代码解析


Posted in Python onAugust 12, 2020

这次主要是爬了京东上一双鞋的相关评论:将数据保存到excel中并可视化展示相应的信息

主要的python代码如下:

文件1

#将excel中的数据进行读取分析
import openpyxl
import matplotlib.pyplot as pit #数据统计用的
wk=openpyxl.load_workbook('销售数据.xlsx')
sheet=wk.active #获取活动表
#获取最大行数和最大列数
rows=sheet.max_row
cols=sheet.max_column
lst=[] #用于存储鞋子码数
for i in range (2,rows+1):
  size=sheet.cell(i,3).value
  lst.append(size)
#以上已经将excel中的数据读取完毕
#一下操作就你行统计不同码数的数量
'''python中有一个数据结构叫做字典,使用鞋码做key,使用销售数量做value'''
dic_size={}
for item in lst:
  dic_size[item]=0

for item in lst:
  for size in dic_size:
    #遍历字典
    if item==size:
      dic_size[size]+=1
      break
for item in dic_size:
  print(item,dic_size[item])
#弄成百分比的形式
lst_total=[]
for item in dic_size:
  lst_total.append([item,dic_size[item],dic_size[item]/160*1.0])

#接下来进行数据的可视化(进行画饼操作)
labels=[item[0] +'码'for item in lst_total] #使用列表生成式,得到饼图的标签
fraces=[item[2] for item in lst_total] #饼图中的数据源
pit.rcParams['font.family']=['SimHei'] #单独的表格乱码的处理方式
pit.pie(x=fraces,labels=labels,autopct='%1.1f%%')
#pit.show()进行结果的图片的展示
pit.savefig('图.jpg')

文件2

#所涉及到的是requests和openpyxl数据的存储和数据的清洗以及统计然后就是matplotlib进行数据的可视化
#静态数据点击element中点击发现在html中,服务器已经渲染好的内容,直接发给浏览器,浏览器解释执行,
#动态数据:如果点击下一页。我们的地址栏(加后缀但是前面的地址栏没变也算)(也可以点击2和3页)没有发生任何变化说明是动态数据,说明我们的数据是后来被渲染到html中的。他的数据根本不在html中的。
#动态查看network然后用的url是network里面的headers
#安装第三方模块输入cmd之后pip install 加名字例如requests
import requests
import re
import time
import json
import openpyxl #用于操作 excel文件的
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}#创建头部信息
def get_comments(productId,page):
  url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1".format(productId,page)
  resp = requests.get(url, headers=headers)
  s=resp.text.replace('fetchJSON_comment98(','')#进行替换操作。获取到所需要的相应的json,也就是去掉前后没用的东西
  s=s.replace(');','')
  json_data=json.loads(s)#进行数据json转换
  return json_data

#获取最大页数
def get_max_page(productId):
  dis_data=get_comments(productId,0)#调用刚才写的函数进行向服务器的访问请求,获取字典数据
  return dis_data['maxPage']#获取他的最大页数。每一页都有最大页数

#进行数据提取
def get_info(productId):
  max_page=get_max_page(productId)
  lst=[]#用于存储提取到的商品数据
  for page in range(1,max_page+1):
    #获取没页的商品评论
    comments=get_comments(productId,page)
    comm_list=comments['comments']#根据comnents获取到评论的列表(每页有10条评论)
    #遍历评论列表,获取其中的相应的数据
    for item in comm_list:
      #每条评论分别是一字典。在继续通过key来获取值
      content=item['content']
      color=item['productColor']
      size=item['productSize']
      lst.append([content,color,size])#将每条评论添加到列表当中
    time.sleep(3)#防止被京东封ip进行一个时间延迟。防止访问次数太频繁
  save(lst)

def save(lst):
  #把爬取到的数据进行存储,保存到excel中
  wk=openpyxl.Workbook()#用于创建工作簿对象
  sheet=wk.active #获取活动表(一个工作簿有三个表)
  #遍历列表将数据添加到excel中。列表中的一条数据在表中是一行
  biaotou='评论','颜色','大小'
  sheet.append(biaotou)
  for item in lst:
    sheet.append(item)
  #将excel保存到磁盘上
  wk.save('销售数据.xlsx')


if __name__=='__main__':
  productId='66749071789'
  get_info(productId)
  print("ok")

实现的效果如下:

Python爬取数据并实现可视化代码解析

Python爬取数据并实现可视化代码解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现代码行数统计示例分享
Feb 10 Python
使用python编写脚本获取手机当前应用apk的信息
Jul 21 Python
python调用fortran模块
Apr 08 Python
利用python实现简单的循环购物车功能示例代码
Jul 05 Python
深入浅出学习python装饰器
Sep 29 Python
浅谈python中字典append 到list 后值的改变问题
May 04 Python
Python使用matplotlib绘制随机漫步图
Aug 27 Python
Python通用循环的构造方法实例分析
Dec 19 Python
Pycharm设置utf-8自动显示方法
Jan 17 Python
python字符串格式化方式解析
Oct 19 Python
基于Python中isfile函数和isdir函数使用详解
Nov 29 Python
使用Django框架创建项目
Jun 10 Python
Python下载网易云歌单歌曲的示例代码
Aug 12 #Python
Python爬取12306车次信息代码详解
Aug 12 #Python
Python读取xlsx数据生成图标代码实例
Aug 12 #Python
Idea安装python显示无SDK问题解决方案
Aug 12 #Python
Python selenium如何打包静态网页并下载
Aug 12 #Python
Python selenium爬取微信公众号文章代码详解
Aug 12 #Python
PyQt5 QDockWidget控件应用详解
Aug 12 #Python
You might like
德生PL550的电路分析
2021/03/02 无线电
php addslashes 函数详细分析说明
2009/06/23 PHP
PHP管理内存函数 memory_get_usage()使用介绍
2012/09/23 PHP
PHP中的Memcache详解
2014/04/05 PHP
CodeIgniter实现更改view文件夹路径的方法
2014/07/04 PHP
5款适合PHP使用的HTML编辑器推荐
2015/07/03 PHP
php代码检查代理ip的有效性
2016/08/19 PHP
PHP实现用户登录的案例代码
2018/05/10 PHP
js换图片效果可进行定时操作
2014/06/09 Javascript
Javascript动态创建div的方法
2015/02/09 Javascript
jquery验证邮箱格式是否正确实例讲解
2015/11/16 Javascript
详解JavaScript基于面向对象之创建对象(2)
2015/12/10 Javascript
3种不同的ContextMenu右键菜单实现代码
2016/11/03 Javascript
vue+ElementUI实现订单页动态添加产品数据效果实例代码
2017/07/13 Javascript
浅谈在vue项目中如何定义全局变量和全局函数
2017/10/24 Javascript
关于Vue中axios的封装实例详解
2019/10/20 Javascript
javascript如何实现create方法
2019/11/04 Javascript
python使用cookielib库示例分享
2014/03/03 Python
python类继承与子类实例初始化用法分析
2015/04/17 Python
Python读取指定目录下指定后缀文件并保存为docx
2017/04/23 Python
Python基于QRCode实现生成二维码的方法【下载,安装,调用等】
2017/07/11 Python
利用Python代码实现数据可视化的5种方法详解
2018/03/25 Python
Python配置虚拟环境图文步骤
2019/05/20 Python
使用APScheduler3.0.1 实现定时任务的方法
2019/07/22 Python
怎么解决pycharm license Acti的方法
2020/10/28 Python
Book Depository欧盟:一家领先的国际图书零售商
2019/05/21 全球购物
Zooplus罗马尼亚:宠物食品和配件
2019/11/02 全球购物
思想政治自我鉴定
2013/10/06 职场文书
上课迟到检讨书
2014/02/19 职场文书
2014社区三八妇女节活动总结
2014/03/01 职场文书
美丽乡村建设实施方案
2014/03/23 职场文书
工作失职造成投诉的检讨书范文
2014/10/05 职场文书
党员“四风”问题批评与自我批评思想汇报
2014/10/06 职场文书
实习单位指导教师评语
2014/12/30 职场文书
2015年度内部审计工作总结
2015/05/20 职场文书
win11开机发生死循环重启怎么办?win11开机发生死循环重启解决方法
2022/08/05 数码科技