Python爬取数据并实现可视化代码解析


Posted in Python onAugust 12, 2020

这次主要是爬了京东上一双鞋的相关评论:将数据保存到excel中并可视化展示相应的信息

主要的python代码如下:

文件1

#将excel中的数据进行读取分析
import openpyxl
import matplotlib.pyplot as pit #数据统计用的
wk=openpyxl.load_workbook('销售数据.xlsx')
sheet=wk.active #获取活动表
#获取最大行数和最大列数
rows=sheet.max_row
cols=sheet.max_column
lst=[] #用于存储鞋子码数
for i in range (2,rows+1):
  size=sheet.cell(i,3).value
  lst.append(size)
#以上已经将excel中的数据读取完毕
#一下操作就你行统计不同码数的数量
'''python中有一个数据结构叫做字典,使用鞋码做key,使用销售数量做value'''
dic_size={}
for item in lst:
  dic_size[item]=0

for item in lst:
  for size in dic_size:
    #遍历字典
    if item==size:
      dic_size[size]+=1
      break
for item in dic_size:
  print(item,dic_size[item])
#弄成百分比的形式
lst_total=[]
for item in dic_size:
  lst_total.append([item,dic_size[item],dic_size[item]/160*1.0])

#接下来进行数据的可视化(进行画饼操作)
labels=[item[0] +'码'for item in lst_total] #使用列表生成式,得到饼图的标签
fraces=[item[2] for item in lst_total] #饼图中的数据源
pit.rcParams['font.family']=['SimHei'] #单独的表格乱码的处理方式
pit.pie(x=fraces,labels=labels,autopct='%1.1f%%')
#pit.show()进行结果的图片的展示
pit.savefig('图.jpg')

文件2

#所涉及到的是requests和openpyxl数据的存储和数据的清洗以及统计然后就是matplotlib进行数据的可视化
#静态数据点击element中点击发现在html中,服务器已经渲染好的内容,直接发给浏览器,浏览器解释执行,
#动态数据:如果点击下一页。我们的地址栏(加后缀但是前面的地址栏没变也算)(也可以点击2和3页)没有发生任何变化说明是动态数据,说明我们的数据是后来被渲染到html中的。他的数据根本不在html中的。
#动态查看network然后用的url是network里面的headers
#安装第三方模块输入cmd之后pip install 加名字例如requests
import requests
import re
import time
import json
import openpyxl #用于操作 excel文件的
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}#创建头部信息
def get_comments(productId,page):
  url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1".format(productId,page)
  resp = requests.get(url, headers=headers)
  s=resp.text.replace('fetchJSON_comment98(','')#进行替换操作。获取到所需要的相应的json,也就是去掉前后没用的东西
  s=s.replace(');','')
  json_data=json.loads(s)#进行数据json转换
  return json_data

#获取最大页数
def get_max_page(productId):
  dis_data=get_comments(productId,0)#调用刚才写的函数进行向服务器的访问请求,获取字典数据
  return dis_data['maxPage']#获取他的最大页数。每一页都有最大页数

#进行数据提取
def get_info(productId):
  max_page=get_max_page(productId)
  lst=[]#用于存储提取到的商品数据
  for page in range(1,max_page+1):
    #获取没页的商品评论
    comments=get_comments(productId,page)
    comm_list=comments['comments']#根据comnents获取到评论的列表(每页有10条评论)
    #遍历评论列表,获取其中的相应的数据
    for item in comm_list:
      #每条评论分别是一字典。在继续通过key来获取值
      content=item['content']
      color=item['productColor']
      size=item['productSize']
      lst.append([content,color,size])#将每条评论添加到列表当中
    time.sleep(3)#防止被京东封ip进行一个时间延迟。防止访问次数太频繁
  save(lst)

def save(lst):
  #把爬取到的数据进行存储,保存到excel中
  wk=openpyxl.Workbook()#用于创建工作簿对象
  sheet=wk.active #获取活动表(一个工作簿有三个表)
  #遍历列表将数据添加到excel中。列表中的一条数据在表中是一行
  biaotou='评论','颜色','大小'
  sheet.append(biaotou)
  for item in lst:
    sheet.append(item)
  #将excel保存到磁盘上
  wk.save('销售数据.xlsx')


if __name__=='__main__':
  productId='66749071789'
  get_info(productId)
  print("ok")

实现的效果如下:

Python爬取数据并实现可视化代码解析

Python爬取数据并实现可视化代码解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Windows服务器下用Apache和mod_wsgi配置Python应用的教程
May 06 Python
深入解析Python设计模式编程中建造者模式的使用
Mar 02 Python
python中hashlib模块用法示例
Oct 30 Python
Python实现上下班抢个顺风单脚本
Feb 07 Python
python自动截取需要区域,进行图像识别的方法
May 17 Python
python cs架构实现简单文件传输
Mar 20 Python
对Python3 序列解包详解
Feb 16 Python
pyinstaller参数介绍以及总结详解
Jul 12 Python
pandas如何处理缺失值
Jul 31 Python
Python实现平行坐标图的绘制(plotly)方式
Nov 22 Python
Python经纬度坐标转换为距离及角度的实现
Nov 01 Python
python 简单的调用有道翻译
Nov 25 Python
Python下载网易云歌单歌曲的示例代码
Aug 12 #Python
Python爬取12306车次信息代码详解
Aug 12 #Python
Python读取xlsx数据生成图标代码实例
Aug 12 #Python
Idea安装python显示无SDK问题解决方案
Aug 12 #Python
Python selenium如何打包静态网页并下载
Aug 12 #Python
Python selenium爬取微信公众号文章代码详解
Aug 12 #Python
PyQt5 QDockWidget控件应用详解
Aug 12 #Python
You might like
php 日期时间处理函数小结
2009/12/18 PHP
用函数式编程技术编写优美的 JavaScript
2006/11/25 Javascript
jquery动态添加删除div 具体实现
2013/07/20 Javascript
javascript间隔刷新的简单实例
2013/11/14 Javascript
当前流行的JavaScript代码风格指南
2014/09/10 Javascript
jQuery实现鼠标滚轮动态改变样式或效果
2015/01/05 Javascript
jQuery在ul中显示某个li索引号的方法
2015/03/17 Javascript
vue.js声明式渲染和条件与循环基础知识
2017/07/31 Javascript
webpack多入口文件页面打包配置详解
2018/01/09 Javascript
Vue 实现前进刷新后退不刷新的效果
2019/06/14 Javascript
Vue实现简易购物车页面
2020/12/30 Vue.js
[39:08]完美世界DOTA2联赛PWL S3 LBZS vs CPG 第一场 12.12
2020/12/16 DOTA
Python基础入门之seed()方法的使用
2015/05/15 Python
Python获取linux主机ip的简单实现方法
2016/04/18 Python
Python字典及字典基本操作方法详解
2018/01/30 Python
解决Pycharm中import时无法识别自己写的程序方法
2018/05/18 Python
Python编写合并字典并实现敏感目录的小脚本
2019/02/26 Python
PyQt5 加载图片和文本文件的实例
2019/06/14 Python
python实现几种归一化方法(Normalization Method)
2019/07/31 Python
python3实现弹弹球小游戏
2019/11/25 Python
对Python 字典元素进行删除的方法
2020/07/31 Python
Numpy(Pandas)删除全为零的列的方法
2020/09/11 Python
纽约手袋品牌:KARA
2018/03/18 全球购物
北京-环亚运商测试题.net程序员初步测试题
2013/05/28 面试题
客户代表自我评价范例
2013/09/24 职场文书
中学劳技课教师的自我评价
2014/02/05 职场文书
工程专业应届生求职信
2014/02/19 职场文书
大学生励志演讲稿
2014/04/25 职场文书
学校联谊协议书
2014/09/16 职场文书
2014年“四风”问题个人整改措施
2014/09/17 职场文书
2014年办公室文员工作总结
2014/11/12 职场文书
内乡县衙导游词
2015/02/05 职场文书
三好学生个人总结
2015/02/15 职场文书
端午节寄语2015
2015/03/23 职场文书
村党总支部公开承诺书2016
2016/03/25 职场文书
MySQL中order by的使用详情
2021/11/17 MySQL