Python爬取数据并实现可视化代码解析


Posted in Python onAugust 12, 2020

这次主要是爬了京东上一双鞋的相关评论:将数据保存到excel中并可视化展示相应的信息

主要的python代码如下:

文件1

#将excel中的数据进行读取分析
import openpyxl
import matplotlib.pyplot as pit #数据统计用的
wk=openpyxl.load_workbook('销售数据.xlsx')
sheet=wk.active #获取活动表
#获取最大行数和最大列数
rows=sheet.max_row
cols=sheet.max_column
lst=[] #用于存储鞋子码数
for i in range (2,rows+1):
  size=sheet.cell(i,3).value
  lst.append(size)
#以上已经将excel中的数据读取完毕
#一下操作就你行统计不同码数的数量
'''python中有一个数据结构叫做字典,使用鞋码做key,使用销售数量做value'''
dic_size={}
for item in lst:
  dic_size[item]=0

for item in lst:
  for size in dic_size:
    #遍历字典
    if item==size:
      dic_size[size]+=1
      break
for item in dic_size:
  print(item,dic_size[item])
#弄成百分比的形式
lst_total=[]
for item in dic_size:
  lst_total.append([item,dic_size[item],dic_size[item]/160*1.0])

#接下来进行数据的可视化(进行画饼操作)
labels=[item[0] +'码'for item in lst_total] #使用列表生成式,得到饼图的标签
fraces=[item[2] for item in lst_total] #饼图中的数据源
pit.rcParams['font.family']=['SimHei'] #单独的表格乱码的处理方式
pit.pie(x=fraces,labels=labels,autopct='%1.1f%%')
#pit.show()进行结果的图片的展示
pit.savefig('图.jpg')

文件2

#所涉及到的是requests和openpyxl数据的存储和数据的清洗以及统计然后就是matplotlib进行数据的可视化
#静态数据点击element中点击发现在html中,服务器已经渲染好的内容,直接发给浏览器,浏览器解释执行,
#动态数据:如果点击下一页。我们的地址栏(加后缀但是前面的地址栏没变也算)(也可以点击2和3页)没有发生任何变化说明是动态数据,说明我们的数据是后来被渲染到html中的。他的数据根本不在html中的。
#动态查看network然后用的url是network里面的headers
#安装第三方模块输入cmd之后pip install 加名字例如requests
import requests
import re
import time
import json
import openpyxl #用于操作 excel文件的
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}#创建头部信息
def get_comments(productId,page):
  url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1".format(productId,page)
  resp = requests.get(url, headers=headers)
  s=resp.text.replace('fetchJSON_comment98(','')#进行替换操作。获取到所需要的相应的json,也就是去掉前后没用的东西
  s=s.replace(');','')
  json_data=json.loads(s)#进行数据json转换
  return json_data

#获取最大页数
def get_max_page(productId):
  dis_data=get_comments(productId,0)#调用刚才写的函数进行向服务器的访问请求,获取字典数据
  return dis_data['maxPage']#获取他的最大页数。每一页都有最大页数

#进行数据提取
def get_info(productId):
  max_page=get_max_page(productId)
  lst=[]#用于存储提取到的商品数据
  for page in range(1,max_page+1):
    #获取没页的商品评论
    comments=get_comments(productId,page)
    comm_list=comments['comments']#根据comnents获取到评论的列表(每页有10条评论)
    #遍历评论列表,获取其中的相应的数据
    for item in comm_list:
      #每条评论分别是一字典。在继续通过key来获取值
      content=item['content']
      color=item['productColor']
      size=item['productSize']
      lst.append([content,color,size])#将每条评论添加到列表当中
    time.sleep(3)#防止被京东封ip进行一个时间延迟。防止访问次数太频繁
  save(lst)

def save(lst):
  #把爬取到的数据进行存储,保存到excel中
  wk=openpyxl.Workbook()#用于创建工作簿对象
  sheet=wk.active #获取活动表(一个工作簿有三个表)
  #遍历列表将数据添加到excel中。列表中的一条数据在表中是一行
  biaotou='评论','颜色','大小'
  sheet.append(biaotou)
  for item in lst:
    sheet.append(item)
  #将excel保存到磁盘上
  wk.save('销售数据.xlsx')


if __name__=='__main__':
  productId='66749071789'
  get_info(productId)
  print("ok")

实现的效果如下:

Python爬取数据并实现可视化代码解析

Python爬取数据并实现可视化代码解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
数据挖掘之Apriori算法详解和Python实现代码分享
Nov 07 Python
Python查找相似单词的方法
Mar 05 Python
新手如何快速入门Python(菜鸟必看篇)
Jun 10 Python
利用python爬取散文网的文章实例教程
Jun 18 Python
Python cookbook(字符串与文本)在字符串的开头或结尾处进行文本匹配操作
Apr 20 Python
Python 做曲线拟合和求积分的方法
Dec 29 Python
python设置环境变量的作用和实例
Jul 09 Python
Tensorflow 定义变量,函数,数值计算等名字的更新方式
Feb 10 Python
python列表删除和多重循环退出原理详解
Mar 26 Python
pyinstaller打包找不到文件的问题解决
Apr 15 Python
python 爬取腾讯视频评论的实现步骤
Feb 18 Python
Python趣味挑战之教你用pygame画进度条
May 31 Python
Python下载网易云歌单歌曲的示例代码
Aug 12 #Python
Python爬取12306车次信息代码详解
Aug 12 #Python
Python读取xlsx数据生成图标代码实例
Aug 12 #Python
Idea安装python显示无SDK问题解决方案
Aug 12 #Python
Python selenium如何打包静态网页并下载
Aug 12 #Python
Python selenium爬取微信公众号文章代码详解
Aug 12 #Python
PyQt5 QDockWidget控件应用详解
Aug 12 #Python
You might like
Yii使用CLinkPager分页实例详解
2014/07/23 PHP
PHP编写daemon process 实例详解
2016/11/13 PHP
Zend Framework基于Command命令行建立ZF项目的方法
2017/02/18 PHP
php 调用百度sms来发送短信的实现示例
2018/11/02 PHP
event.srcElement 用法笔记e.target
2009/12/18 Javascript
用js解决数字不能换行问题
2010/08/10 Javascript
jQuery ul标签下拉菜单演示代码
2010/12/11 Javascript
window.open以post方式将内容提交到新窗口
2012/12/26 Javascript
jQuery中ajax和post处理json的不同示例对比
2014/11/02 Javascript
jQuery滚动新闻实现代码
2016/06/26 Javascript
浅谈jquery中next与siblings的区别
2016/10/27 Javascript
AngularJS 在同一个界面启动多个ng-app应用模块详解
2016/12/20 Javascript
Angular的事件和表单详解
2016/12/26 Javascript
基于bootstrap实现bootstrap中文网巨幕效果
2017/05/02 Javascript
微信小程序 数据绑定及运算的简单实例
2017/09/20 Javascript
35个最好用的Vue开源库(史上最全)
2019/01/03 Javascript
vue-router传参用法详解
2019/01/19 Javascript
Javascript数组及类数组相关原理详解
2020/10/29 Javascript
详解阿里Node.js技术文档之process模块学习指南
2021/01/04 Javascript
Python 列表(List)操作方法详解
2014/03/11 Python
python读取文件名并改名字的实例
2019/01/07 Python
Pycharm如何打断点的方法步骤
2019/06/13 Python
关于python导入模块import与常见的模块详解
2019/08/28 Python
Flask之pipenv虚拟环境的实现
2019/11/26 Python
Pytorch上下采样函数--interpolate用法
2020/07/07 Python
python爬虫分布式获取数据的实例方法
2020/11/26 Python
Python 2.6.6升级到Python2.7.15的详细步骤
2020/12/14 Python
HTML5的结构和语义(2):结构
2008/10/17 HTML / CSS
基于Html5实现的语音搜索功能
2019/05/13 HTML / CSS
天美时手表加拿大官网:Timex加拿大
2016/09/01 全球购物
阳光体育:Sunny Sports(购买露营和远足设备)
2018/08/07 全球购物
酷瑞网络科技面试题
2012/03/30 面试题
物业客服专员岗位职责
2013/11/30 职场文书
2014年师德承诺书
2014/05/23 职场文书
销售会议开幕词
2016/03/04 职场文书
Nginx代理同域名前后端分离项目的完整步骤
2021/03/31 Servers