Python爬取数据并实现可视化代码解析


Posted in Python onAugust 12, 2020

这次主要是爬了京东上一双鞋的相关评论:将数据保存到excel中并可视化展示相应的信息

主要的python代码如下:

文件1

#将excel中的数据进行读取分析
import openpyxl
import matplotlib.pyplot as pit #数据统计用的
wk=openpyxl.load_workbook('销售数据.xlsx')
sheet=wk.active #获取活动表
#获取最大行数和最大列数
rows=sheet.max_row
cols=sheet.max_column
lst=[] #用于存储鞋子码数
for i in range (2,rows+1):
  size=sheet.cell(i,3).value
  lst.append(size)
#以上已经将excel中的数据读取完毕
#一下操作就你行统计不同码数的数量
'''python中有一个数据结构叫做字典,使用鞋码做key,使用销售数量做value'''
dic_size={}
for item in lst:
  dic_size[item]=0

for item in lst:
  for size in dic_size:
    #遍历字典
    if item==size:
      dic_size[size]+=1
      break
for item in dic_size:
  print(item,dic_size[item])
#弄成百分比的形式
lst_total=[]
for item in dic_size:
  lst_total.append([item,dic_size[item],dic_size[item]/160*1.0])

#接下来进行数据的可视化(进行画饼操作)
labels=[item[0] +'码'for item in lst_total] #使用列表生成式,得到饼图的标签
fraces=[item[2] for item in lst_total] #饼图中的数据源
pit.rcParams['font.family']=['SimHei'] #单独的表格乱码的处理方式
pit.pie(x=fraces,labels=labels,autopct='%1.1f%%')
#pit.show()进行结果的图片的展示
pit.savefig('图.jpg')

文件2

#所涉及到的是requests和openpyxl数据的存储和数据的清洗以及统计然后就是matplotlib进行数据的可视化
#静态数据点击element中点击发现在html中,服务器已经渲染好的内容,直接发给浏览器,浏览器解释执行,
#动态数据:如果点击下一页。我们的地址栏(加后缀但是前面的地址栏没变也算)(也可以点击2和3页)没有发生任何变化说明是动态数据,说明我们的数据是后来被渲染到html中的。他的数据根本不在html中的。
#动态查看network然后用的url是network里面的headers
#安装第三方模块输入cmd之后pip install 加名字例如requests
import requests
import re
import time
import json
import openpyxl #用于操作 excel文件的
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}#创建头部信息
def get_comments(productId,page):
  url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1".format(productId,page)
  resp = requests.get(url, headers=headers)
  s=resp.text.replace('fetchJSON_comment98(','')#进行替换操作。获取到所需要的相应的json,也就是去掉前后没用的东西
  s=s.replace(');','')
  json_data=json.loads(s)#进行数据json转换
  return json_data

#获取最大页数
def get_max_page(productId):
  dis_data=get_comments(productId,0)#调用刚才写的函数进行向服务器的访问请求,获取字典数据
  return dis_data['maxPage']#获取他的最大页数。每一页都有最大页数

#进行数据提取
def get_info(productId):
  max_page=get_max_page(productId)
  lst=[]#用于存储提取到的商品数据
  for page in range(1,max_page+1):
    #获取没页的商品评论
    comments=get_comments(productId,page)
    comm_list=comments['comments']#根据comnents获取到评论的列表(每页有10条评论)
    #遍历评论列表,获取其中的相应的数据
    for item in comm_list:
      #每条评论分别是一字典。在继续通过key来获取值
      content=item['content']
      color=item['productColor']
      size=item['productSize']
      lst.append([content,color,size])#将每条评论添加到列表当中
    time.sleep(3)#防止被京东封ip进行一个时间延迟。防止访问次数太频繁
  save(lst)

def save(lst):
  #把爬取到的数据进行存储,保存到excel中
  wk=openpyxl.Workbook()#用于创建工作簿对象
  sheet=wk.active #获取活动表(一个工作簿有三个表)
  #遍历列表将数据添加到excel中。列表中的一条数据在表中是一行
  biaotou='评论','颜色','大小'
  sheet.append(biaotou)
  for item in lst:
    sheet.append(item)
  #将excel保存到磁盘上
  wk.save('销售数据.xlsx')


if __name__=='__main__':
  productId='66749071789'
  get_info(productId)
  print("ok")

实现的效果如下:

Python爬取数据并实现可视化代码解析

Python爬取数据并实现可视化代码解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python程序中进行文件读取和写入操作的教程
Apr 28 Python
老生常谈Python startswith()函数与endswith函数
Sep 08 Python
Python三级菜单的实例
Sep 13 Python
Python实现Event回调机制的方法
Feb 13 Python
python itchat实现调用微信接口的第三方模块方法
Jun 11 Python
Python3 使用map()批量的转换数据类型,如str转float的实现
Nov 29 Python
np.dot()函数的用法详解
Jan 17 Python
python如何实现复制目录到指定目录
Feb 13 Python
Python使用Matlab命令过程解析
Jun 04 Python
Python基于execjs运行js过程解析
Nov 27 Python
python之随机数函数的实现示例
Dec 30 Python
Python实现简单的2048小游戏
Mar 01 Python
Python下载网易云歌单歌曲的示例代码
Aug 12 #Python
Python爬取12306车次信息代码详解
Aug 12 #Python
Python读取xlsx数据生成图标代码实例
Aug 12 #Python
Idea安装python显示无SDK问题解决方案
Aug 12 #Python
Python selenium如何打包静态网页并下载
Aug 12 #Python
Python selenium爬取微信公众号文章代码详解
Aug 12 #Python
PyQt5 QDockWidget控件应用详解
Aug 12 #Python
You might like
overlord人气高涨,却被菲利普频繁举报,第四季很难在国内上映
2020/05/06 日漫
PHP has encountered a Stack overflow问题解决方法
2014/11/03 PHP
ThinkPHP模板标签eq if 中区分0,null,false的方法
2017/03/24 PHP
php生成0~1随机小数的方法(必看)
2017/04/05 PHP
跨域请求之jQuery的ajax jsonp的使用解惑
2011/10/09 Javascript
select标签模拟/美化方法采用JS外挂式插件
2013/04/01 Javascript
使用jquery实现仿百度自动补全特效
2015/07/23 Javascript
实例剖析AngularJS框架中数据的双向绑定运用
2016/03/04 Javascript
JavaScript SHA512加密算法详细代码
2016/10/06 Javascript
JS产生随机数的用法小结
2016/12/10 Javascript
jQuery为DOM动态追加事件的方法
2017/02/16 Javascript
使用axios请求时,发送formData请求的示例
2019/10/29 Javascript
Vue实现Header渐隐渐现效果的实例代码
2020/11/05 Javascript
[03:49]DOTA2英雄基础教程 光之守卫
2014/01/14 DOTA
[02:03]《现实生活中的DOTA2》—林书豪&DOTA2职业选手出演短片
2015/08/18 DOTA
Python读写Excel文件的实例
2013/11/01 Python
Python中的FTP通信模块ftplib的用法整理
2016/07/08 Python
python获取文件路径、文件名、后缀名的实例
2018/04/23 Python
python中嵌套函数的实操步骤
2019/02/27 Python
Python序列对象与String类型内置方法详解
2019/10/22 Python
python TCP包注入方式
2020/05/05 Python
你应该知道的Python3.6、3.7、3.8新特性小结
2020/05/12 Python
Python xml、字典、json、类四种数据类型如何实现互相转换
2020/05/27 Python
深入浅析python 中的self和cls的区别
2020/06/20 Python
html5 的a标签 Href 拨电话的写法
2013/11/04 HTML / CSS
信息部岗位职责
2013/11/12 职场文书
个人党性剖析材料
2014/02/03 职场文书
幼儿园开学寄语
2014/04/03 职场文书
《她是我的朋友》教学反思
2014/04/26 职场文书
文明村镇申报材料
2014/05/06 职场文书
2014镇党委书记党建工作汇报材料
2014/11/02 职场文书
财务总监岗位职责
2015/02/03 职场文书
本溪水洞导游词
2015/02/11 职场文书
2015年教育实习工作总结
2015/04/24 职场文书
失恋33天观后感
2015/06/11 职场文书
Python+OpenCV实现图片中的圆形检测
2022/04/07 Python