python 实现读取csv数据,分类求和 再写进 csv


Posted in Python onMay 18, 2020

这两天在测试过程中,遇到这样的问题:

数据量很大,一份csv文件的数据与另外一个文件的数据进行对比,但是csv中的文件数据量很大,并且进行统计 ,如果手动单个去对比,会很花时间,吃力不讨好,还容易出错。

比如说,这样的数据

python 实现读取csv数据,分类求和 再写进 csv

需要对AskPrice值相同对应的AskQuantity 统计出来。

直接上脚本 :

import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum() 
df_sum.to_csv('D:\test\orderBook2.csv')

然后运行得到:

python 实现读取csv数据,分类求和 再写进 csv

这对于大数据量的处理特别方便。

补充知识:python处理csv文件(场景分类)

最近做一个关于场景分类的比赛,总共有20类,不到2万张图片,首先要做的就是把20类图片分到每个文件夹下。

import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比赛\未来杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
  for j in i:
    list_0.append(j)
for name in filename:
  list_file.append(name[0:-4])
 
for name in list_file:
  if name in list_0:
    flag.append(True)
  else:
    flag.append(False)
 
for name in list_file:
  if flag[list_file.index(name)]:
    oldname = u'F:\工作\比赛\未来杯\image_scene_training\data\\'+name+'.jpg'
    newname = u'F:\工作\比赛\未来杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
    shutil.copyfile(oldname,newname)

unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte

1:升级pip python -m pip install --upgrade pip

2:改python文件内容:找到lib\site-packages\pip\compat\__init__.py

return s.decode('utf-8')

将‘utf-8'改成'gbk'

以上这篇python 实现读取csv数据,分类求和 再写进 csv就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python新手入门最容易犯的错误总结
Apr 24 Python
python中abs&map&reduce简介
Feb 20 Python
对Python中9种生成新对象的方法总结
May 23 Python
python itchat实现调用微信接口的第三方模块方法
Jun 11 Python
Python3 实现串口两进程同时读写
Jun 12 Python
Python定时任务工具之APScheduler使用方式
Jul 24 Python
浅谈Django+Gunicorn+Nginx部署之路
Sep 11 Python
决策树剪枝算法的python实现方法详解
Sep 18 Python
Python实现bilibili时间长度查询的示例代码
Jan 14 Python
基于Python获取照片的GPS位置信息
Jan 20 Python
python 动态绘制爱心的示例
Sep 27 Python
python实现Thrift服务端的方法
Apr 20 Python
python 实现分组求和与分组累加求和代码
May 18 #Python
Django ORM实现按天获取数据去重求和例子
May 18 #Python
如何实现更换Jupyter Notebook内核Python版本
May 18 #Python
python mysql自增字段AUTO_INCREMENT值的修改方式
May 18 #Python
Pycharm安装并配置jupyter notebook的实现
May 18 #Python
Django中的AutoField字段使用
May 18 #Python
jupyter notebook运行命令显示[*](解决办法)
May 18 #Python
You might like
PHP 杂谈《重构-改善既有代码的设计》之一 重新组织你的函数
2012/04/09 PHP
php实现通用的从数据库表读取数据到数组的函数实例
2015/03/21 PHP
详解阿里云视频直播PHP-SDK接入教程
2020/07/09 PHP
JavaScript 加号(+)运算符号
2009/12/06 Javascript
JavaScript中对象属性的添加和删除示例
2014/05/12 Javascript
IE6中链接A的href为javascript协议时不在当前页面跳转
2014/06/05 Javascript
基于原生JS实现图片裁剪
2016/08/01 Javascript
jQuery flip插件实现的翻牌效果示例【附demo源码下载】
2016/09/20 Javascript
基于 Immutable.js 实现撤销重做功能的实例代码
2018/03/01 Javascript
javascript二维数组和对象的深拷贝与浅拷贝实例分析
2019/10/26 Javascript
微信小程序自定义模态弹窗组件详解
2019/12/24 Javascript
JavaScript检测浏览器是否支持CSS变量代码实例
2020/04/03 Javascript
[01:16]DOTA2小知识课堂 Ep.03 芒果树无伤肉山
2019/12/05 DOTA
[01:05:59]Mineski vs Secret 2019国际邀请赛淘汰赛 败者组 BO3 第二场 8.22
2019/09/05 DOTA
Python基于pygame实现的弹力球效果(附源码)
2015/11/11 Python
Python使用SocketServer模块编写基本服务器程序的教程
2016/07/12 Python
python 把文件中的每一行以数组的元素放入数组中的方法
2018/04/29 Python
通过Py2exe将自己的python程序打包成.exe/.app的方法
2018/05/26 Python
vue.js实现输入框输入值内容实时响应变化示例
2018/07/07 Python
Python基于opencv实现的简单画板功能示例
2019/03/04 Python
Python3实现的判断回文链表算法示例
2019/03/08 Python
Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】
2019/03/18 Python
python动态进度条的实现代码
2019/07/03 Python
git查看、创建、删除、本地、远程分支方法详解
2020/02/18 Python
vscode+PyQt5安装详解步骤
2020/08/12 Python
python压包的概念及实例详解
2021/02/17 Python
使用HTML5技术开发一个属于自己的超酷颜色选择器
2013/09/22 HTML / CSS
英智兴达软件测试笔试题
2016/10/12 面试题
综合素质的自我鉴定
2013/10/07 职场文书
幼儿园国庆节活动方案
2014/02/01 职场文书
旅游管理毕业生自荐书
2014/02/02 职场文书
奥巴马竞选演讲稿
2014/05/15 职场文书
离职感谢信
2015/01/21 职场文书
罚站检讨书
2015/01/29 职场文书
2016年秋季新学期致辞
2015/07/30 职场文书
ant design charts 获取后端接口数据展示
2022/05/25 Javascript