python 实现读取csv数据,分类求和 再写进 csv


Posted in Python onMay 18, 2020

这两天在测试过程中,遇到这样的问题:

数据量很大,一份csv文件的数据与另外一个文件的数据进行对比,但是csv中的文件数据量很大,并且进行统计 ,如果手动单个去对比,会很花时间,吃力不讨好,还容易出错。

比如说,这样的数据

python 实现读取csv数据,分类求和 再写进 csv

需要对AskPrice值相同对应的AskQuantity 统计出来。

直接上脚本 :

import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum() 
df_sum.to_csv('D:\test\orderBook2.csv')

然后运行得到:

python 实现读取csv数据,分类求和 再写进 csv

这对于大数据量的处理特别方便。

补充知识:python处理csv文件(场景分类)

最近做一个关于场景分类的比赛,总共有20类,不到2万张图片,首先要做的就是把20类图片分到每个文件夹下。

import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比赛\未来杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
  for j in i:
    list_0.append(j)
for name in filename:
  list_file.append(name[0:-4])
 
for name in list_file:
  if name in list_0:
    flag.append(True)
  else:
    flag.append(False)
 
for name in list_file:
  if flag[list_file.index(name)]:
    oldname = u'F:\工作\比赛\未来杯\image_scene_training\data\\'+name+'.jpg'
    newname = u'F:\工作\比赛\未来杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
    shutil.copyfile(oldname,newname)

unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte

1:升级pip python -m pip install --upgrade pip

2:改python文件内容:找到lib\site-packages\pip\compat\__init__.py

return s.decode('utf-8')

将‘utf-8'改成'gbk'

以上这篇python 实现读取csv数据,分类求和 再写进 csv就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现得到一个给定类的虚函数
Sep 28 Python
python读取TXT到数组及列表去重后按原来顺序排序的方法
Jun 26 Python
python字典基本操作实例分析
Jul 11 Python
Python使用自带的ConfigParser模块读写ini配置文件
Jun 26 Python
python实现TF-IDF算法解析
Jan 02 Python
selenium+python自动化测试环境搭建步骤
Jun 03 Python
如何安装并使用conda指令管理python环境
Jul 10 Python
Python面向对象之继承原理与用法案例分析
Dec 31 Python
Python中itertools的用法详解
Feb 07 Python
python编程进阶之类和对象用法实例分析
Feb 21 Python
详解numpy.ndarray.reshape()函数的参数问题
Oct 13 Python
Jupyter安装链接aconda实现过程图解
Nov 02 Python
python 实现分组求和与分组累加求和代码
May 18 #Python
Django ORM实现按天获取数据去重求和例子
May 18 #Python
如何实现更换Jupyter Notebook内核Python版本
May 18 #Python
python mysql自增字段AUTO_INCREMENT值的修改方式
May 18 #Python
Pycharm安装并配置jupyter notebook的实现
May 18 #Python
Django中的AutoField字段使用
May 18 #Python
jupyter notebook运行命令显示[*](解决办法)
May 18 #Python
You might like
php网页后退不再出现过期
2007/03/08 PHP
php实现图片上传、剪切功能
2016/05/07 PHP
PHP封装的mysqli数据库操作类示例
2019/02/16 PHP
通过JS 获取Mouse Position(鼠标坐标)的代码
2009/09/21 Javascript
js报错 Object doesn't support this property or method的原因分析
2011/03/31 Javascript
不要使用jQuery触发原生事件的方法
2014/03/03 Javascript
jquery实现图片按比例缩放示例
2014/07/01 Javascript
javascript基础知识
2016/06/07 Javascript
jquery实现折叠菜单效果【推荐】
2017/03/08 Javascript
浅谈Node.js轻量级Web框架Express4.x使用指南
2017/05/03 Javascript
Angular排序实例详解
2017/06/28 Javascript
原生js jquery ajax请求以及jsonp的调用方法
2017/08/04 jQuery
nodejs实现大文件(在线视频)的读取
2020/10/16 NodeJs
对angular2中的ngfor和ngif指令嵌套实例讲解
2018/09/12 Javascript
JS实现随机抽取三人
2019/11/06 Javascript
微信小程序动态设置图片大小的方法
2019/11/21 Javascript
python虚拟环境 virtualenv的简单使用
2020/01/21 Javascript
Python获取Windows或Linux主机名称通用函数分享
2014/11/22 Python
python登录豆瓣并发帖的方法
2015/07/08 Python
python根据时间获取周数代码实例
2019/09/30 Python
Python错误的处理方法
2020/06/23 Python
浏览器实现移动端高性能css3动画(开启gpu加速)
2013/12/23 HTML / CSS
html5标记文字_动力节点Java学院整理
2017/07/11 HTML / CSS
HTML5 Web Database 数据库的SQL语句的使用方法
2012/12/09 HTML / CSS
canvas需要在标签里直接定义宽高
2014/12/17 HTML / CSS
工商管理应届生求职信
2013/10/07 职场文书
车间班组长岗位职责
2013/11/13 职场文书
电话销售经理岗位职责
2013/12/07 职场文书
买房委托公证书
2014/04/08 职场文书
运动会铅球比赛加油稿
2014/09/26 职场文书
2014年客房服务员工作总结
2014/11/18 职场文书
年底个人总结范文
2015/03/10 职场文书
刑事上诉状(量刑过重)
2015/05/23 职场文书
小学教育见习总结
2015/06/23 职场文书
教师继续教育反思周记
2015/06/25 职场文书
公司管理制度范本
2015/08/03 职场文书