python 实现读取csv数据,分类求和 再写进 csv


Posted in Python onMay 18, 2020

这两天在测试过程中,遇到这样的问题:

数据量很大,一份csv文件的数据与另外一个文件的数据进行对比,但是csv中的文件数据量很大,并且进行统计 ,如果手动单个去对比,会很花时间,吃力不讨好,还容易出错。

比如说,这样的数据

python 实现读取csv数据,分类求和 再写进 csv

需要对AskPrice值相同对应的AskQuantity 统计出来。

直接上脚本 :

import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum() 
df_sum.to_csv('D:\test\orderBook2.csv')

然后运行得到:

python 实现读取csv数据,分类求和 再写进 csv

这对于大数据量的处理特别方便。

补充知识:python处理csv文件(场景分类)

最近做一个关于场景分类的比赛,总共有20类,不到2万张图片,首先要做的就是把20类图片分到每个文件夹下。

import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比赛\未来杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
  for j in i:
    list_0.append(j)
for name in filename:
  list_file.append(name[0:-4])
 
for name in list_file:
  if name in list_0:
    flag.append(True)
  else:
    flag.append(False)
 
for name in list_file:
  if flag[list_file.index(name)]:
    oldname = u'F:\工作\比赛\未来杯\image_scene_training\data\\'+name+'.jpg'
    newname = u'F:\工作\比赛\未来杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
    shutil.copyfile(oldname,newname)

unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte

1:升级pip python -m pip install --upgrade pip

2:改python文件内容:找到lib\site-packages\pip\compat\__init__.py

return s.decode('utf-8')

将‘utf-8'改成'gbk'

以上这篇python 实现读取csv数据,分类求和 再写进 csv就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中pandas.DataFrame对行与列求和及添加新行与列示例
Mar 12 Python
批量获取及验证HTTP代理的Python脚本
Apr 23 Python
20个常用Python运维库和模块
Feb 12 Python
Python 带有参数的装饰器实例代码详解
Dec 06 Python
Python+opencv 实现图片文字的分割的方法示例
Jul 04 Python
Django  ORM 练习题及答案
Jul 19 Python
Django logging配置及使用详解
Jul 23 Python
对python中的*args与**kwgs的含义与作用详解
Aug 28 Python
pytorch 实现模型不同层设置不同的学习率方式
Jan 06 Python
pytorch forward两个参数实例
Jan 17 Python
python 日志模块logging的使用场景及示例
Jan 04 Python
python中K-means算法基础知识点
Jan 25 Python
python 实现分组求和与分组累加求和代码
May 18 #Python
Django ORM实现按天获取数据去重求和例子
May 18 #Python
如何实现更换Jupyter Notebook内核Python版本
May 18 #Python
python mysql自增字段AUTO_INCREMENT值的修改方式
May 18 #Python
Pycharm安装并配置jupyter notebook的实现
May 18 #Python
Django中的AutoField字段使用
May 18 #Python
jupyter notebook运行命令显示[*](解决办法)
May 18 #Python
You might like
PHP快速按行读取CSV大文件的封装类分享(也适用于其它超大文本文件)
2014/04/10 PHP
利用phpexcel对数据库数据的导入excel(excel筛选)、导出excel
2017/04/27 PHP
php 多个变量指向同一个引用($b = &$a)用法分析
2019/11/13 PHP
jQuery 性能优化指南(3)
2009/05/21 Javascript
javascript 年月日联动实现核心代码
2009/12/21 Javascript
js去除空格的12种实用方法
2013/11/08 Javascript
两个数组去重的JS代码
2013/12/04 Javascript
ext前台接收action传过来的json数据示例
2014/06/17 Javascript
Nodejs异步回调的优雅处理方法
2014/09/25 NodeJs
利用jQuery实现打字机字幕效果实例代码
2016/09/02 Javascript
js 转义字符及URI编码详解
2017/02/28 Javascript
详解angularjs跨页面传参遇到的一些问题
2018/11/01 Javascript
jQuery动态操作表单示例【基于table表格】
2018/12/06 jQuery
详解vue-cli+element-ui树形表格(多级表格折腾小计)
2019/04/17 Javascript
vue-cli3+ts+webpack实现多入口多出口功能
2019/05/30 Javascript
JQuery+Bootstrap 自定义全屏Loading插件的示例demo
2019/07/03 jQuery
vue集成chart.js的实现方法
2019/08/20 Javascript
vue中的mescroll搜索运用及各种填坑处理
2019/10/30 Javascript
Webpack设置环境变量的一些误区详解
2019/12/19 Javascript
js实现点赞按钮功能的实例代码
2020/03/06 Javascript
基于element-ui封装可搜索的懒加载tree组件的实现
2020/05/22 Javascript
[00:57]林俊杰助阵DOTA2亚洲邀请赛
2015/01/28 DOTA
python实现清屏的方法
2015/04/30 Python
解决python xlrd无法读取excel文件的问题
2018/12/25 Python
python使用配置文件过程详解
2019/12/28 Python
python使用selenium爬虫知乎的方法示例
2020/10/28 Python
沙特阿拉伯网上购物:Sayidaty Mall
2018/05/06 全球购物
香港家用健身器材、运动器材及健康美容仪器专门店:FitBoxx
2019/12/05 全球购物
房屋出租协议书
2014/04/10 职场文书
班主任对学生的评语
2014/04/26 职场文书
环保倡议书300字
2014/05/15 职场文书
学校校庆演讲稿
2014/05/22 职场文书
纪律教育学习心得体会
2014/09/02 职场文书
端午节寄语2015
2015/03/23 职场文书
生产实习心得体会范文
2016/01/22 职场文书
总结高并发下Nginx性能如何优化
2021/11/01 Servers