Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python线程池的实现实例
Nov 18 Python
Python实现字典的遍历与排序功能示例
Dec 23 Python
用Python写一段用户登录的程序代码
Apr 22 Python
Python解析json时提示“string indices must be integers”问题解决方法
Jul 31 Python
如何使用Python脚本实现文件拷贝
Nov 20 Python
pytorch 归一化与反归一化实例
Dec 31 Python
TensorFlow查看输入节点和输出节点名称方式
Jan 04 Python
keras 实现轻量级网络ShuffleNet教程
Jun 19 Python
Python下划线5种含义代码实例解析
Jul 10 Python
python 使用openpyxl读取excel数据
Feb 18 Python
用Python爬取某乎手机APP数据
Jun 15 Python
使用Python开发贪吃蛇游戏 SnakeGame
Apr 30 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
destoon实现调用当前栏目分类及子分类和三级分类的方法
2014/08/21 PHP
linux中cd命令使用详解
2015/01/08 PHP
yii2.0实现验证用户名与邮箱功能
2015/12/22 PHP
php简单创建zip压缩文件的方法
2016/04/30 PHP
PHP substr()函数参数解释及用法讲解
2017/11/23 PHP
PHP convert_cyr_string()函数讲解
2019/02/13 PHP
仿jQuery的siblings效果的js代码
2011/08/09 Javascript
js和html5实现手机端刮刮卡抽奖效果完美兼容android/IOS
2013/11/18 Javascript
jQuery的context属性用法实例
2014/12/27 Javascript
JS上传图片前实现图片预览效果的方法
2015/03/02 Javascript
jQuery中ajax的load()与post()方法实例详解
2016/01/05 Javascript
微信小程序 摇一摇抽奖简单实例实现代码
2017/01/09 Javascript
JavaScript基本语法_动力节点Java学院整理
2017/06/26 Javascript
jackson解析json字符串,首字母大写会自动转为小写的方法
2017/12/22 Javascript
axios全局请求参数设置,请求及返回拦截器的方法
2018/03/05 Javascript
vue+element-ui实现表格编辑的三种实现方式
2018/10/31 Javascript
[01:24]DOTA2上海特锦赛OG战队抵达 专车接机入驻总统套房
2016/02/23 DOTA
理解Python中的绝对路径和相对路径
2017/08/30 Python
python opencv之SIFT算法示例
2018/02/24 Python
Python根据欧拉角求旋转矩阵的实例
2019/01/28 Python
什么是python的自省
2020/06/21 Python
如何让python的运行速度得到提升
2020/07/08 Python
携程英文网站:Trip.com
2017/02/07 全球购物
Europcar葡萄牙:葡萄牙汽车和货车租赁
2017/10/13 全球购物
巴西婴儿用品商店:Bebe Store
2017/11/23 全球购物
请解释在new与override的区别
2012/10/29 面试题
优秀中学生事迹材料
2014/01/31 职场文书
高中微机老师自我鉴定
2014/02/16 职场文书
聚美优品励志广告词
2014/03/14 职场文书
广场舞大赛策划方案
2014/05/31 职场文书
门市房租房协议书
2014/12/04 职场文书
2014年污水处理厂工作总结
2014/12/19 职场文书
领导新年致辞2016
2015/07/29 职场文书
查看nginx配置文件路径和资源文件路径的方法
2021/03/31 Servers
用Python爬取各大高校并可视化帮弟弟选大学,弟弟直呼牛X
2021/06/11 Python
浅谈Vue的computed计算属性
2022/03/21 Vue.js