Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python查询sqlite数据表的方法
May 08 Python
python中常用的九种预处理方法分享
Sep 11 Python
python 基础教程之Map使用方法
Jan 17 Python
Python实现字符串逆序输出功能示例
Jun 24 Python
python3使用smtplib实现发送邮件功能
May 22 Python
对python实现二维函数高次拟合的示例详解
Dec 29 Python
Python离线安装PIL 模块的方法
Jan 08 Python
Python3转换html到pdf的不同解决方案
Mar 11 Python
Python 画出来六维图
Jul 26 Python
python梯度下降算法的实现
Feb 24 Python
django-orm F对象的使用 按照两个字段的和,乘积排序实例
May 18 Python
Python如何发送与接收大型数组
Aug 07 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
windows下PHP APACHE MYSQ完整配置
2007/01/02 PHP
Symfony2实现在doctrine中内置数据的方法
2016/02/05 PHP
Yii框架结合sphinx,Ajax实现搜索分页功能示例
2016/10/18 PHP
php支付宝APP支付功能
2020/07/29 PHP
PHP pthreads v3下同步处理synchronized用法示例
2020/02/21 PHP
jQuery 行背景颜色的交替显示(隔行变色)实现代码
2009/12/13 Javascript
使用jquery实现div的tab切换实例代码
2013/05/27 Javascript
js星星评分效果
2014/07/24 Javascript
直接在JS里创建JSON数据然后遍历使用
2014/07/25 Javascript
使用getBoundingClientRect方法实现简洁的sticky组件的方法
2016/03/22 Javascript
javascript 取小数点后几位几种方法总结
2017/08/02 Javascript
微信小程序之滚动视图容器的实现方法
2017/09/26 Javascript
BootStrap 标题设置跨行无效的解决方法
2017/10/25 Javascript
jQuery实现的简单前端搜索功能示例
2017/10/28 jQuery
jQuery ajax读取本地json文件的实例
2017/10/31 jQuery
js 数组详细操作方法及解析合集
2018/06/01 Javascript
JS简单判断是否在微信浏览器打开的方法示例
2019/01/08 Javascript
Layui 动态禁止select下拉的例子
2019/09/03 Javascript
JavaScript相等运算符的九条规则示例详解
2019/10/20 Javascript
小程序自定义模板实现吸顶功能
2020/01/08 Javascript
jquery+ajax实现异步上传文件显示进度条
2020/08/17 jQuery
Nuxt的动态路由和参数校验操作
2020/11/09 Javascript
[03:02]安得倚天剑,跨海斩长鲸——中国军团出征DOTA2国际邀请赛
2018/08/14 DOTA
python双向链表实现实例代码
2013/11/21 Python
Python随机生成均匀分布在三角形内或者任意多边形内的点
2017/12/14 Python
python matplotlib库绘制散点图例题解析
2019/08/10 Python
TensorFlow索引与切片的实现方法
2019/11/20 Python
python 控制台单行刷新,多行刷新实例
2020/02/19 Python
澳大利亚设计师服装在线:MISHA
2019/10/07 全球购物
解决python 输出到csv 出现多空行的情况
2021/03/24 Python
教师实习自我鉴定
2013/12/18 职场文书
幼儿园门卫岗位职责
2014/02/14 职场文书
文明寝室标语
2014/06/13 职场文书
MySQL基础(二)
2021/04/05 MySQL
MySQL创建管理HASH分区
2022/04/13 MySQL
利用Apache Common将java对象池化的问题
2022/06/16 Servers