Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python使用稀疏矩阵节省内存实例
Jun 27 Python
跟老齐学Python之折腾一下目录
Oct 24 Python
qpython3 读取安卓lastpass Cookies
Jun 19 Python
python如何去除字符串中不想要的字符
Jul 05 Python
pycharm新建一个python工程步骤
Jul 16 Python
Django使用中间键实现csrf认证详解
Jul 22 Python
python处理大日志文件
Jul 23 Python
让你的Python代码实现类型提示功能
Nov 19 Python
Python3.7在anaconda里面使用IDLE编译器的步骤详解
Apr 29 Python
python+opencv实现车道线检测
Feb 19 Python
python3.9之你应该知道的新特性详解
Apr 29 Python
忆童年!用Python实现愤怒的小鸟游戏
Jun 07 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
thinkPHP实现递归循环栏目并按照树形结构无限极输出的方法
2016/05/19 PHP
php实现的三个常用加密解密功能函数示例
2017/11/06 PHP
gearman管理工具GearmanManager的安装与php使用方法示例
2020/02/27 PHP
javascript  Error 对象 错误处理
2008/05/18 Javascript
img标签中onerror用法
2009/08/13 Javascript
js判断输入是否为数字的具体实例
2013/08/03 Javascript
PHP开发者必须掌握的6个关键字
2014/04/14 Javascript
javascript几个易错点记录
2014/11/26 Javascript
angularjs学习笔记之三大模块(modal,controller,view)
2015/09/26 Javascript
基于MVC4+EasyUI的Web开发框架形成之旅之界面控件的使用
2015/12/16 Javascript
jQuery插件实现文字无缝向上滚动效果代码
2016/02/25 Javascript
jQuery图片轮播实现并封装(一)
2016/12/03 Javascript
Node.js 使用递归实现遍历文件夹中所有文件
2017/09/18 Javascript
vue2.0 资源文件assets和static的区别详解
2018/04/08 Javascript
基于bootstrap页面渲染的问题解决方法
2018/08/09 Javascript
Vue 组件参数校验与非props特性的方法
2019/02/12 Javascript
详解用场景去理解函数柯里化(入门篇)
2019/04/11 Javascript
微信小程序-可移动菜单的实现过程详解
2019/06/24 Javascript
Python实现的二维码生成小软件
2014/07/11 Python
Python的动态重新封装的教程
2015/04/11 Python
Python实现批量下载图片的方法
2015/07/08 Python
python实现高斯判别分析算法的例子
2019/12/09 Python
Matplotlib配色之Colormap详解
2021/01/05 Python
聊聊Python pandas 中loc函数的使用,及跟iloc的区别说明
2021/03/03 Python
美国美食礼品篮网站:Gourmet Gift Baskets
2019/12/15 全球购物
试用期员工考核制度
2014/01/22 职场文书
中学生获奖感言
2014/02/04 职场文书
任命书范本大全
2014/06/06 职场文书
交通事故赔偿协议书怎么写
2014/10/04 职场文书
大学感恩节活动总结
2015/05/05 职场文书
出纳试用期工作总结2015
2015/05/28 职场文书
python正则表达式re.search()的基本使用教程
2021/05/21 Python
详解Laravel框架的依赖注入功能
2021/05/27 PHP
JavaScript数组 几个常用方法总结
2021/11/11 Javascript
解决Oracle数据库用户密码过期
2022/05/11 Oracle
MySQL 计算连续登录天数
2022/05/11 MySQL