Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python实现目录树生成示例
Mar 28 Python
六个窍门助你提高Python运行效率
Jun 09 Python
Python实现多并发访问网站功能示例
Jun 19 Python
python xlsxwriter库生成图表的应用示例
Mar 16 Python
利用nohup来开启python文件的方法
Jan 14 Python
python实现文本进度条 程序进度条 加载进度条 单行刷新功能
Jul 03 Python
使用 Supervisor 监控 Python3 进程方式
Dec 05 Python
对tensorflow中的strides参数使用详解
Jan 04 Python
浅谈cv2.imread()和keras.preprocessing中的image.load_img()区别
Jun 12 Python
Tensorflow使用Anaconda、pycharm安装记录
Jul 29 Python
使用tensorflow进行音乐类型的分类
Aug 14 Python
python 指定源路径来解决import问题的操作
Mar 04 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
PHP的开发框架的现状和展望
2007/03/16 PHP
dedecms采集中可以过滤多行代码的正则表达式
2007/03/17 PHP
php中将指针移动到数据集初始位置的实现代码[mysql_data_seek]
2012/11/01 PHP
php和jquery实现地图区域数据统计展示数据示例
2014/02/12 PHP
php 实现Hash表功能实例详解
2016/11/29 PHP
php、mysql查询当天,查询本周,查询本月的数据实例(字段是时间戳)
2017/02/04 PHP
JS 有名函数表达式全面解析
2010/03/19 Javascript
jquery获得下拉框值的代码
2011/08/13 Javascript
JS正则表达式大全(整理详细且实用)
2013/11/14 Javascript
Knockout text绑定DOM的使用方法
2013/11/15 Javascript
关于js中for in的缺陷浅析
2013/12/02 Javascript
nodejs之请求路由概述
2014/07/05 NodeJs
jQuery中:disabled选择器用法实例
2015/01/04 Javascript
jquery实现简单实用的打分程序实例
2015/07/23 Javascript
jQuery基础知识点总结(DOM操作)
2016/06/01 Javascript
JS正则替换去空格的方法
2017/03/24 Javascript
微信小程序模板消息推送的两种实现方式
2019/08/27 Javascript
js获取浏览器地址(获取第1个斜杠后的内容)
2019/09/03 Javascript
Python使用xlrd读取Excel格式文件的方法
2015/03/10 Python
python2.7安装图文教程
2018/03/13 Python
浅析Python语言自带的数据结构有哪些
2019/08/27 Python
Python实现自动访问网页的例子
2020/02/21 Python
Python 3.8 新功能来一波(大部分人都不知道)
2020/03/11 Python
python + selenium 刷B站播放量的实例代码
2020/06/12 Python
Python类绑定方法及非绑定方法实例解析
2020/10/09 Python
基于CSS3实现立方体自转效果
2016/03/01 HTML / CSS
Html5 web本地存储实例详解
2016/07/28 HTML / CSS
医学院护理专业应届生求职信
2013/11/12 职场文书
合同和协议有什么区别?
2014/10/08 职场文书
党员个人整改方案及措施
2014/10/25 职场文书
党委班子纠正“四风”问题整改措施
2014/10/28 职场文书
团代会邀请函
2015/02/02 职场文书
荆州古城导游词
2015/02/06 职场文书
公司年会开场白
2015/06/01 职场文书
初中班主任教育随笔
2015/08/15 职场文书
python 如何用map()函数创建多线程任务
2021/04/07 Python