Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python使用webbrowser浏览指定url的方法
Apr 04 Python
Python的Flask框架中实现分页功能的教程
Apr 20 Python
举例讲解Python编程中对线程锁的使用
Jul 12 Python
浅谈使用Python内置函数getattr实现分发模式
Jan 22 Python
Django 中间键和上下文处理器的使用
Mar 17 Python
python跳出双层for循环的解决方法
Jun 24 Python
django mysql数据库及图片上传接口详解
Jul 18 Python
python实现最小二乘法线性拟合
Jul 19 Python
Pytorch 抽取vgg各层并进行定制化处理的方法
Aug 20 Python
关于Python形参打包与解包小技巧分享
Aug 24 Python
Python Opencv 通过轨迹(跟踪)栏实现更改整张图像的背景颜色
Mar 09 Python
python Matplotlib基础--如何添加文本和标注
Jan 26 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
详解PHP实现定时任务的五种方法
2016/07/25 PHP
THINKPHP在添加数据的时候获取主键id的值方法
2017/04/03 PHP
yii2使用gridView实现下拉列表筛选数据
2017/04/10 PHP
php回调函数处理数组操作示例
2020/04/13 PHP
一个js封装的不错的选项卡效果代码
2008/02/15 Javascript
浅析javascript闭包 实例分析
2010/12/25 Javascript
Jquery中的CheckBox、RadioButton、DropDownList的取值赋值实现代码
2011/10/12 Javascript
document.execCommand()的用法小结
2014/01/08 Javascript
Jquery中ajax方法data参数的用法小结
2014/02/12 Javascript
ListBox实现上移,下移,左移,右移的简单实例
2014/02/13 Javascript
javascript实现类似于新浪微博搜索框弹出效果的方法
2015/07/27 Javascript
微信小程序开发(二)图片上传+服务端接收详解
2017/01/11 Javascript
基于Marquee.js插件实现的跑马灯效果示例
2017/01/25 Javascript
Node.js静态服务器的实现方法
2018/02/28 Javascript
对angular 监控数据模型变化的事件方法$watch详解
2018/10/09 Javascript
微信小程序基于canvas渐变实现的彩虹效果示例
2019/05/03 Javascript
如何在Vue中抽离接口配置文件
2019/10/31 Javascript
[08:44]DOTA2发布会群星聚首 我们都是刀塔人
2014/03/21 DOTA
Python使用django获取用户IP地址的方法
2015/05/11 Python
Python实现带百分比的进度条
2016/06/28 Python
django 创建过滤器的实例详解
2017/08/14 Python
python实现mysql的读写分离及负载均衡
2018/02/04 Python
PyCharm代码格式调整方法
2018/05/23 Python
Python二进制串转换为通用字符串的方法
2018/07/23 Python
python面向对象入门教程之从代码复用开始(一)
2018/12/11 Python
Python3.5集合及其常见运算实例详解
2019/05/01 Python
Python识别快递条形码及Tesseract-OCR使用详解
2019/07/15 Python
pycharm实现在虚拟环境中引入别人的项目
2020/03/09 Python
使用python批量修改XML文件中图像的depth值
2020/07/22 Python
细说CSS3中的选择符
2008/10/17 HTML / CSS
简述网络文件系统NFS,并说明其作用
2016/10/19 面试题
银行青年文明号事迹材料
2014/05/31 职场文书
2014标准社保办理委托书
2014/10/06 职场文书
乐山大佛导游词
2015/02/02 职场文书
交通事故责任认定书
2015/08/06 职场文书
SQL Server数据库的三种创建方法汇总
2023/05/08 MySQL