Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
实例讲解python函数式编程
Jun 09 Python
python 字典(dict)遍历的四种方法性能测试报告
Jun 25 Python
python进阶教程之动态类型详解
Aug 30 Python
Python3中使用urllib的方法详解(header,代理,超时,认证,异常处理)
Sep 21 Python
Python 'takes exactly 1 argument (2 given)' Python error
Dec 13 Python
numpy linalg模块的具体使用方法
May 26 Python
TensorFlow基于MNIST数据集实现车牌识别(初步演示版)
Aug 05 Python
python django model联合主键的例子
Aug 06 Python
python3.7环境下安装Anaconda的教程图解
Sep 10 Python
基于python的selenium两种文件上传操作实现详解
Sep 19 Python
Python Opencv 通过轨迹(跟踪)栏实现更改整张图像的背景颜色
Mar 09 Python
卸载tensorflow-cpu重装tensorflow-gpu操作
Jun 23 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
PHP 和 HTML
2006/10/09 PHP
浅析PHP程序防止ddos,dns,集群服务器攻击的解决办法
2013/06/18 PHP
PHP中Closure类的使用方法及详解
2015/10/09 PHP
零基础php编程好学吗
2019/10/11 PHP
关于Blog顶部的滚动导航条代码
2006/09/25 Javascript
脚本之家贴图转换+转贴工具用到的js代码超级推荐
2007/04/05 Javascript
基于jQuery的日期选择控件
2009/10/27 Javascript
JavaScript prototype属性使用说明
2010/05/13 Javascript
DIV菜单层实现代码
2010/11/19 Javascript
《JavaScript DOM 编程艺术》读书笔记之JavaScript 简史
2015/01/09 Javascript
NodeJS Web应用监听sock文件实例
2015/02/18 NodeJs
jQuery设置单选按钮radio选中/不可用的实例代码
2016/06/24 Javascript
微信小程序 WebSocket详解及应用
2017/01/21 Javascript
js实现城市级联菜单的2种方法
2017/06/23 Javascript
jQuery实现html双向绑定功能示例
2017/10/09 jQuery
angularJs复选框checkbox选中进行ng-show显示隐藏的方法
2018/10/08 Javascript
JavaScript实现多张图片放大镜效果示例【不限定图片尺寸,rem单位】
2019/05/14 Javascript
Vue——前端生成二维码的示例
2020/12/19 Vue.js
Python正则表达式匹配HTML页面编码
2015/04/08 Python
Python使用matplotlib绘制余弦的散点图示例
2018/03/14 Python
python3对接mysql数据库实例详解
2019/04/30 Python
OpenCV+Python--RGB转HSI的实现
2019/11/27 Python
python如何使用jt400.jar包代码实例
2019/12/20 Python
用python解压分析jar包实例
2020/01/16 Python
CSS3 滤镜 webkit-filter详细介绍及使用方法
2012/12/27 HTML / CSS
解决HTML5中滚动到底部的事件问题
2019/08/22 HTML / CSS
阿迪达斯比利时官方商城:adidas比利时
2016/10/10 全球购物
elf彩妆英国官网:e.l.f. Cosmetics英国(美国平价彩妆品牌)
2017/11/02 全球购物
德国运动营养和健身网上商店:Myprotein.de
2018/07/18 全球购物
美国专业消费电子及摄影器材网站:B&H Photo Video
2019/12/18 全球购物
旅游管理专业个人求职信范文
2013/12/24 职场文书
学校社会实践活动总结
2014/07/03 职场文书
毕业实习感受与体会
2015/05/26 职场文书
2016年暑假学生家长评语
2015/12/01 职场文书
Spring Data JPA框架的核心概念和Repository接口
2022/04/28 Java/Android
MySQL数据库实验实现简单数据库应用系统设计
2022/06/21 MySQL