Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python中的zipfile模块使用详解
Jun 25 Python
Python批量删除只保留最近几天table的代码实例
Apr 01 Python
不到40行代码用Python实现一个简单的推荐系统
May 10 Python
python+selenium实现自动化百度搜索关键词
Jun 03 Python
Python爬取视频(其实是一篇福利)过程解析
Aug 01 Python
python实现PID算法及测试的例子
Aug 08 Python
Django继承自带user表并重写的例子
Nov 18 Python
python3实现网页版raspberry pi(树莓派)小车控制
Feb 12 Python
Python偏函数实现原理及应用
Nov 20 Python
Python getsizeof()和getsize()区分详解
Nov 20 Python
python 基于opencv实现图像增强
Dec 23 Python
python绘制雷达图实例讲解
Jan 03 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
phpMyAdmin自动登录和取消自动登录的配置方法
2014/05/12 PHP
PHP生成随机数的方法实例分析
2015/01/22 PHP
php导出生成word的方法
2015/12/25 PHP
Thinkphp框架开发移动端接口(1)
2016/08/18 PHP
php读取qqwry.dat ip地址定位文件的类实例代码
2016/11/15 PHP
javascript 日期常用的方法
2009/11/11 Javascript
js下通过prototype扩展实现indexOf的代码
2010/12/08 Javascript
基于jquery的动态创建表格的插件
2011/04/05 Javascript
javascript结合html5 canvas实现(可调画笔颜色/粗细/橡皮)的涂鸦板
2013/04/27 Javascript
Flexigrid在IE下不显示数据的处理的解决方法
2013/10/24 Javascript
confirm的用法示例用于按钮操作时确定是否执行
2014/06/19 Javascript
NodeJS制作爬虫全过程
2014/12/22 NodeJs
jQuery源码解读之removeClass()方法分析
2015/02/20 Javascript
jQuery实现数秒后自动提交form的方法
2015/03/05 Javascript
jquery实现像栅栏一样左右滑出式二级菜单效果代码
2015/08/24 Javascript
jQuery插件ajaxFileUpload异步上传文件
2016/10/19 Javascript
详解vue-router 2.0 常用基础知识点之导航钩子
2017/05/10 Javascript
layui实现把数据表格时间戳转换为时间格式的例子
2019/09/12 Javascript
[05:07]DOTA2英雄梦之声_第14期_暗影恶魔
2014/06/20 DOTA
python回调函数用法实例分析
2015/05/09 Python
KMP算法精解及其Python版的代码示例
2016/06/01 Python
Python实现的手机号归属地相关信息查询功能示例
2017/06/08 Python
Python中getpass模块无回显输入源码解析
2018/01/11 Python
TensorFlow实现从txt文件读取数据
2020/02/05 Python
python实现Pyecharts实现动态地图(Map、Geo)
2020/03/25 Python
python 实现分组求和与分组累加求和代码
2020/05/18 Python
详解html5页面 rem 布局适配方法
2018/01/12 HTML / CSS
学校大课间活动方案
2014/01/30 职场文书
查摆剖析材料范文
2014/09/30 职场文书
幼儿园小班家长评语
2014/12/30 职场文书
三年级上册科学教学计划
2015/01/21 职场文书
护士实习自荐信
2015/03/06 职场文书
2015年全国助残日活动方案
2015/05/04 职场文书
乡镇法制宣传日活动总结
2015/05/05 职场文书
Python中基础数据类型 set集合知识点总结
2021/08/02 Python
PostgreSQL 插入INSERT、删除DELETE、更新UPDATE、事务transaction
2022/04/12 PostgreSQL