Python 等分切分数据及规则命名的实例代码


Posted in Python onAugust 16, 2019

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python中字符串的处理技巧分享
Sep 17 Python
Python 两个列表的差集、并集和交集实现代码
Sep 21 Python
python中redis的安装和使用
Dec 04 Python
Python语言生成水仙花数代码示例
Dec 18 Python
python编程使用selenium模拟登陆淘宝实例代码
Jan 25 Python
Python3数据库操作包pymysql的操作方法
Jul 16 Python
人工神经网络算法知识点总结
Jun 11 Python
Django model select的多种用法详解
Jul 16 Python
Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
Jul 31 Python
django创建超级用户过程解析
Sep 18 Python
django实现更改数据库某个字段以及字段段内数据
Mar 31 Python
小白教你PyCharm从下载到安装再到科学使用PyCharm2020最新激活码
Sep 25 Python
Python 分发包中添加额外文件的方法
Aug 16 #Python
解决Djang2.0.1中的reverse导入失败的问题
Aug 16 #Python
基于django传递数据到后端的例子
Aug 16 #Python
Django 拆分model和view的实现方法
Aug 16 #Python
利用Python实现kNN算法的代码
Aug 16 #Python
python实现kNN算法识别手写体数字的示例代码
Aug 16 #Python
python爬虫 爬取超清壁纸代码实例
Aug 16 #Python
You might like
PHP 字符串操作入门教程
2006/12/06 PHP
PHP取整数函数常用的四种方法小结
2012/07/05 PHP
php实现MD5加密16位(不要默认的32位)
2013/08/12 PHP
PHP管理依赖(dependency)关系工具 Composer的自动加载(autoload)
2014/08/18 PHP
Laravel如何使用数据库事务及捕获事务失败后的异常详解
2017/10/23 PHP
laravel框架实现敏感词汇过滤功能示例
2020/02/15 PHP
利用js判断浏览器类型(是否为IE,Firefox,Opera浏览器)
2013/11/22 Javascript
js判断为空Null与字符串为空简写方法
2014/02/24 Javascript
js调用浏览器打印模块实现点击按钮触发自定义函数
2014/03/21 Javascript
浅析jQuery EasyUI中的tree使用指南
2014/12/18 Javascript
JavaScript+canvas实现七色板效果实例
2016/02/18 Javascript
jQuery实现弹出带遮罩层的居中浮动窗口效果
2016/09/12 Javascript
Vue 单文件中的数据传递示例
2017/03/21 Javascript
基于JavaScript实现飘落星星特效
2017/08/10 Javascript
基于vue-router 多级路由redirect 重定向的问题
2018/09/03 Javascript
详解nvm管理多版本node踩坑
2019/07/26 Javascript
详解vue-property-decorator使用手册
2019/07/29 Javascript
[01:31]DOTA2上海特级锦标赛 SECRET战队完整宣传片
2016/03/16 DOTA
基python实现多线程网页爬虫
2015/09/06 Python
python3+PyQt5重新实现QT事件处理程序
2018/04/19 Python
pandas中去除指定字符的实例
2018/05/18 Python
Django之提交表单与前后端交互的方法
2019/07/19 Python
python二维键值数组生成转json的例子
2019/12/06 Python
详解CSS3实现响应式手风琴效果
2020/06/10 HTML / CSS
中国专业的综合网上购物商城:京东
2016/08/02 全球购物
比利时网上药店: Drogisterij.net
2017/03/17 全球购物
美国购买汽车零件网站:Buy Auto Parts
2018/04/02 全球购物
美国性感内衣店:Yandy
2018/06/12 全球购物
软件测试工程师面试问题精选
2016/10/28 面试题
自动化专业个人求职信范文
2013/11/29 职场文书
公休请假条
2014/04/11 职场文书
霸气队列口号
2014/06/18 职场文书
国家助学贷款承诺书
2015/04/30 职场文书
公司保密管理制度
2015/08/04 职场文书
详细聊聊Oracle表碎片对性能有多大的影响
2022/03/19 Oracle
JavaScript模拟实现网易云轮播效果
2022/04/04 Javascript