Python从数据库读取大量数据批量写入文件的方法


Posted in Python onDecember 10, 2018

使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存。

下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件,方便我们做数据的预处理和训练机器学习模型。

#%%
import pymssql as MySQLdb #这里是python3 如果你是python2.x的话,import MySQLdb
#数据库连接属性
hst = '188.10.34.18'
usr = 'sa'
passwd = 'p@ssw0rd'
db = 'HistoryTrace'
 
#总共多少数据
allData = 1674333
#每个批次多少条数据
dataOfEach = 20000
#批次
batch = ceil(allData/dataOfEach)
 
#文件名
global IDctrl 
IDctrl = 1
filename = str(IDctrl)+'.txt'
 
#连接数据库
conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()
 
while IDctrl<batch:
 #读取数据库
 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\
    FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) 
 cur.execute(sql)
 rows=cur.fetchall()
 #写文件
 f = open(filename,'w')
 f.writelines(str(rows))
 #文件名加1
 IDctrl+=1
 filename = str(IDctrl)+'.txt'
 
#关闭数据库连接
f.close()
conn.close()

以上这篇Python从数据库读取大量数据批量写入文件的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
忘记ftp密码使用python ftplib库暴力破解密码的方法示例
Jan 22 Python
python3实现短网址和数字相互转换的方法
Apr 28 Python
python获取当前用户的主目录路径方法(推荐)
Jan 12 Python
Python中装饰器兼容加括号和不加括号的写法详解
Jul 05 Python
Python实现多进程共享数据的方法分析
Dec 04 Python
Python测试人员需要掌握的知识
Feb 08 Python
python获取微信企业号打卡数据并生成windows计划任务
Apr 30 Python
详解Selenium+PhantomJS+python简单实现爬虫的功能
Jul 14 Python
基于Python实现扑克牌面试题
Dec 11 Python
Pycharm pyuic5实现将ui文件转为py文件,让UI界面成功显示
Apr 08 Python
详解Python中namedtuple的使用
Apr 27 Python
tensorflow实现从.ckpt文件中读取任意变量
May 26 Python
对Python实现简单的API接口实例讲解
Dec 10 #Python
python中dir()与__dict__属性的区别浅析
Dec 10 #Python
python分块读取大数据,避免内存不足的方法
Dec 10 #Python
Python 文本文件内容批量抽取实例
Dec 10 #Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
You might like
PHP4实际应用经验篇(6)
2006/10/09 PHP
PHP 数组教程 定义数组
2009/10/23 PHP
PHP 时间日期操作实战
2011/08/26 PHP
php获得文件大小和文件创建时间的方法
2015/03/13 PHP
php结合安卓客户端实现查询交互实例
2015/05/05 PHP
PHP中获取文件创建日期、修改日期、访问时间的方法
2016/11/05 PHP
PHP生成随机码的思路与方法实例探索
2019/04/11 PHP
laravel excel 上传文件保存到本地服务器功能
2019/11/14 PHP
jQuery实现多按钮单击变色
2014/11/27 Javascript
javascript事件冒泡实例分析
2015/05/13 Javascript
基于Bootstrap的UI扩展 StyleBootstrap
2016/06/17 Javascript
AngularJS API之copy深拷贝详解及实例
2016/09/14 Javascript
利用node.js写一个爬取知乎妹纸图的小爬虫
2017/05/03 Javascript
详解JavaScript中return的用法
2017/05/08 Javascript
vue下跨域设置的相关介绍
2017/08/26 Javascript
原生JS+HTML5实现跟随鼠标一起流动的粒子动画效果
2018/05/03 Javascript
解决bootstrap模态框数据缓存的问题方法
2018/08/10 Javascript
javascript实现导航栏分页效果
2019/06/27 Javascript
Angular 中使用 FineReport不显示报表直接打印预览
2019/08/21 Javascript
JS实现盒子拖拽效果
2020/02/06 Javascript
jquery实现图片放大镜效果
2020/12/23 jQuery
[02:36]DOTA2亚洲邀请赛小组赛精彩集锦:奇迹哥卡尔秀翻全场
2017/03/28 DOTA
Python中死锁的形成示例及死锁情况的防止
2016/06/14 Python
Python创建对称矩阵的方法示例【基于numpy模块】
2017/10/12 Python
Python打印输出数组中全部元素
2018/03/13 Python
Python对象中__del__方法起作用的条件详解
2018/11/01 Python
Python提取转移文件夹内所有.jpg文件并查看每一帧的方法
2019/06/27 Python
Python基于pandas绘制散点图矩阵代码实例
2020/06/04 Python
大数据分析用java还是Python
2020/07/06 Python
Ibatis如何使用动态表名
2015/07/12 面试题
应届大学生自荐信
2013/12/05 职场文书
药学专业学生的自我评价分享
2014/02/06 职场文书
老人再婚离婚协议书范本
2014/10/27 职场文书
教师辞职信范文
2015/02/28 职场文书
新店开业策划方案怎么书写?
2019/07/05 职场文书
创业计划书之烤红薯
2019/09/26 职场文书