Python从数据库读取大量数据批量写入文件的方法


Posted in Python onDecember 10, 2018

使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存。

下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件,方便我们做数据的预处理和训练机器学习模型。

#%%
import pymssql as MySQLdb #这里是python3 如果你是python2.x的话,import MySQLdb
#数据库连接属性
hst = '188.10.34.18'
usr = 'sa'
passwd = 'p@ssw0rd'
db = 'HistoryTrace'
 
#总共多少数据
allData = 1674333
#每个批次多少条数据
dataOfEach = 20000
#批次
batch = ceil(allData/dataOfEach)
 
#文件名
global IDctrl 
IDctrl = 1
filename = str(IDctrl)+'.txt'
 
#连接数据库
conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()
 
while IDctrl<batch:
 #读取数据库
 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\
    FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) 
 cur.execute(sql)
 rows=cur.fetchall()
 #写文件
 f = open(filename,'w')
 f.writelines(str(rows))
 #文件名加1
 IDctrl+=1
 filename = str(IDctrl)+'.txt'
 
#关闭数据库连接
f.close()
conn.close()

以上这篇Python从数据库读取大量数据批量写入文件的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中正则表达式的详细教程
Apr 30 Python
使用Python的urllib和urllib2模块制作爬虫的实例教程
Jan 20 Python
Python的Django框架中使用SQLAlchemy操作数据库的教程
Jun 02 Python
利用python爬取斗鱼app中照片方法实例
Dec 03 Python
Python实现钉钉发送报警消息的方法
Feb 20 Python
python算法与数据结构之冒泡排序实例详解
Jun 22 Python
PYQT5实现控制台显示功能的方法
Jun 25 Python
python发qq消息轰炸虐狗好友思路详解(完整代码)
Feb 15 Python
django模型动态修改参数,增加 filter 字段的方式
Mar 16 Python
Pytorch转keras的有效方法,以FlowNet为例讲解
May 26 Python
用Python将GIF动图分解成多张静态图片
Jun 11 Python
Python实现PIL图像处理库绘制国际象棋棋盘
Jul 16 Python
对Python实现简单的API接口实例讲解
Dec 10 #Python
python中dir()与__dict__属性的区别浅析
Dec 10 #Python
python分块读取大数据,避免内存不足的方法
Dec 10 #Python
Python 文本文件内容批量抽取实例
Dec 10 #Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
You might like
PHP 面向对象实现代码
2009/11/11 PHP
PHP基于GD库的缩略图生成代码(支持jpg,gif,png格式)
2014/06/19 PHP
PHP函数实现从一个文本字符串中提取关键字的方法
2015/07/01 PHP
jquery.lazyload  实现图片延迟加载jquery插件
2010/02/06 Javascript
jquery原创弹出层折叠效果点击折叠弹出一个层
2014/03/12 Javascript
jquery ztree实现下拉树形框使用到了json数据
2014/05/14 Javascript
AngularJS中实现显示或隐藏动画效果的方式总结
2015/12/31 Javascript
jquery mobile开发常见问题分析
2016/01/21 Javascript
DataTables+BootStrap组合使用Ajax来获取数据并且动态加载dom的方法(排序,过滤,分页等)
2016/11/09 Javascript
AngularJS表单提交实例详解
2017/02/18 Javascript
Vue.js上下滚动加载组件的实例代码
2017/07/17 Javascript
利用纯js + transition动画实现移动端web轮播图详解
2017/09/10 Javascript
Vue刷新修改页面中数据的方法
2018/09/16 Javascript
JavaScript中.min.js和.js文件的区别讲解
2019/02/13 Javascript
解决小程序无法触发SESSION问题
2020/02/03 Javascript
js获取url页面id,也就是最后的数字文件名
2020/09/25 Javascript
jQuery实现移动端扭蛋机抽奖
2020/11/08 jQuery
js实现类选择器和name属性选择器的示例步骤
2021/02/07 Javascript
python使用tensorflow保存、加载和使用模型的方法
2018/01/31 Python
使用python实现抓取腾讯视频所有电影的爬虫
2019/04/15 Python
详解python数据结构和算法
2019/04/18 Python
对tensorflow中cifar-10文档的Read操作详解
2020/02/10 Python
vue学习笔记之动态组件和v-once指令简单示例
2020/02/29 Python
如何查看Django ORM执行的SQL语句的实现
2020/04/20 Python
如何使用PyCharm引入需要使用的包的方法
2020/09/22 Python
HTML5中5个简单实用的API(第二篇,含全屏、可见性、拍照、预加载、电池状态)
2014/05/07 HTML / CSS
Trunki英国官网:儿童坐骑式行李箱
2017/05/30 全球购物
Omio俄罗斯:一次搜索公共汽车、火车和飞机的机票
2018/11/17 全球购物
美国价格实惠的在线眼镜网站:Zeelool
2020/12/25 全球购物
英国名牌男装店:Standout
2021/02/17 全球购物
开放系统互连参考模型
2016/06/29 面试题
体育教师求职信
2014/05/24 职场文书
国贸专业毕业求职信
2014/06/11 职场文书
2015年部门工作总结范文
2015/03/31 职场文书
2016年“世界环境日”校园广播稿
2015/12/18 职场文书
linux中nohup和后台运行进程查看及终止
2021/06/24 Python