使用 Python 处理3万多条数据只要几秒钟


Posted in Python onJanuary 19, 2020

应用场景:工作中经常遇到大量的数据需要整合、去重、按照特定格式导出等情况。如果用 Excel 操作,不仅费时费力,还不准确,有么有更高效的解决方案呢?

本文以17个 txt 文本,3万多条数据为例,使用 Python 连接 MySQL 数据库,实现快速操作。

别人加班干的活,我的 Python 小助手几秒钟就搞定了!

本文主要包括以下三方面内容:

  • 数据写入
  • 数据去重
  • 数据导出

将数据写入 MySQL 数据库

下图所示文件是本文的数据源:

使用 Python 处理3万多条数据只要几秒钟 

我们的设想是:编写一个小程序,扔在这个文件夹里,双击后就可以自动读取每个 txt 文档中的数据,并写入数据库。

代码如下:

import pymysql
import os
conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')
cur = conn.cursor()
cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));")
conn.commit()
path = os.getcwd()
files = os.listdir(path)
i = 0
for file in files:
 f = open(file,'r',encoding = 'UTF-8')
 next(f)
 for line in f:
 i += 1
 #print(line)
 sql = "insert into qq(qq) values(%s);"
 cur.execute(sql,line)
 print("插入第", i, "条数据!")
 conn.commit()
 f.close()
cur.close()
conn.close()

运行效果:

使用 Python 处理3万多条数据只要几秒钟 

重点代码解释:

这段代码用到了 pymysql 和 os 两个库。

  • pymysql:用来操作 MySQL 数据库;
  • os:用来遍历所在文件夹下的所有文件。

现将主要代码解释如下:

1、遍历任意文件夹下所有文件名称
程序写好后,使用 pyinstaller 打包成 exe 程序,并放在要操作的文件夹下面。

通过 path = os.getcwd() 命令,获取该 exe 文件所在目录。

通过 files = os.listdir(path) 命令,获取 exe 文件所在目录下的所有文件名称,并存入 files 列表中。

这样我们就获得了所有的 txt 文件名称,你可以任意命名你的 txt 文件名,程序都能读出来。

2、将数据写入数据库

(1)连接数据库,并在数据库中创建新表

A. 连接到我的 qq 数据库

conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')

B. 创建新表 qq

在 qq 数据库中创建新表,表名称为 qq ,包含 2 个字段:id 字段为主键、自动递增;qq 字段为字符型,用于存储数据。

cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id))")

(2)将数据写入数据库

这里使用了两层循环:

for file in files:
 f = open(file,'r',encoding = 'UTF-8')
 next(f)
 for line in f:
 i += 1
 #print(line)
 sql = "insert into qq(qq) values(%s);"
 cur.execute(sql,line)
 print("插入第", i, "条数据!")
 conn.commit()
 f.close()

第一层循环是用来依次打开上述 17 个 txt 文件。

第二层循环是依次读取每个 txt 文件的每一行,并将改行数据插入数据库表 qq 的 qq字段。

至此就完成了数据的导入,总共32073条数据。

使用 Python 处理3万多条数据只要几秒钟 

数据清洗

这里以去除重复值为例,简单介绍一下数据清洗。

1、创建一个新表,用来存储清洗后的数据

可以在 cmd 窗口下登陆 MySQL,打开 qq 数据库,执行下列操作:

CREATE TABLE qq_dist ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));

这样就创建了新表 qq_dist ,用来存储清洗后的数据,便于后期调用。

2、清洗数据

登陆 MySQL 后,执行下列操作:

insert into qq_dis(qq) select distinct qq from qq;

将从 qq 表中查找出的不重复的 qq 字段内容,插入到 qq_dist 表中的 qq 字段。

将数据按照特定格式导出

案例:将清洗后的数据的第101-200行导出到新的 txt 文本中。

代码如下:

import pymysql
conn = pymysql.connect(host='localhost', user='root', password='123456', db='wxid', charset='utf8')
print("写入中,请等待……")
cur = conn.cursor()
sql = "select wxid from wd_dis limit 100,100;"
cur.execute(sql)
conn.commit()
alldata = cur.fetchall()
f = open('data101-200.txt','a')
i = 0
for data in alldata:
 i += 1
 f.write(data[0])
 f.flush()
f.close
cur.close()
conn.close()
print("写入完成,共写入{}条数据!".format(i))

重点代码解释:

1、 limit

MySQL 中 limit m,n 函数的含义是:从第 m+1 行开始读取 n 行。

所以,本案例中读取第101-200行,就是 limit 100,100

2、flush()

flush() 函数一定要加上,它可以将缓冲区的数据写入文件中。否则就会出现生成的 txt 文档为空白的错误。

总结

以上所述是小编给大家介绍的使用 Python 处理3万多条数据只要几秒钟,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
举例详解Python中的split()函数的使用方法
Apr 07 Python
简单介绍Python中的RSS处理
Apr 13 Python
使用Python编写一个最基础的代码解释器的要点解析
Jul 12 Python
Python中的命令行参数解析工具之docopt详解
Mar 27 Python
Python操作MySQL数据库的方法
Jun 20 Python
Python实战购物车项目的实现参考
Feb 20 Python
python爬虫基础教程:requests库(二)代码实例
Apr 09 Python
Python+selenium点击网页上指定坐标的实例
Jul 05 Python
解决Django Static内容不能加载显示的问题
Jul 28 Python
python字符串常用方法及文件简单读写的操作方法
Mar 04 Python
Keras在训练期间可视化训练误差和测试误差实例
Jun 16 Python
Python web框架(django,flask)实现mysql数据库读写分离的示例
Nov 18 Python
Python openpyxl模块原理及用法解析
Jan 19 #Python
Python imutils 填充图片周边为黑色的实现
Jan 19 #Python
python opencv 实现对图像边缘扩充
Jan 19 #Python
python给图像加上mask,并提取mask区域实例
Jan 19 #Python
python实现在一个画布上画多个子图
Jan 19 #Python
python构造函数init实例方法解析
Jan 19 #Python
python matplotlib画盒图、子图解决坐标轴标签重叠的问题
Jan 19 #Python
You might like
浅析SVN常见问题及解决方法
2013/06/21 PHP
PHP文件缓存内容保存格式实例分析
2014/08/20 PHP
Yii入门教程之Yii安装及hello world
2014/11/25 PHP
php+mysql实现简单的增删改查功能
2015/07/13 PHP
php中switch语句用法详解
2015/08/17 PHP
php生成条形码的图片的实例详解
2017/09/13 PHP
PHP多线程模拟实现秒杀抢单
2018/02/07 PHP
jquery validate.js表单验证的基本用法入门
2010/05/13 Javascript
js动态添加onload、onresize、onscroll事件(另类方法)
2012/12/26 Javascript
JavaScript中的typeof操作符用法实例
2014/04/05 Javascript
jQuery实现瀑布流布局
2014/12/12 Javascript
Bootstrap Multiselect 常用组件实现代码
2017/07/09 Javascript
微信小程序使用swiper组件实现类3D轮播图
2018/08/29 Javascript
详解如何在vue项目中使用eslint+prettier格式化代码
2018/11/10 Javascript
JS+CSS实现过渡特效
2021/01/02 Javascript
[01:57]2016完美“圣”典风云人物:国士无双专访
2016/12/04 DOTA
Pyramid将models.py文件的内容分布到多个文件的方法
2013/11/27 Python
Python对象类型及其运算方法(详解)
2017/07/05 Python
Python实现的归并排序算法示例
2017/11/21 Python
Python多线程threading和multiprocessing模块实例解析
2018/01/29 Python
python psutil库安装教程
2018/03/19 Python
Python OOP类中的几种函数或方法总结
2019/02/22 Python
Python实现转换图片背景颜色代码
2020/04/30 Python
详解python对象之间的交互
2020/09/29 Python
Canvas 文本转粒子效果的实现代码
2019/02/14 HTML / CSS
谷歌浏览器小字体处理方案即12px以下字体
2013/12/17 HTML / CSS
Canvas环形饼图与手势控制的实现代码
2019/11/08 HTML / CSS
英国领先的游戏零售商:GAME
2019/09/24 全球购物
商场总经理岗位职责
2014/02/03 职场文书
促销活动总结
2014/04/28 职场文书
项目转让协议书
2014/10/27 职场文书
高中生个性发展自我评价
2015/03/09 职场文书
2015年小学生暑假总结
2015/07/13 职场文书
《火烧云》教学反思
2016/02/23 职场文书
Python pandas之求和运算和非空值个数统计
2021/08/07 Python
《月歌。》宣布制作10周年纪念剧场版《RABBITS KINGDOM THE MOVIE》
2022/04/02 日漫