Python使用Pandas库实现MySQL数据库的读写


Posted in Python onJuly 06, 2019

本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写。首先我们需要了解点ORM方面的知识

ORM技术

对象关系映射技术,即ORM(Object-Relational Mapping)技术,指的是把关系数据库的表结构映射到对象上,通过使用描述对象和数据库之间映射的元数据,将程序中的对象自动持久化到关系数据库中。

在Python中,最有名的ORM框架是SQLAlchemy。Java中典型的ORM中间件有:Hibernate,ibatis,speedframework。

SQLAlchemy

SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射(ORM)工具,使用MIT许可证发行

SQLAlchemy模块提供了create_engine()函数用来初始化数据库连接,SQLAlchemy用一个字符串表示连接信息:

'数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名

Pandas读写MySQL数据库

我们需要以下三个库来实现Pandas读写MySQL数据库:

  • pandas
  • sqlalchemy
  • pymysql

其中,pandas模块提供了read_sql_query()函数实现了对数据库的查询,to_sql()函数实现了对数据库的写入。并不需要实现新建MySQL数据表。

sqlalchemy模块实现了与不同数据库的连接,而pymysql模块则使得Python能够操作MySQL数据库。

我们将使用MySQL数据库中的mydb数据库以及employee表,内容如下:

Python使用Pandas库实现MySQL数据库的读写

注意:

1.根据库的文档,我们看到to_sql函数支持两类mysql引擎一个是sqlalchemy,另一个是sqlliet3.没错,在你写入库的时候,pymysql是不能用的!!!

mysqldb也是不能用的,你只能使用sqlalchemy或者sqlliet3!!鉴于sqllift3已经很久没有更新了,笔者这里建议使用sqlalchemy!!

2.to_sql函数并不在pd之中,而是在io.sql之中,是sql脚本下的一个类!!!所以to_sql的最好写法就是:

pd.io.sql.to_sql(df1,tablename,con=conn,if_exists='repalce')  

下面将介绍一个简单的例子来展示如何在pandas中实现对MySQL数据库的读写:

import pandas as pd
from sqlalchemy import create_engine
# 初始化数据库连接,使用pymysql模块
# MySQL的用户:root, 密码:147369, 端口:3306,数据库:test
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
# 查询语句,选出employee表中的所有数据
sql = ''' select * from employee; '''
# read_sql_query的两个参数: sql语句, 数据库连接
df = pd.read_sql_query(sql, engine)
# 输出employee表的查询结果
print(df)

# 新建pandas中的DataFrame, 只有id,num两列
df = pd.DataFrame({'id': [1, 2, 3, 4], 'name': ['zhangsan', 'lisi', 'wangwu', 'zhuliu']})
# 将新建的DataFrame储存为MySQL中的数据表,储存index列
df.to_sql('mydf', engine, index=True)
print('Read from and write to Mysql table successfully!')

运行结果:

Python使用Pandas库实现MySQL数据库的读写

这说明我们确实将pandas中新建的DataFrame写入到了MySQL中!

将CSV文件写入到MySQL中

以上的例子实现了使用Pandas库实现MySQL数据库的读写,我们将再介绍一个实例:将CSV文件写入到MySQL中,示例的example.csv文件如下

Python使用Pandas库实现MySQL数据库的读写

示例的Python代码如下:

# -*- coding: utf-8 -*-

# 导入必要模块
import pandas as pd
from sqlalchemy import create_engine

# 初始化数据库连接,使用pymysql模块
db_info = {'user': 'root',
      'password': '123456',
      'host': 'localhost',
      'port': 3306,
      'database': 'test'
      }

engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info, encoding='utf-8')
# 直接使用下一种形式也可以
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')

# 读取本地CSV文件
df = pd.read_csv("C:/Users/fuqia/Desktop/example.csv", sep=',')
print(df)
# 将新建的DataFrame储存为MySQL中的数据表,不储存index列(index=False)
# if_exists:
# 1.fail:如果表存在,啥也不做
# 2.replace:如果表存在,删了表,再建立一个新表,把数据插入
# 3.append:如果表存在,把数据插入,如果表不存在创建一个表!!
pd.io.sql.to_sql(df, 'example', con=engine, index=False, if_exists='replace')
# df.to_sql('example', con=engine, if_exists='replace')这种形式也可以
print("Write to MySQL successfully!")

在MySQL中查看example表格

Python使用Pandas库实现MySQL数据库的读写

补充:engine.execute(sql)可以直接执行sql语句:

from sqlalchemy import create_engine 
 
 engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS example"
engine.execute(sql)

如果用pymysql,则必须用cursor,读者可以对比一下。

import pymysql
from sqlalchemy import create_engine

conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS test_input"
cursor = conn.cursor()
cursor.execute(sql)

总结

本文主要介绍了ORM技术以及SQLAlchemy模块,并且展示了两个Python程序的实例,介绍了如何使用Pandas库实现MySQL数据库的读写。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
web.py中调用文件夹内模板的方法
Aug 26 Python
python中Genarator函数用法分析
Apr 08 Python
连接Python程序与MySQL的教程
Apr 29 Python
Python3使用requests登录人人影视网站的方法
May 11 Python
利用python实现命令行有道词典的方法示例
Jan 31 Python
python扫描proxy并获取可用代理ip的实例
Aug 07 Python
使用Django简单编写一个XSS平台的方法步骤
Mar 25 Python
python中pytest收集用例规则与运行指定用例详解
Jun 27 Python
python调用webservice接口的实现
Jul 12 Python
.dcm格式文件软件读取及python处理详解
Jan 16 Python
Python selenium模块实现定位过程解析
Jul 09 Python
解决python3.6用cx_Oracle库连接Oracle的问题
Dec 07 Python
python 实现的发送邮件模板【普通邮件、带附件、带图片邮件】
Jul 06 #Python
Python 微信爬虫完整实例【单线程与多线程】
Jul 06 #Python
python实现爬取百度图片的方法示例
Jul 06 #Python
python实现控制电脑鼠标和键盘,登录QQ的方法示例
Jul 06 #Python
python3 打印输出字典中特定的某个key的方法示例
Jul 06 #Python
python使用 zip 同时迭代多个序列示例
Jul 06 #Python
Python搭建Spark分布式集群环境
Jul 05 #Python
You might like
十大使用PHP框架的理由
2015/09/26 PHP
WordPress中调试缩略图的相关PHP函数使用解析
2016/01/07 PHP
php编程每天必学之表单验证
2016/03/01 PHP
PHP文件上传操作实例详解
2016/09/27 PHP
利用PHP实现开心消消乐的算法示例
2017/10/12 PHP
javascript同步Import,同步调用外部js的方法
2008/07/08 Javascript
javascript KeyDown、KeyPress和KeyUp事件的区别与联系
2009/12/03 Javascript
jquery对象和DOM对象的区别介绍
2013/08/09 Javascript
JS中图片缓冲loading技术的实例代码
2013/08/29 Javascript
基于jquery的手风琴图片展示效果实现方法
2014/12/16 Javascript
javascript 操作符(~、&、|、^、)使用案例
2014/12/31 Javascript
JavaScript判断是否为数字的4种方法及效率比较
2015/04/01 Javascript
javascript事件委托的用法及其好处简析
2016/04/04 Javascript
JS实现点击表头表格自动排序(含数字、字符串、日期)
2017/01/22 Javascript
AngularJS学习第一篇 AngularJS基础知识
2017/02/13 Javascript
vue实现app页面切换动画效果实例
2017/05/23 Javascript
EasyUI框架 使用Ajax提交注册信息的实现代码
2017/09/27 Javascript
详解Vue 中 extend 、component 、mixins 、extends 的区别
2017/12/20 Javascript
vue导出html、word和pdf的实现代码
2018/07/31 Javascript
微信小程序实现动态获取元素宽高的方法分析
2018/12/10 Javascript
详解javascript 变量提升(Hoisting)
2019/03/12 Javascript
Python科学计算环境推荐——Anaconda
2014/06/30 Python
Python简明入门教程
2015/08/04 Python
浅析python3中的os.path.dirname(__file__)的使用
2018/08/30 Python
对python3 sort sorted 函数的应用详解
2019/06/27 Python
Python3远程监控程序的实现方法
2019/07/15 Python
马来西亚银饰品牌:JEOEL
2017/12/15 全球购物
世界排名第一的运动鞋市场:Flight Club
2020/01/03 全球购物
印度电子产品购物网站:Vijay Sales
2021/02/16 全球购物
银行会计业务的个人自我评价
2013/11/02 职场文书
大学自荐信
2013/12/12 职场文书
应届毕业生自我鉴定范文
2013/12/27 职场文书
小学师德师风演讲稿
2014/09/02 职场文书
2015年技术工作总结范文
2015/04/20 职场文书
运动会报道稿大全
2015/07/23 职场文书
Python+uiautomator2实现自动刷抖音视频功能
2021/04/29 Python