Python使用Pandas库实现MySQL数据库的读写


Posted in Python onJuly 06, 2019

本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写。首先我们需要了解点ORM方面的知识

ORM技术

对象关系映射技术,即ORM(Object-Relational Mapping)技术,指的是把关系数据库的表结构映射到对象上,通过使用描述对象和数据库之间映射的元数据,将程序中的对象自动持久化到关系数据库中。

在Python中,最有名的ORM框架是SQLAlchemy。Java中典型的ORM中间件有:Hibernate,ibatis,speedframework。

SQLAlchemy

SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射(ORM)工具,使用MIT许可证发行

SQLAlchemy模块提供了create_engine()函数用来初始化数据库连接,SQLAlchemy用一个字符串表示连接信息:

'数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名

Pandas读写MySQL数据库

我们需要以下三个库来实现Pandas读写MySQL数据库:

  • pandas
  • sqlalchemy
  • pymysql

其中,pandas模块提供了read_sql_query()函数实现了对数据库的查询,to_sql()函数实现了对数据库的写入。并不需要实现新建MySQL数据表。

sqlalchemy模块实现了与不同数据库的连接,而pymysql模块则使得Python能够操作MySQL数据库。

我们将使用MySQL数据库中的mydb数据库以及employee表,内容如下:

Python使用Pandas库实现MySQL数据库的读写

注意:

1.根据库的文档,我们看到to_sql函数支持两类mysql引擎一个是sqlalchemy,另一个是sqlliet3.没错,在你写入库的时候,pymysql是不能用的!!!

mysqldb也是不能用的,你只能使用sqlalchemy或者sqlliet3!!鉴于sqllift3已经很久没有更新了,笔者这里建议使用sqlalchemy!!

2.to_sql函数并不在pd之中,而是在io.sql之中,是sql脚本下的一个类!!!所以to_sql的最好写法就是:

pd.io.sql.to_sql(df1,tablename,con=conn,if_exists='repalce')  

下面将介绍一个简单的例子来展示如何在pandas中实现对MySQL数据库的读写:

import pandas as pd
from sqlalchemy import create_engine
# 初始化数据库连接,使用pymysql模块
# MySQL的用户:root, 密码:147369, 端口:3306,数据库:test
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
# 查询语句,选出employee表中的所有数据
sql = ''' select * from employee; '''
# read_sql_query的两个参数: sql语句, 数据库连接
df = pd.read_sql_query(sql, engine)
# 输出employee表的查询结果
print(df)

# 新建pandas中的DataFrame, 只有id,num两列
df = pd.DataFrame({'id': [1, 2, 3, 4], 'name': ['zhangsan', 'lisi', 'wangwu', 'zhuliu']})
# 将新建的DataFrame储存为MySQL中的数据表,储存index列
df.to_sql('mydf', engine, index=True)
print('Read from and write to Mysql table successfully!')

运行结果:

Python使用Pandas库实现MySQL数据库的读写

这说明我们确实将pandas中新建的DataFrame写入到了MySQL中!

将CSV文件写入到MySQL中

以上的例子实现了使用Pandas库实现MySQL数据库的读写,我们将再介绍一个实例:将CSV文件写入到MySQL中,示例的example.csv文件如下

Python使用Pandas库实现MySQL数据库的读写

示例的Python代码如下:

# -*- coding: utf-8 -*-

# 导入必要模块
import pandas as pd
from sqlalchemy import create_engine

# 初始化数据库连接,使用pymysql模块
db_info = {'user': 'root',
      'password': '123456',
      'host': 'localhost',
      'port': 3306,
      'database': 'test'
      }

engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info, encoding='utf-8')
# 直接使用下一种形式也可以
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')

# 读取本地CSV文件
df = pd.read_csv("C:/Users/fuqia/Desktop/example.csv", sep=',')
print(df)
# 将新建的DataFrame储存为MySQL中的数据表,不储存index列(index=False)
# if_exists:
# 1.fail:如果表存在,啥也不做
# 2.replace:如果表存在,删了表,再建立一个新表,把数据插入
# 3.append:如果表存在,把数据插入,如果表不存在创建一个表!!
pd.io.sql.to_sql(df, 'example', con=engine, index=False, if_exists='replace')
# df.to_sql('example', con=engine, if_exists='replace')这种形式也可以
print("Write to MySQL successfully!")

在MySQL中查看example表格

Python使用Pandas库实现MySQL数据库的读写

补充:engine.execute(sql)可以直接执行sql语句:

from sqlalchemy import create_engine 
 
 engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS example"
engine.execute(sql)

如果用pymysql,则必须用cursor,读者可以对比一下。

import pymysql
from sqlalchemy import create_engine

conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS test_input"
cursor = conn.cursor()
cursor.execute(sql)

总结

本文主要介绍了ORM技术以及SQLAlchemy模块,并且展示了两个Python程序的实例,介绍了如何使用Pandas库实现MySQL数据库的读写。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的Django框架使用入门指引
Apr 15 Python
python点击鼠标获取坐标(Graphics)
Aug 10 Python
Python中 CSV格式清洗与转换的实例代码
Aug 29 Python
Python数据处理篇之Sympy系列(五)---解方程
Oct 12 Python
三个python爬虫项目实例代码
Dec 28 Python
python扫描线填充算法详解
Feb 19 Python
Python如何输出警告信息
Jul 30 Python
Python如何在单元测试中给对象打补丁
Aug 03 Python
Selenium 安装和简单使用的实现
Dec 04 Python
python 实现图片裁剪小工具
Feb 02 Python
python反扒机制的5种解决方法
Feb 06 Python
Python3+SQLAlchemy+Sqlite3实现ORM教程
Feb 16 Python
python 实现的发送邮件模板【普通邮件、带附件、带图片邮件】
Jul 06 #Python
Python 微信爬虫完整实例【单线程与多线程】
Jul 06 #Python
python实现爬取百度图片的方法示例
Jul 06 #Python
python实现控制电脑鼠标和键盘,登录QQ的方法示例
Jul 06 #Python
python3 打印输出字典中特定的某个key的方法示例
Jul 06 #Python
python使用 zip 同时迭代多个序列示例
Jul 06 #Python
Python搭建Spark分布式集群环境
Jul 05 #Python
You might like
Apache服务器无法使用的解决方法
2013/05/08 PHP
解析php开发中的中文编码问题
2013/08/08 PHP
递归删除一个节点以及该节点下的所有节点示例
2014/03/19 PHP
什么是PEAR?什么是PECL?PHP中两个容易混淆的概念解释
2015/07/01 PHP
javascript hashtable 修正版 下载
2010/12/30 Javascript
jQuery图片预加载 等比缩放实现代码
2011/10/04 Javascript
jquery 滚动条事件简单实例
2013/07/12 Javascript
jQuery遍历之next()、nextAll()方法使用实例
2014/11/08 Javascript
AngularJS实现Model缓存的方式
2016/02/03 Javascript
使用ReactJS实现tab页切换、菜单栏切换、手风琴切换和进度条效果
2016/10/17 Javascript
BootStrap selectpicker后台动态绑定数据的方法
2017/07/28 Javascript
Vue.js进行查询操作的实例详解
2017/08/25 Javascript
vue使用监听实现全选反选功能
2018/07/06 Javascript
解决vue中的无限循环问题
2020/07/27 Javascript
SpringBoot在yml配置文件中配置druid的操作
2020/11/16 Javascript
[01:29:46]DOTA2上海特级锦标赛C组资格赛#1 OG VS LGD第二局
2016/02/27 DOTA
python基础教程之缩进介绍
2014/08/29 Python
Python编写百度贴吧的简单爬虫
2015/04/02 Python
python遍历数组的方法小结
2015/04/30 Python
Python随机生成带特殊字符的密码
2016/03/02 Python
浅析AST抽象语法树及Python代码实现
2016/06/06 Python
python遍历 truple list dictionary的几种方法总结
2016/09/11 Python
Python cookbook(字符串与文本)在字符串的开头或结尾处进行文本匹配操作
2018/04/20 Python
利用Anaconda简单安装scrapy框架的方法
2018/06/13 Python
python的debug实用工具 pdb详解
2019/07/12 Python
Python性能分析工具Profile使用实例
2019/11/19 Python
Python基于模块Paramiko实现SSHv2协议
2020/04/28 Python
Dyson戴森波兰官网:Dyson.pl
2019/08/05 全球购物
ECCO英国官网:丹麦鞋履品牌
2019/09/03 全球购物
致铅球运动员加油稿
2014/02/13 职场文书
项目合作协议书
2014/04/16 职场文书
白血病募捐倡议书
2014/05/14 职场文书
2014年乡镇妇联工作总结
2014/12/02 职场文书
2015年幼儿园个人工作总结
2015/04/25 职场文书
朋友聚会开场白
2015/06/01 职场文书
党员读书活动心得体会
2016/01/14 职场文书