python和mysql交互操作实例详解【基于pymysql库】


Posted in Python onJune 04, 2019

本文实例讲述了python和mysql交互操作。分享给大家供大家参考,具体如下:

python要和mysql交互,我们利用pymysql这个库。

下载地址:
https://github.com/PyMySQL/PyMySQL

安装(注意cd到我们项目的虚拟环境后):

cd 项目根目录/abc/bin/
#执行
./python3 -m pip install pymysql

稍等片刻,就会把pymysql库下载到项目虚拟环境abc/lib/python3.5/site-packages中。(注意我项目是这个路径,你的不一定)

文档地址:
http://pymysql.readthedocs.io/en/latest/

使用:

import pymysql.cursors
# 连接数据库
connection = pymysql.connect(host='localhost',
               user='root',
               password='root',
               db='test',
               charset='utf8mb4',
               cursorclass=pymysql.cursors.DictCursor)
try:
  with connection.cursor() as cursor:
    # Read a single record
    sql = "SELECT * From news"
    cursor.execute(sql)
    result = cursor.fetchone()
    print(result) # {'id': 1, 'title': '本机新闻标题'}
finally:
  connection.close()

我们连上了本地数据库test,从news表中取数据,数据结果为{'id': 1, 'title': '本机新闻标题'}

python和mysql交互操作实例详解【基于pymysql库】

返回的结果是字典类型,这是因为在连接数据库的时候我们是这样设置的:

# 连接数据库
connection = pymysql.connect(host='localhost',
               user='root',
               password='root',
               db='test',
               charset='utf8mb4',
               cursorclass=pymysql.cursors.Cursor)

我们把cursorclass设置的是:pymysql.cursors.DictCursor

字典游标,所以结果集是字典类型。

我们修改为如下:

cursorclass=pymysql.cursors.Cursor

结果集如下:

(1, '本机新闻标题')

变成了元组类型。我们还是喜欢字典类型,因为其中包含了表字段。

Cursor对象

主要有4种:

Cursor 默认,查询返回list或者tuple
DictCursor  查询返回dict,包含字段名
SSCursor    效果同Cursor,无缓存游标
SSDictCursor 效果同DictCursor,无缓存游标。

插入

try:
  with connection.cursor() as cursor:
    sql = "INSERT INTO news(`title`)VALUES (%s)"
    cursor.execute(sql,["今天的新闻"])
  # 手动提交 默认不自动提交
  connection.commit()
finally:
  connection.close()

一次性插入多条数据

try:
  with connection.cursor() as cursor:
    sql = "INSERT INTO news(`title`)VALUES (%s)"
    cursor.executemany(sql,["新闻标题1","新闻标题2"])
  # 手动提交 默认不自动提交
  connection.commit()
finally:
  connection.close()

注意executemany()有别于execute()

sql绑定参数

sql = "INSERT INTO news(`title`)VALUES (%s)"
cursor.executemany(sql,["新闻标题1","新闻标题2"])

我们用%s占位,执行SQL的时候才传递具体的值。上面我们用的是list类型:

["新闻标题1","新闻标题2"]

可否用元组类型呢?

cursor.executemany(sql,("元组新闻1","元组新闻2"))

同样成功插入到数据表了。

把前面分析得到的基金数据入库

创建一个基金表:

CREATE TABLE `fund` (
  `code` varchar(50) NOT NULL,
  `name` varchar(255),
  `NAV` decimal(5,4),
  `ACCNAV` decimal(5,4),
  `updated_at` datetime,
  PRIMARY KEY (`code`)
) COMMENT='基金表';

准备插入SQL:

INSERT INTO fund(`code`,`name`,`NAV`,`ACCNAV`,`updated_at`)VALUES (%(code)s,%(name)s,%(NAV)s,%(ACCNAV)s,%(updated_at)s)

注意%(code)s这种占位符,要求我们执行这SQL的时候传入的参数必须是字典数据类型。

MySQL小知识:

在插入的时候如果有重复的主键,就更新

insert into 表名 xxxx ON duplicate Key update 表名

我们这里要准备执行的SQL就变成这样了:

INSERT INTO fund(code,name,NAV,ACCNAV,updated_at)VALUES (%(code)s,%(name)s,%(NAV)s,%(ACCNAV)s,%(updated_at)s)
ON duplicate Key UPDATE updated_at=%(updated_at)s,NAV=%(NAV)s,ACCNAV=%(ACCNAV)s;

1、回顾我们前面分析处理的基金网站数据
//3water.com/article/162452.htm

#...
codes = soup.find("table",id="oTable").tbody.find_all("td","bzdm")
result = () # 初始化一个元组
for code in codes:
  result += ({
    "code":code.get_text(),
    "name":code.next_sibling.find("a").get_text(),
    "NAV":code.next_sibling.next_sibling.get_text(),
    "ACCNAV":code.next_sibling.next_sibling.next_sibling.get_text()
   },)

最后我们是把数据存放在一个result的元组里了。

我们打印这个result可以看到:

({'code': '004223', 'ACCNAV': '1.6578', 'name': '金信多策略精选灵活配置', 'NAV': '1.6578'}, ...}

元组里每个元素 都是字典。

看字典是不是我们数据表的字段能对应了,但还少一个updated_at字段的数据。

2、我们把分析的网页数据重新处理一下

from datetime import datetime
updated_at = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
result = () # 初始化一个元组
for code in codes:
  result += ({
    "code":code.get_text(),
    "name":code.next_sibling.find("a").get_text(),
    "NAV":code.next_sibling.next_sibling.get_text(),
    "ACCNAV":code.next_sibling.next_sibling.next_sibling.get_text(),
    "updated_at":updated_at
   },)

3、最后插入的代码

try:
  with connection.cursor() as cursor:
    sql = """INSERT INTO fund(`code`,`name`,`NAV`,`ACCNAV`,`updated_at`)VALUES (%(code)s,%(name)s,%(NAV)s,%(ACCNAV)s,%(updated_at)s)
ON duplicate Key UPDATE `updated_at`=%(updated_at)s,`NAV`=%(NAV)s,`ACCNAV`=%(ACCNAV)s"""
    cursor.executemany(sql,result)
  # 手动提交 默认不自动提交
  connection.commit()
finally:
  connection.close()

python和mysql交互操作实例详解【基于pymysql库】

4、完整的分析html内容(基金网站网页内容),然后插入数据库代码:

from bs4 import BeautifulSoup
import pymysql.cursors
from datetime import datetime
# 读取文件内容
with open("1.txt", "rb") as f:
  html = f.read().decode("utf8")
  f.close()
# 分析html内容
soup = BeautifulSoup(html,"html.parser")
# 所有基金编码
codes = soup.find("table",id="oTable").tbody.find_all("td","bzdm")
updated_at = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
result = () # 初始化一个元组
for code in codes:
  result += ({
    "code":code.get_text(),
    "name":code.next_sibling.find("a").get_text(),
    "NAV":code.next_sibling.next_sibling.get_text(),
    "ACCNAV":code.next_sibling.next_sibling.next_sibling.get_text(),
    "updated_at":updated_at
   },)
# 连接数据库
connection = pymysql.connect(host='localhost',
               user='root',
               password='root',
               db='test',
               charset='utf8mb4',
               cursorclass=pymysql.cursors.Cursor)
try:
  with connection.cursor() as cursor:
    sql = """INSERT INTO fund(`code`,`name`,`NAV`,`ACCNAV`,`updated_at`)VALUES (%(code)s,%(name)s,%(NAV)s,%(ACCNAV)s,%(updated_at)s)
ON duplicate Key UPDATE `updated_at`=%(updated_at)s,`NAV`=%(NAV)s,`ACCNAV`=%(ACCNAV)s"""
    cursor.executemany(sql,result)
  # 手动提交 默认不自动提交
  connection.commit()
finally:
  connection.close()

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python中使用scapy模拟数据包实现arp攻击、dns放大攻击例子
Oct 23 Python
python内存管理分析
Apr 08 Python
Python中使用asyncio 封装文件读写
Sep 11 Python
pandas 数据归一化以及行删除例程的方法
Nov 10 Python
python Pexpect 实现输密码 scp 拷贝的方法
Jan 03 Python
Python Tkinter 简单登录界面的实现
Jun 14 Python
Django框架视图层URL映射与反向解析实例分析
Jul 29 Python
使用Python进行防病毒免杀解析
Dec 13 Python
python中读入二维csv格式的表格方法详解(以元组/列表形式表示)
Apr 24 Python
Django 用户登陆访问限制实例 @login_required
May 13 Python
PySwarms(Python粒子群优化工具包)的使用:GlobalBestPSO例子解析
Apr 05 Python
关于 Python json中load和loads区别
Nov 07 Python
Python获取基金网站网页内容、使用BeautifulSoup库分析html操作示例
Jun 04 #Python
Python使用MyQR制作专属动态彩色二维码功能
Jun 04 #Python
Python流行ORM框架sqlalchemy安装与使用教程
Jun 04 #Python
Python3日期与时间戳转换的几种方法详解
Jun 04 #Python
Falsk 与 Django 过滤器的使用与区别详解
Jun 04 #Python
python儿童学游戏编程知识点总结
Jun 03 #Python
Python控制Firefox方法总结
Jun 03 #Python
You might like
php面向对象全攻略 (十六) 对象的串行化
2009/09/30 PHP
开源php中文分词系统SCWS安装和使用实例
2014/04/11 PHP
ThinkPHP3.1新特性之多层MVC的支持
2014/06/19 PHP
php实现的Captcha验证码类实例
2014/09/22 PHP
javascript中的startWith和endWith的几种实现方法
2013/05/07 Javascript
jquery阻止冒泡事件使用模拟事件
2013/09/06 Javascript
js中通过父级进行查找定位元素
2014/06/15 Javascript
8个超实用的jQuery功能代码分享
2015/01/08 Javascript
javascript数据类型示例分享
2015/01/19 Javascript
浅谈JavaScript中的Math.atan()方法的使用
2015/06/14 Javascript
js实现select下拉框菜单
2015/12/08 Javascript
自己动手制作基于jQuery的Web页面加载进度条插件
2016/06/03 Javascript
JavaScript严格模式详解
2017/01/16 Javascript
js实现带简单弹性运动的导航条
2017/02/22 Javascript
bootstrap table 多选框分页保留示例代码
2017/03/08 Javascript
JavaScript实现打印星型金字塔功能实例分析
2017/09/27 Javascript
动态加载权限管理模块中的Vue组件
2018/01/16 Javascript
微信小程序图表插件wx-charts用法实例详解
2019/05/20 Javascript
微信小程序HTTP请求从0到1封装
2019/09/09 Javascript
jQuery实现手风琴效果(蒙版)
2020/01/11 jQuery
Javascript模拟实现new原理解析
2020/03/03 Javascript
Vue页面跳转传递参数及接收方式
2020/09/09 Javascript
[54:24]Optic vs TNC 2018国际邀请赛小组赛BO2 第二场
2018/08/18 DOTA
python操作xml文件示例
2014/04/07 Python
玩转python爬虫之URLError异常处理
2016/02/17 Python
利用Python如何实现一个小说网站雏形
2018/11/23 Python
简单介绍django提供的加密算法
2019/12/18 Python
一文读懂Python 枚举
2020/08/25 Python
python 基于wx实现音乐播放
2020/11/24 Python
Pytorch 中的optimizer使用说明
2021/03/03 Python
以设计师精品品质提供快速时尚:PopJulia
2018/01/09 全球购物
RIP版本1跟版本2的区别
2013/12/30 面试题
公司投资建议书
2014/05/16 职场文书
装饰技术负责人岗位职责
2015/04/13 职场文书
公司环境卫生管理制度
2015/08/05 职场文书
基于JavaScript实现省市联动效果
2021/06/22 Javascript