将pymysql获取到的数据类型是tuple转化为pandas方式


Posted in Python onMay 15, 2020

我就废话不多说了,大家还是直接看代码吧!

#执行结果转化为dataframe
df = pd.DataFrame(list(result))

补充知识:python pymysql注意事项

cursor.execute 与 cursor.executemany有许多不同的地方

1. execute 中字段的值是字符串形式时必须加引号,但是executemany只需要使用占位符%s,pymysql利用给的参数list自动会加上引号

2.execute返回结果都是数字,但是executemany返回结果为none和数字

3.executemany之后执行fetchall,只能返回最后一条语句执行的结果(例如执行select时)

4.insert时,如果量比较大,最好拼接value然后用execute执行,如果用executemany(sql, datalist)执行的话速度太慢。

execute十万条 12秒

2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 172 sql execute
2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 173 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) (...
2016-07-15 16:24:54,394 DEBUG my_mysql.py listsave 175 sql executemany num: 128801

executemany十万条 26秒

2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 162 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) VALUES (%s,%s,%s,%s,%s,%s) ON duplicate KEY UPDATE `need_update`=0
2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 163 [[37, 1, 2, 10, 'dzyj', 1], [37, 1, 2, 11, 'dzyj', 1], [37, 1, 2, 12, 'dzyj', 1], [37, 1, 2, 13, 'dzyj', 1], [37, 1, 2, 14, 'dzyj', 1], [37, 1, 2, 15, 'dzyj', 1], [37, 1, 2, 16, 'dzyj', 1], [37, 1, 2, 17, 'dzyj', 1], [37, 1, 2, 18, 'dzyj', 1], [37, 1, 2, 19, 'dzyj', 1]]...
2016-07-15 16:28:23,786 DEBUG my_mysql.py listsave 165 sql executemany num: 128801

ps:如果在sql存入或更新数据时不加引号,则默认为数字,再根据数据库中字段的类型进行转换。

如果存入000333到varchar字段中,则会得到333值。

以上这篇将pymysql获取到的数据类型是tuple转化为pandas方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
PyQt5每天必学之单行文本框
Apr 19 Python
python使用epoll实现服务端的方法
Oct 16 Python
cProfile Python性能分析工具使用详解
Jul 22 Python
django-crontab实现服务端的定时任务的示例代码
Feb 17 Python
如何使用repr调试python程序
Feb 28 Python
什么是Python中的顺序表
Jun 02 Python
在keras中实现查看其训练loss值
Jun 16 Python
Python3交互式shell ipython3安装及使用详解
Jul 11 Python
python类共享变量操作
Sep 03 Python
python实现图片,视频人脸识别(dlib版)
Nov 18 Python
解决tensorflow模型压缩的问题_踩坑无数,总算搞定
Mar 02 Python
分享3个非常实用的 Python 模块
Mar 03 Python
python 数据库查询返回list或tuple实例
May 15 #Python
Python基于gevent实现高并发代码实例
May 15 #Python
Django bulk_create()、update()与数据库事务的效率对比分析
May 15 #Python
Python实现aes加密解密多种方法解析
May 15 #Python
django 数据库 get_or_create函数返回值是tuple的问题
May 15 #Python
重写django的model下的objects模型管理器方式
May 15 #Python
Python基于pip实现离线打包过程详解
May 15 #Python
You might like
Re:从零开始的异世界生活 第2季 开播啦
2020/07/24 日漫
PHP数字格式化
2006/12/06 PHP
PHP乱码问题,UTF-8乱码常见问题小结
2012/04/09 PHP
php给图片加文字水印
2015/07/31 PHP
js 覆盖和重载 函数
2009/09/25 Javascript
JavaScript iframe的相互操作浅析
2009/10/14 Javascript
Jquery ajax传递复杂参数给WebService的实现代码
2011/08/08 Javascript
多种方法判断Javascript对象是否存在
2013/09/22 Javascript
JavaScript数组Array对象增加和删除元素方法总结
2015/01/20 Javascript
轮播的简单实现方法
2016/07/28 Javascript
Vue单页应用引用单独的样式文件的两种方式
2018/03/30 Javascript
JS点击动态添加标签、删除指定标签的代码
2018/04/18 Javascript
20个最常见的jQuery面试问题及答案
2018/05/23 jQuery
简单实现vue中的依赖收集与响应的方法
2019/02/18 Javascript
angular4+百分比进度显示插件用法示例
2019/05/05 Javascript
webpack 代码分离优化快速指北
2019/05/18 Javascript
[05:03]2018DOTA2亚洲邀请赛主赛事首日回顾
2018/04/04 DOTA
一个基于flask的web应用诞生(1)
2017/04/11 Python
node.js获取参数的常用方法(总结)
2017/05/29 Python
Python 快速实现CLI 应用程序的脚手架
2017/12/05 Python
python+opencv+caffe+摄像头做目标检测的实例代码
2018/08/03 Python
对python中基于tcp协议的通信(数据传输)实例讲解
2019/07/22 Python
Python基于xlrd模块处理合并单元格
2020/07/28 Python
通过代码实例解析Pytest运行流程
2020/08/20 Python
Elasticsearch py客户端库安装及使用方法解析
2020/09/14 Python
python 高阶函数简单介绍
2021/02/19 Python
Html5 new XMLHttpRequest()监听附件上传进度
2021/01/14 HTML / CSS
小天鹅官方商城:LittleSwan
2017/06/16 全球购物
巴西葡萄酒销售网站:Wine.com.br
2017/11/07 全球购物
英国空调、除湿机和通风设备排名第一:Air Con Centre
2019/02/25 全球购物
关于Java String的一道面试题
2013/09/29 面试题
手术室护士节演讲稿
2014/08/27 职场文书
竞选大学学委演讲稿
2014/09/13 职场文书
2016年第29个世界无烟日宣传活动总结
2016/04/06 职场文书
Python基础之pandas数据合并
2021/04/27 Python
一篇文章弄懂Python中的内建函数
2021/08/07 Python