将pymysql获取到的数据类型是tuple转化为pandas方式


Posted in Python onMay 15, 2020

我就废话不多说了,大家还是直接看代码吧!

#执行结果转化为dataframe
df = pd.DataFrame(list(result))

补充知识:python pymysql注意事项

cursor.execute 与 cursor.executemany有许多不同的地方

1. execute 中字段的值是字符串形式时必须加引号,但是executemany只需要使用占位符%s,pymysql利用给的参数list自动会加上引号

2.execute返回结果都是数字,但是executemany返回结果为none和数字

3.executemany之后执行fetchall,只能返回最后一条语句执行的结果(例如执行select时)

4.insert时,如果量比较大,最好拼接value然后用execute执行,如果用executemany(sql, datalist)执行的话速度太慢。

execute十万条 12秒

2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 172 sql execute
2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 173 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) (...
2016-07-15 16:24:54,394 DEBUG my_mysql.py listsave 175 sql executemany num: 128801

executemany十万条 26秒

2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 162 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) VALUES (%s,%s,%s,%s,%s,%s) ON duplicate KEY UPDATE `need_update`=0
2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 163 [[37, 1, 2, 10, 'dzyj', 1], [37, 1, 2, 11, 'dzyj', 1], [37, 1, 2, 12, 'dzyj', 1], [37, 1, 2, 13, 'dzyj', 1], [37, 1, 2, 14, 'dzyj', 1], [37, 1, 2, 15, 'dzyj', 1], [37, 1, 2, 16, 'dzyj', 1], [37, 1, 2, 17, 'dzyj', 1], [37, 1, 2, 18, 'dzyj', 1], [37, 1, 2, 19, 'dzyj', 1]]...
2016-07-15 16:28:23,786 DEBUG my_mysql.py listsave 165 sql executemany num: 128801

ps:如果在sql存入或更新数据时不加引号,则默认为数字,再根据数据库中字段的类型进行转换。

如果存入000333到varchar字段中,则会得到333值。

以上这篇将pymysql获取到的数据类型是tuple转化为pandas方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 执行字符串表达式函数(eval exec execfile)
Aug 11 Python
浅析Python的Django框架中的Memcached
Jul 23 Python
详解Python3操作Mongodb简明易懂教程
May 25 Python
Python实现生成随机数据插入mysql数据库的方法
Dec 25 Python
python实现汉诺塔算法
Mar 01 Python
Python生成MD5值的两种方法实例分析
Apr 26 Python
python  logging日志打印过程解析
Oct 22 Python
python保存log日志,实现用log日志画图
Dec 24 Python
python Tensor和Array对比分析
Jan 08 Python
python百行代码自制电脑端网速悬浮窗的实现
May 12 Python
基于Tensorflow读取MNIST数据集时网络超时的解决方式
Jun 22 Python
Python函数式编程中itertools模块详解
Sep 15 Python
python 数据库查询返回list或tuple实例
May 15 #Python
Python基于gevent实现高并发代码实例
May 15 #Python
Django bulk_create()、update()与数据库事务的效率对比分析
May 15 #Python
Python实现aes加密解密多种方法解析
May 15 #Python
django 数据库 get_or_create函数返回值是tuple的问题
May 15 #Python
重写django的model下的objects模型管理器方式
May 15 #Python
Python基于pip实现离线打包过程详解
May 15 #Python
You might like
《OVERLORD》手游英文版即将上线 手机上也能扮演骨王
2020/04/09 日漫
php调用mysql存储过程
2007/02/14 PHP
PHP实现单例模式建立数据库连接的方法分析
2020/02/11 PHP
jQuery html() in Firefox (uses .innerHTML) ignores DOM changes
2010/03/05 Javascript
jquery实现简单手风琴菜单效果实例
2015/06/13 Javascript
JS实现完全语义化的网页选项卡效果代码
2015/09/15 Javascript
JavaScript使用forEach()与jQuery使用each遍历数组时return false 的区别
2016/08/26 Javascript
NodeJS中的MongoDB快速入门详细教程
2016/11/11 NodeJs
JS实用的带停顿的逐行文本循环滚动效果实例
2016/11/23 Javascript
JS正则匹配中文的方法示例
2017/01/06 Javascript
Vue-cli proxyTable 解决开发环境的跨域问题详解
2017/05/18 Javascript
浅谈HTTP 缓存的那些事儿
2018/10/17 Javascript
原生JS实现图片懒加载之页面性能优化
2019/04/26 Javascript
JavaScript 事件代理需要注意的地方
2020/09/08 Javascript
vue修改Element的el-table样式的4种方法
2020/09/17 Javascript
Python的Django框架中if标签的相关使用
2015/07/15 Python
详解Python 数据库 (sqlite3)应用
2016/12/07 Python
python通过百度地图API获取某地址的经纬度详解
2018/01/28 Python
python 基本数据类型占用内存空间大小的实例
2018/06/12 Python
Pycharm新手教程(只需要看这篇就够了)
2019/06/18 Python
PyCharm汉化安装及永久激活详细教程(靠谱)
2020/01/16 Python
在python3中实现更新界面
2020/02/21 Python
python中可以声明变量类型吗
2020/06/18 Python
MoviePy简介及Python视频剪辑自动化
2020/12/18 Python
使用HTML5里的classList操作CSS类
2016/06/28 HTML / CSS
美国畅销的跑步机品牌:ProForm
2017/02/06 全球购物
Styleonme中文网:韩国高档人气品牌
2017/06/21 全球购物
函授本科毕业自我鉴定
2013/10/09 职场文书
酒店行政人事部经理职务说明书
2014/02/26 职场文书
年终考核实施方案
2014/05/26 职场文书
个人学习党的群众路线教育实践活动心得体会
2014/11/05 职场文书
2015年幼儿园中班工作总结
2015/04/25 职场文书
大学生青年志愿者活动总结
2015/05/06 职场文书
2015暑期社会实践调查报告
2015/07/14 职场文书
分位数回归模型quantile regeression应用详解及示例教程
2021/11/02 Python
MYSQL常用函数介绍
2022/05/05 MySQL