将pymysql获取到的数据类型是tuple转化为pandas方式


Posted in Python onMay 15, 2020

我就废话不多说了,大家还是直接看代码吧!

#执行结果转化为dataframe
df = pd.DataFrame(list(result))

补充知识:python pymysql注意事项

cursor.execute 与 cursor.executemany有许多不同的地方

1. execute 中字段的值是字符串形式时必须加引号,但是executemany只需要使用占位符%s,pymysql利用给的参数list自动会加上引号

2.execute返回结果都是数字,但是executemany返回结果为none和数字

3.executemany之后执行fetchall,只能返回最后一条语句执行的结果(例如执行select时)

4.insert时,如果量比较大,最好拼接value然后用execute执行,如果用executemany(sql, datalist)执行的话速度太慢。

execute十万条 12秒

2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 172 sql execute
2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 173 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) (...
2016-07-15 16:24:54,394 DEBUG my_mysql.py listsave 175 sql executemany num: 128801

executemany十万条 26秒

2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 162 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) VALUES (%s,%s,%s,%s,%s,%s) ON duplicate KEY UPDATE `need_update`=0
2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 163 [[37, 1, 2, 10, 'dzyj', 1], [37, 1, 2, 11, 'dzyj', 1], [37, 1, 2, 12, 'dzyj', 1], [37, 1, 2, 13, 'dzyj', 1], [37, 1, 2, 14, 'dzyj', 1], [37, 1, 2, 15, 'dzyj', 1], [37, 1, 2, 16, 'dzyj', 1], [37, 1, 2, 17, 'dzyj', 1], [37, 1, 2, 18, 'dzyj', 1], [37, 1, 2, 19, 'dzyj', 1]]...
2016-07-15 16:28:23,786 DEBUG my_mysql.py listsave 165 sql executemany num: 128801

ps:如果在sql存入或更新数据时不加引号,则默认为数字,再根据数据库中字段的类型进行转换。

如果存入000333到varchar字段中,则会得到333值。

以上这篇将pymysql获取到的数据类型是tuple转化为pandas方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
编写Python脚本来获取mp3文件tag信息的教程
May 04 Python
Python实现多进程共享数据的方法分析
Dec 04 Python
python 划分数据集为训练集和测试集的方法
Dec 11 Python
Python列表常见操作详解(获取,增加,删除,修改,排序等)
Feb 18 Python
解决Python正则表达式匹配反斜杠''\''问题
Jul 17 Python
Python 点击指定位置验证码破解的实现代码
Sep 11 Python
详解Python可视化神器Yellowbrick使用
Nov 11 Python
opencv-python 读取图像并转换颜色空间实例
Dec 09 Python
基于matplotlib中ion()和ioff()的使用详解
Jun 16 Python
python -v 报错问题的解决方法
Sep 15 Python
pytorch实现手写数字图片识别
May 20 Python
教你使用一行Python代码玩遍童年的小游戏
Aug 23 Python
python 数据库查询返回list或tuple实例
May 15 #Python
Python基于gevent实现高并发代码实例
May 15 #Python
Django bulk_create()、update()与数据库事务的效率对比分析
May 15 #Python
Python实现aes加密解密多种方法解析
May 15 #Python
django 数据库 get_or_create函数返回值是tuple的问题
May 15 #Python
重写django的model下的objects模型管理器方式
May 15 #Python
Python基于pip实现离线打包过程详解
May 15 #Python
You might like
PHP使用PHPMailer发送邮件的简单使用方法
2013/11/12 PHP
phpmyadmin中禁止外网使用的方法
2014/11/04 PHP
WordPress开发中用于标题显示的相关函数使用解析
2016/01/07 PHP
PHP实现的字符串匹配算法示例【sunday算法】
2017/12/19 PHP
laravel 创建命令行命令的图文教程
2019/10/23 PHP
php设计模式之状态模式实例分析【星际争霸游戏案例】
2020/03/26 PHP
使用FlexiGrid实现Extjs表格效果方法分享
2014/12/16 Javascript
js上传图片及预览功能实例分析
2015/04/24 Javascript
Bootstrap栅格系统简单实现代码
2017/03/06 Javascript
Cookies 和 Session的详解及区别
2017/04/21 Javascript
详解win7 cmd执行vue不是内部命令的解决方法
2017/07/27 Javascript
JavaScript实现离开页面前提示功能【附jQuery实现方法】
2017/09/26 jQuery
用 Vue.js 递归组件实现可折叠的树形菜单(demo)
2017/12/25 Javascript
详解小程序缓存插件(mrc)
2018/08/17 Javascript
Vue3.x源码调试的实现方法
2019/10/13 Javascript
vue实现评论列表功能
2019/10/25 Javascript
Vue 样式切换及三元判断样式关联操作
2020/08/09 Javascript
微信小程序实现单个或多个倒计时功能
2020/11/01 Javascript
使用Python的Scrapy框架十分钟爬取美女图
2016/12/26 Python
Python 判断是否为质数或素数的实例
2017/10/30 Python
python回调函数中使用多线程的方法
2017/12/25 Python
python实现将汉字保存成文本的方法
2018/11/16 Python
获取Pytorch中间某一层权重或者特征的例子
2019/08/17 Python
python递归函数求n的阶乘,优缺点及递归次数设置方式
2020/04/02 Python
Python列表嵌套常见坑点及解决方案
2020/09/30 Python
Python爬虫之Selenium下拉框处理的实现
2020/12/04 Python
微信浏览器取消缓存的方法
2015/03/28 HTML / CSS
用HTML5制作数字时钟的教程
2015/05/11 HTML / CSS
班主任工作经验材料
2014/02/02 职场文书
给校长的建议书400字
2014/05/15 职场文书
领导干部贪图享乐整改措施
2014/09/21 职场文书
总经理助理岗位职责
2015/01/31 职场文书
严以用权学习心得体会
2016/01/12 职场文书
2016年6.5世界环境日宣传活动总结
2016/04/01 职场文书
java executor包参数处理功能 
2022/02/15 Java/Android
抖音动画片,皮皮虾,《治愈系》动画在用这首REMIX作为背景音乐,Anak ,The last world with you完整版
2022/03/16 杂记