将pymysql获取到的数据类型是tuple转化为pandas方式


Posted in Python onMay 15, 2020

我就废话不多说了,大家还是直接看代码吧!

#执行结果转化为dataframe
df = pd.DataFrame(list(result))

补充知识:python pymysql注意事项

cursor.execute 与 cursor.executemany有许多不同的地方

1. execute 中字段的值是字符串形式时必须加引号,但是executemany只需要使用占位符%s,pymysql利用给的参数list自动会加上引号

2.execute返回结果都是数字,但是executemany返回结果为none和数字

3.executemany之后执行fetchall,只能返回最后一条语句执行的结果(例如执行select时)

4.insert时,如果量比较大,最好拼接value然后用execute执行,如果用executemany(sql, datalist)执行的话速度太慢。

execute十万条 12秒

2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 172 sql execute
2016-07-15 16:24:42,177 DEBUG my_mysql.py listsave 173 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) (...
2016-07-15 16:24:54,394 DEBUG my_mysql.py listsave 175 sql executemany num: 128801

executemany十万条 26秒

2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 162 insert into `strategy_set` (`paramete_set_id`,`m`,`n`,`p`,`strategy`,`need_update`) VALUES (%s,%s,%s,%s,%s,%s) ON duplicate KEY UPDATE `need_update`=0
2016-07-15 16:27:57,545 DEBUG my_mysql.py listsave 163 [[37, 1, 2, 10, 'dzyj', 1], [37, 1, 2, 11, 'dzyj', 1], [37, 1, 2, 12, 'dzyj', 1], [37, 1, 2, 13, 'dzyj', 1], [37, 1, 2, 14, 'dzyj', 1], [37, 1, 2, 15, 'dzyj', 1], [37, 1, 2, 16, 'dzyj', 1], [37, 1, 2, 17, 'dzyj', 1], [37, 1, 2, 18, 'dzyj', 1], [37, 1, 2, 19, 'dzyj', 1]]...
2016-07-15 16:28:23,786 DEBUG my_mysql.py listsave 165 sql executemany num: 128801

ps:如果在sql存入或更新数据时不加引号,则默认为数字,再根据数据库中字段的类型进行转换。

如果存入000333到varchar字段中,则会得到333值。

以上这篇将pymysql获取到的数据类型是tuple转化为pandas方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python读写Json涉及到中文的处理方法
Sep 12 Python
Python遍历文件夹和读写文件的实现方法
May 10 Python
python实现批量修改文件名代码
Sep 10 Python
python3 实现对图片进行局部切割的方法
Dec 05 Python
python 产生token及token验证的方法
Dec 26 Python
Python简单基础小程序的实例代码
Apr 28 Python
Python中字符串String的基本内置函数与过滤字符模块函数的基本用法
May 27 Python
python运用sklearn实现KNN分类算法
Oct 16 Python
Python如何使用BeautifulSoup爬取网页信息
Nov 26 Python
python与mysql数据库交互的实现
Jan 06 Python
Django自带用户认证系统使用方法解析
Nov 12 Python
python爬虫用request库处理cookie的实例讲解
Feb 20 Python
python 数据库查询返回list或tuple实例
May 15 #Python
Python基于gevent实现高并发代码实例
May 15 #Python
Django bulk_create()、update()与数据库事务的效率对比分析
May 15 #Python
Python实现aes加密解密多种方法解析
May 15 #Python
django 数据库 get_or_create函数返回值是tuple的问题
May 15 #Python
重写django的model下的objects模型管理器方式
May 15 #Python
Python基于pip实现离线打包过程详解
May 15 #Python
You might like
php自动识别文字编码并转换为目标编码的方法
2015/08/08 PHP
Zend Framework动作助手(Zend_Controller_Action_Helper)用法详解
2016/03/05 PHP
PHP替换Word中变量并导出PDF图片的实现方法
2020/11/26 PHP
jQuery计算textarea中文字数(剩余个数)的小程序
2013/11/28 Javascript
JS实现多物体缓冲运动实例代码
2013/11/29 Javascript
flash遮住div问题的正确解决方法
2014/02/27 Javascript
使用pcs api往免费的百度网盘上传下载文件的方法
2016/03/17 Javascript
js解决movebox移动问题
2016/03/29 Javascript
jQuery获取父元素及父节点的方法小结
2016/04/14 Javascript
Bootstrap Table服务器分页与在线编辑应用总结
2016/08/08 Javascript
js 显示日期时间的实例(时间过一秒加1)
2017/10/25 Javascript
浅谈Node 异步IO和事件循环
2019/05/05 Javascript
js getBoundingClientRect使用方法详解
2019/07/17 Javascript
jQuery中DOM操作原则实例分析
2019/08/01 jQuery
vue动态渲染svg、添加点击事件的实现
2020/03/13 Javascript
对python opencv 添加文字 cv2.putText 的各参数介绍
2018/12/05 Python
在pycharm 中添加运行参数的操作方法
2019/01/19 Python
python 定时任务去检测服务器端口是否通的实例
2019/01/26 Python
Pycharm 2020年最新激活码(亲测有效)
2020/09/18 Python
python opencv 实现对图像边缘扩充
2020/01/19 Python
Python处理PDF与CDF实例
2020/02/26 Python
python 发送get请求接口详解
2020/11/17 Python
详解HTML5表单新增属性
2016/12/21 HTML / CSS
写自荐信的七个技巧
2013/10/15 职场文书
财务会计专业应届毕业生求职信
2013/10/18 职场文书
生态学毕业生自荐信
2013/10/27 职场文书
求职信写作要突出重点
2014/01/01 职场文书
企业法人授权委托书
2014/04/03 职场文书
《天安门广场》教学反思
2014/04/23 职场文书
2014乡镇机关党员个人对照检查材料思想汇报
2014/10/09 职场文书
教师拔河比赛广播稿
2014/10/14 职场文书
2014年度安全工作总结
2014/12/04 职场文书
2015年城管执法工作总结
2015/07/23 职场文书
小学五年级班主任工作经验交流材料
2015/11/02 职场文书
告诉你一个秘密:富人致富的五大优点
2019/07/11 职场文书
python 命令行传参方法总结
2021/05/25 Python