python实现一次性封装多条sql语句(begin end)


Posted in Python onJune 06, 2020

python封装利用begin end执行多条sql

因为业务需求,优化模型运行时间。考虑到sql语句每一次执行都要建立连接,查询,获取数据耗时过多。就想到将sql一起提交上去运行,能够节省很多时间。原本1.6-2.5秒耗时的sql语句经过修改后时间降到0.3-0.6秒,感觉性能提升挺好的。

当然还有一种想法,如果有python框架的orm可能会更快,相比来说耗时基本看不到了吧,这只是我的猜想,仅仅为了优化一个模型写一个框架的话 代码可能需要改的比较多,自我感觉付出和收获不一定会成正比,当然以后有时间可以试试。

这次优化基本代码逻辑没有动,利用了begin end进行sql整合。

公司用的是oracle,之前没用过但是感觉和mysql基本类似,如果是mysql的话该方法也可用

sql_str = ‘begin\n'
sql_str += ‘这里时需要执行的sql语句'
sql_str += ‘\ncommit;end;'

中间sql有多少条无所谓,看了一下运行时间感觉 我的一千行sql耗时 几乎就是这一千行里面耗时最长那个时间。是异步完成还是什么这个就不是很清楚了,主要是一次建立连接,省去网络传输数据和请求数据库的过程

网上好多begin end都是在可视化工具中的sql执行的,并不能在command中执行,这就意味中我们代码中封装的语句没有卵用,还好没放弃当时就研究了一下找到了解决办法

在end 提交一下就ok了,如果在command中运行一直未结束的话加一个 / 斜线就ok了

本次内容就此结束,下面是一些题外话。

在说一个其中遇到的问题吧,在进行sql封装后,其中很多表都很乱,约束很乱 而且逻辑并不严谨,但是模型正在运行还不让动 那只能按照这个规则来了

ORA 00001 违反唯一约束条件 其中出现了这个问题,意思就是唯一约束重复了,因为模型输入问题,处理出来的结果之前可能刚插入到数据库中(也就是 上面的sql_str 出现了两天相同的insert),这个东西很简单,加一个set判断一下就行,但是到这之后,一个bug就跳出来了,这个脚本计算的是因子重要度,结果预测可能每次都不相同,有些数据很小的可能就当成0扔进去了,所以我需要做的是将 相同数据的情况下插入较为重要的因子重要度(也无需要 ),这样的话简简单单的set就不行了,但是也不难 用来一下字典

importance_map = {}
 实现创建好字典
 if feature in importance_map:
        if importance_map[feature] < importance:
          sql_str +=‘***************‘'' 这里就是insert语句了
        else:
          continue
      else:
        importance_map[feature] = importance

其实这个东西也没有什么难点,但是做到这之后就有很多想法折射出来。

数据处理原本也可以用pandas进行,但是pandas是对所有数据进行操作,我一个set只对重复数据进行操作,切pandas内存消耗极为严重,前两天写的特征工程内存炸裂。表数据用完后内存并没有得到释放,这里面就涉及到python的垃圾回收,用法至今没有搞懂,还需要研究研究,gc是对循环引用进行垃圾回收,内存释放。但是这个pandas并不是循环引用,我认为是在存储在缓存区中,位置占死了,就很烦

模型毕竟是在服务器上面跑,尽量快切省内存,不然你把内存占了 别人的项目怎么玩。所以就用这种方法。

很少写博客,主要是记录一下问题以后 再出现了好应对。当然如果能够帮助正在修复bug中的你,也是乐意至极。那块说的有问题或者解释不清楚,可以留言。

补充知识:postgreSQL sql使用 %s时务必加引号,即为‘%s',否则报错

postgre sql使用 %s时务必加引号,即为‘%s',否则报错

if name == ‘main':

t="TDD-LTE_MRO"
sql="select * from lastftp where enbid = %d and keytype = %s"%(110001,t)

print(selectOperate(sql))

结果:

Traceback (most recent call last):
File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 84, in
print(selectOperate(sql))
File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 45, in selectOperate
cursor.execute(sql)
psycopg2.ProgrammingError: column “tdd” does not exist
LINE 1: …* from lastftp where enbid = 110001 and keytype = TDD-LTE_MR…
^

if name == ‘main':

t="TDD-LTE_MRO"
sql="select * from lastftp where enbid = %d and keytype = '%s'"%(110001,t)

print(selectOperate(sql))

结果:

[(‘test3', ‘TDD-LTE_MRO', ‘0114123000', ‘0012', 110001)]
[Finished in 0.1s]

以上这篇python实现一次性封装多条sql语句(begin end)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详解Python中的多线程编程
Apr 09 Python
Python 的类、继承和多态详解
Jul 16 Python
Python编写一个优美的下载器
Apr 15 Python
python logging日志模块以及多进程日志详解
Apr 18 Python
Vue的el-scrollbar实现自定义滚动
May 29 Python
python从入门到精通 windows安装python图文教程
May 18 Python
Python实现将蓝底照片转化为白底照片功能完整实例
Dec 13 Python
详解python中各种文件打开模式
Jan 19 Python
Python Numpy 控制台完全输出ndarray的实现
Feb 19 Python
Django中FilePathField字段的用法
May 21 Python
关于keras中keras.layers.merge的用法说明
May 23 Python
python 爬虫如何正确的使用cookie
Oct 27 Python
python 在sql语句中使用%s,%d,%f说明
Jun 06 #Python
解决python 执行sql语句时所传参数含有单引号的问题
Jun 06 #Python
pyMySQL SQL语句传参问题,单个参数或多个参数说明
Jun 06 #Python
python 解决mysql where in 对列表(list,,array)问题
Jun 06 #Python
在python中使用pyspark读写Hive数据操作
Jun 06 #Python
使用Python构造hive insert语句说明
Jun 06 #Python
Python通过kerberos安全认证操作kafka方式
Jun 06 #Python
You might like
一个简洁的多级别论坛
2006/10/09 PHP
PHP Zip解压 文件在线解压缩的函数代码
2010/05/26 PHP
mcrypt启用 加密以及解密过程详细解析
2013/08/07 PHP
PHP获取文件相对路径的方法
2015/02/26 PHP
PHP asXML()函数讲解
2019/02/03 PHP
javascript 面向对象编程基础 多态
2009/08/21 Javascript
javascript OFFICE控件测试代码
2009/12/08 Javascript
firefox下jQuery UI Autocomplete 1.8.*中文输入修正方法
2012/09/19 Javascript
jquery实现鼠标滑过显示提示框的方法
2015/02/05 Javascript
如何实现chrome浏览器关闭页面时弹出“确定要离开此面吗?”
2015/03/05 Javascript
javascript字符串循环匹配实例分析
2015/07/17 Javascript
使用javaScript动态加载Js文件和Css文件
2015/10/24 Javascript
关于Webpack dev server热加载失败的解决方法
2018/02/22 Javascript
Bootbox将后台JSON数据填充Form表单的实例代码
2018/09/10 Javascript
angularJs中json数据转换与本地存储的实例
2018/10/08 Javascript
Vue CLI 2.x搭建vue(目录最全分析)
2019/02/27 Javascript
详解JavaScript中的坐标和距离
2019/05/27 Javascript
[01:24:16]2018DOTA2亚洲邀请赛 4.6 全明星赛
2018/04/10 DOTA
[01:03:22]LGD vs OG 2018国际邀请赛淘汰赛BO3 第一场 8.25
2018/08/29 DOTA
python3 面向对象__类的内置属性与方法的实例代码
2018/11/09 Python
Python功能点实现:函数级/代码块级计时器
2019/01/02 Python
django中瀑布流写法实例代码
2019/10/14 Python
利用python实现冒泡排序算法实例代码
2019/12/01 Python
Python彻底删除文件夹及其子文件方式
2019/12/23 Python
Python sorted排序方法如何实现
2020/03/31 Python
美国领先的汽车轮胎和轮毂供应商:TireBuyer
2016/07/21 全球购物
NYX Professional Makeup俄罗斯官网:世界知名的化妆品品牌
2019/12/26 全球购物
十八大报告观后感
2014/01/28 职场文书
立志成才演讲稿
2014/09/04 职场文书
2014年幼儿园教学工作总结
2014/12/04 职场文书
初中学生操行评语
2014/12/26 职场文书
初中教师个人总结
2015/02/10 职场文书
免职通知
2015/04/23 职场文书
谢师宴家长答谢词
2015/09/30 职场文书
2016年端午节校园广播稿
2015/12/18 职场文书
MySQL sql_mode的使用详解
2021/05/08 MySQL