python实现一次性封装多条sql语句(begin end)


Posted in Python onJune 06, 2020

python封装利用begin end执行多条sql

因为业务需求,优化模型运行时间。考虑到sql语句每一次执行都要建立连接,查询,获取数据耗时过多。就想到将sql一起提交上去运行,能够节省很多时间。原本1.6-2.5秒耗时的sql语句经过修改后时间降到0.3-0.6秒,感觉性能提升挺好的。

当然还有一种想法,如果有python框架的orm可能会更快,相比来说耗时基本看不到了吧,这只是我的猜想,仅仅为了优化一个模型写一个框架的话 代码可能需要改的比较多,自我感觉付出和收获不一定会成正比,当然以后有时间可以试试。

这次优化基本代码逻辑没有动,利用了begin end进行sql整合。

公司用的是oracle,之前没用过但是感觉和mysql基本类似,如果是mysql的话该方法也可用

sql_str = ‘begin\n'
sql_str += ‘这里时需要执行的sql语句'
sql_str += ‘\ncommit;end;'

中间sql有多少条无所谓,看了一下运行时间感觉 我的一千行sql耗时 几乎就是这一千行里面耗时最长那个时间。是异步完成还是什么这个就不是很清楚了,主要是一次建立连接,省去网络传输数据和请求数据库的过程

网上好多begin end都是在可视化工具中的sql执行的,并不能在command中执行,这就意味中我们代码中封装的语句没有卵用,还好没放弃当时就研究了一下找到了解决办法

在end 提交一下就ok了,如果在command中运行一直未结束的话加一个 / 斜线就ok了

本次内容就此结束,下面是一些题外话。

在说一个其中遇到的问题吧,在进行sql封装后,其中很多表都很乱,约束很乱 而且逻辑并不严谨,但是模型正在运行还不让动 那只能按照这个规则来了

ORA 00001 违反唯一约束条件 其中出现了这个问题,意思就是唯一约束重复了,因为模型输入问题,处理出来的结果之前可能刚插入到数据库中(也就是 上面的sql_str 出现了两天相同的insert),这个东西很简单,加一个set判断一下就行,但是到这之后,一个bug就跳出来了,这个脚本计算的是因子重要度,结果预测可能每次都不相同,有些数据很小的可能就当成0扔进去了,所以我需要做的是将 相同数据的情况下插入较为重要的因子重要度(也无需要 ),这样的话简简单单的set就不行了,但是也不难 用来一下字典

importance_map = {}
 实现创建好字典
 if feature in importance_map:
        if importance_map[feature] < importance:
          sql_str +=‘***************‘'' 这里就是insert语句了
        else:
          continue
      else:
        importance_map[feature] = importance

其实这个东西也没有什么难点,但是做到这之后就有很多想法折射出来。

数据处理原本也可以用pandas进行,但是pandas是对所有数据进行操作,我一个set只对重复数据进行操作,切pandas内存消耗极为严重,前两天写的特征工程内存炸裂。表数据用完后内存并没有得到释放,这里面就涉及到python的垃圾回收,用法至今没有搞懂,还需要研究研究,gc是对循环引用进行垃圾回收,内存释放。但是这个pandas并不是循环引用,我认为是在存储在缓存区中,位置占死了,就很烦

模型毕竟是在服务器上面跑,尽量快切省内存,不然你把内存占了 别人的项目怎么玩。所以就用这种方法。

很少写博客,主要是记录一下问题以后 再出现了好应对。当然如果能够帮助正在修复bug中的你,也是乐意至极。那块说的有问题或者解释不清楚,可以留言。

补充知识:postgreSQL sql使用 %s时务必加引号,即为‘%s',否则报错

postgre sql使用 %s时务必加引号,即为‘%s',否则报错

if name == ‘main':

t="TDD-LTE_MRO"
sql="select * from lastftp where enbid = %d and keytype = %s"%(110001,t)

print(selectOperate(sql))

结果:

Traceback (most recent call last):
File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 84, in
print(selectOperate(sql))
File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 45, in selectOperate
cursor.execute(sql)
psycopg2.ProgrammingError: column “tdd” does not exist
LINE 1: …* from lastftp where enbid = 110001 and keytype = TDD-LTE_MR…
^

if name == ‘main':

t="TDD-LTE_MRO"
sql="select * from lastftp where enbid = %d and keytype = '%s'"%(110001,t)

print(selectOperate(sql))

结果:

[(‘test3', ‘TDD-LTE_MRO', ‘0114123000', ‘0012', 110001)]
[Finished in 0.1s]

以上这篇python实现一次性封装多条sql语句(begin end)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中装饰器级连的使用方法示例
Sep 29 Python
python使用Flask操作mysql实现登录功能
May 14 Python
python使用opencv对图像mask处理的方法
Jul 05 Python
python用win32gui遍历窗口并设置窗口位置的方法
Jul 26 Python
Python解析json时提示“string indices must be integers”问题解决方法
Jul 31 Python
详解Python打包分发工具setuptools
Aug 05 Python
Anaconda 查看、创建、管理和使用python环境的方法
Dec 03 Python
Python中包的用法及安装
Feb 11 Python
python属于跨平台语言码
Jun 09 Python
如何在Windows中安装多个python解释器
Jun 16 Python
Python基于locals返回作用域字典
Oct 17 Python
Python使用海龟绘图实现贪吃蛇游戏
Jun 18 Python
python 在sql语句中使用%s,%d,%f说明
Jun 06 #Python
解决python 执行sql语句时所传参数含有单引号的问题
Jun 06 #Python
pyMySQL SQL语句传参问题,单个参数或多个参数说明
Jun 06 #Python
python 解决mysql where in 对列表(list,,array)问题
Jun 06 #Python
在python中使用pyspark读写Hive数据操作
Jun 06 #Python
使用Python构造hive insert语句说明
Jun 06 #Python
Python通过kerberos安全认证操作kafka方式
Jun 06 #Python
You might like
自己动手,丰衣足食 - 短波框形天线制作
2021/03/01 无线电
js下函数般调用正则的方法附代码
2008/06/22 PHP
thinkPHP框架RBAC实现原理分析
2019/02/01 PHP
JavaScript转换农历类实现及调用方法
2013/01/27 Javascript
ExtJS4 Grid改变单元格背景颜色及Column render学习
2013/02/06 Javascript
js将long日期格式转换为标准日期格式实现思路
2013/04/07 Javascript
鼠标移动到图片名上,显示图片的简单实例
2013/07/14 Javascript
js判断页面中是否有指定控件的简单实例
2014/03/04 Javascript
jquery中checkbox全选失效的解决方法
2014/12/26 Javascript
js的各种排序算法实现(总结)
2016/07/23 Javascript
微信小程序城市定位的实现实例(获取当前所在国家城市信息)
2017/05/17 Javascript
Textarea输入字数限制实例(兼容iOS&amp;安卓)
2017/07/06 Javascript
JS中跳出循环的示例代码
2017/09/14 Javascript
nodejs 最新版安装npm 的使用详解
2018/01/18 NodeJs
详解在vue-cli项目下简单使用mockjs模拟数据
2018/10/19 Javascript
js实现图片推拉门效果代码实例
2019/05/18 Javascript
vue element-ui table组件动态生成表头和数据并修改单元格格式 父子组件通信
2019/08/15 Javascript
使用Typescript开发微信小程序的步骤详解
2021/01/12 Javascript
Python中几个比较常见的名词解释
2015/07/04 Python
如何处理Python3.4 使用pymssql 乱码问题
2016/01/08 Python
Python 爬虫学习笔记之多线程爬虫
2016/09/21 Python
Python之Web框架Django项目搭建全过程
2017/05/02 Python
python实现朴素贝叶斯分类器
2018/03/28 Python
Python如何获取Win7,Win10系统缩放大小
2020/01/10 Python
python实现门限回归方式
2020/02/29 Python
Python读取yaml文件的详细教程
2020/07/21 Python
浅析Python 多行匹配模式
2020/07/24 Python
Python lxml库的简单介绍及基本使用讲解
2020/12/22 Python
中东奢侈品购物网站:Ounass
2020/09/02 全球购物
控制工程专业个人求职信
2013/09/25 职场文书
《一件运动衫》教学反思
2014/02/19 职场文书
销售队伍口号
2014/06/11 职场文书
私人房屋买卖协议书
2014/10/04 职场文书
部队2015年终工作总结
2015/04/02 职场文书
人代会简报
2015/07/21 职场文书
mysql聚集索引、辅助索引、覆盖索引、联合索引的使用
2022/02/12 MySQL