python实现自动化报表功能(Oracle/plsql/Excel/多线程)


Posted in Python onDecember 02, 2019

日常会有很多固定报表需要手动更新,本文将利用python实现多线程运行oracle代码,并利用xlwings包和numpy包将结果写入到指定excel模版(不改变模版内容),并自动生成带日期命名的新excel。此外还添加了logging模块记录运行日志,以及利用try…except实现遇到错误自动重新运行。下面将介绍整个自动化的实现过程。

# -*- coding: utf-8 -*-
# Create time: 2019-10-16
# Update time: 2019-11-28
# Version: 1.0
# Version: 2.0 增加多线程/出错自动重新运行模块
# 导入模块
import cx_Oracle
import os
import pandas as pd
import pandas.io.sql as sql
import time
import openpyxl
import xlwings as xw
import logging 
import re
import threading
# 获取工作目录
sqlpath = os.getcwd() + '\\' # 获取当前文件夹目录,若不正确则使用后面的代码直接输入 sqlpath = 'E:\\'
# 设置运行日志
logging.basicConfig(format='%(asctime)s - %(pathname)s] - %(levelname)s: %(message)s', level=logging.INFO, filename=sqlpath+'log.txt')
# 获取系统日期(用于命名文件)
time_start=time.time()
date = time.strftime("%Y%m%d")
# 定义变量
name = '经营日报' # 模版名称
print('开始运行: %s' %name)
# sql代码文件名
sql1 = sqlpath + 'hangxian_ri.sql'
sql2 = sqlpath + 'hangxian_zhou.sql'
sql3 = sqlpath + 'hangxian_yue.sql'
# 定义空DataFrame(函数中要使用,必须要先定义)
result1 = pd.DataFrame()
result2 = pd.DataFrame()
result3 = pd.DataFrame()
# 定义可以读取运行sql的函数
def read_run_write1(sql_name):
  global result1 # 调用全局变量result1,使用global才能对全局变量进行修改
  print('正在运行代码: %s' %sql_name)
  with open(sql_name,encoding='utf-8-sig',mode='r') as f: # 读取oracle代码,中文编码utf-8-sig,
    sql_list = f.read()
    sql_list = re.sub(r'--.*', '', sql_list) # 去除注释
  connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')
  code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号
  for i in range(5): # 运行oracle代码,若运行失败则10秒自动重新运行
    try:
      result1 = sql.read_sql(code, connection) # 利用pd包的read_sql函数运行代码,返回DataFrame类型的结果
      break # 代码运行成功则跳出循环
    except:
      print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))
      time.sleep(10) # 代码运行失败则10秒后再重新运行
  print('代码运行完成: %s' %sql_name)

def read_run_write2(sql_name):
  global result2
  print('正在运行代码: %s' %sql_name)
  with open(sql_name,encoding='utf-8-sig',mode='r') as f:
    sql_list = f.read()
    sql_list = re.sub(r'--.*', '', sql_list) # 去除注释
  connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')
  code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号
  for i in range(5):
    try:
      result2 = sql.read_sql(code, connection)
      break
    except:
      print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))
      time.sleep(10)
  print('代码运行完成: %s' % sql_name)

def read_run_write3(sql_name):
  global result3
  print('正在运行代码: %s' %sql_name)
  with open(sql_name,encoding='utf-8-sig',mode='r') as f:
    sql_list = f.read()
    sql_list = re.sub(r'--.*', '', sql_list) # 去除注释
  connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')
  code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号
  for i in range(5): 
    try:
      result3 = sql.read_sql(code, connection)
      break
    except:
      print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))
      time.sleep(10)
  print('代码运行完成: %s' % sql_name)

# 多线程运行sql代码
if __name__ == '__main__':
  t1 = threading.Thread(target=read_run_write1, args=(sql1,)) # 调用函数,并传递参数sql1,注意当只有一个参数时,参数后面需要有逗号
  t2 = threading.Thread(target=read_run_write2, args=(sql2,))
  t3 = threading.Thread(target=read_run_write3, args=(sql3,))
  t1.start() # 开始运行
  t2.start()
  t3.start()
  t1.join() # 加入线程,若无join()则运行完一个主线程后则会自动跳出,运行下面的代码,而不会等待其他线程运行完成
  t2.join()
  t3.join()

# 写入数据
print('正在写入数据')
app = xw.App(visible=False,add_book=False) # visible=False后台打开Excel程序
wb = app.books.open(sqlpath+name+'.xlsx') # 打开给定只保留标题和公式的空模版
wb.sheets['单日'].range('A4').options(expand='table').value=result1[:].values # result[:].values写法可以去掉索引和标题,将result1写入到表格'单日',从A4单元格开始
wb.sheets['滚动一周'].range('A4').options(expand='table').value=result2[:].values
wb.sheets['月累计'].range('A4').options(expand='table').value=result3[:].values
filename = sqlpath+name+date+'.xlsx' # 命名新生成的excel
wb.save(filename) # 另存为新Excel,不改变模版
wb.close() # 关闭工作簿
print(filename+'已自动生成') 
time_end=time.time() 
print("程序运行时间:%.2f s" % (time_end-time_start)) 
logging.info("程序运行时间:%.2f s" % (time_end-time_start)) # 记录程序运行时间到运行日志log.txt中

python自动化中的一些难点

  • 多线程无法同时对excel进行写入操作,如果直接在函数中运行完成后直接写入,并利用多线程运行,会报错com模块冲突
  • 为了解决函数不能直接生成结果变量的问题, 应先定义空DataFrame,并在函数中global声明为调用全局变量才能达到运行完函数生成变量的效果(可能还有其他更好方法)

运行结果

python实现自动化报表功能(Oracle/plsql/Excel/多线程)

总结

以上所述是小编给大家介绍的python实现自动化报表(Oracle/plsql/Excel/多线程),希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
一个简单的python爬虫程序 爬取豆瓣热度Top100以内的电影信息
Apr 17 Python
Python 数据处理库 pandas 入门教程基本操作
Apr 19 Python
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
Jun 06 Python
python如何生成网页验证码
Jul 28 Python
Python3实现腾讯云OCR识别
Nov 27 Python
Python和Go语言的区别总结
Feb 20 Python
wxPython+Matplotlib绘制折线图表
Nov 19 Python
Python+OpenCV+图片旋转并用原底色填充新四角的例子
Dec 12 Python
Python如何使用turtle库绘制图形
Feb 26 Python
Python 字节流,字符串,十六进制相互转换实例(binascii,bytes)
May 11 Python
python可迭代对象去重实例
May 15 Python
python模板入门教程之flask Jinja
Apr 11 Python
Python中类似于jquery的pyquery库用法分析
Dec 02 #Python
python 检查数据中是否有缺失值,删除缺失值的方式
Dec 02 #Python
python实现两个字典合并,两个list合并
Dec 02 #Python
Python:合并两个numpy矩阵的实现
Dec 02 #Python
DataFrame.to_excel多次写入不同Sheet的实例
Dec 02 #Python
python实现数据清洗(缺失值与异常值处理)
Dec 02 #Python
python字符串反转的四种方法详解
Dec 02 #Python
You might like
基于PHP服务端图片生成缩略图的方法详解
2013/06/20 PHP
Thinkphp中import的几个用法详细介绍
2014/07/02 PHP
javascript实现仿银行密码输入框效果的代码
2007/12/13 Javascript
javascript 处理HTML元素必须避免使用的一种方法
2009/07/30 Javascript
javascript textarea光标定位方法(兼容IE和FF)
2011/03/12 Javascript
JS中实现replaceAll的方法(实例代码)
2013/11/12 Javascript
tangram框架响应式加载图片方法
2013/11/21 Javascript
关于javascript模块加载技术的一些思考
2014/11/28 Javascript
js获取域名的方法
2015/01/27 Javascript
3个可以改善用户体验的AngularJS指令介绍
2015/06/18 Javascript
在javascript中随机数 math random如何生成指定范围数值的随机数
2015/10/21 Javascript
新入门node.js必须要知道的概念(必看篇)
2016/08/10 Javascript
js实现消息滚动效果
2017/01/18 Javascript
Node.js 异步异常的处理与domain模块解析
2017/05/10 Javascript
vue2中filter()的实现代码
2017/07/09 Javascript
jquery如何实现点击空白处隐藏元素
2017/12/05 jQuery
浅谈jquery fullpage 插件增加头部和版权的方法
2018/03/20 jQuery
Cookbook组件形式:优化 Vue 组件的运行时性能
2018/11/25 Javascript
JS原型与继承操作示例
2019/05/09 Javascript
layer.js open 隐藏滚动条的例子
2019/09/05 Javascript
python中元类用法实例
2014/10/10 Python
Python 基础教程之包和类的用法
2017/02/23 Python
python获取Pandas列名的几种方法
2019/08/07 Python
python创建n行m列数组示例
2019/12/02 Python
django框架中ajax的使用及避开CSRF 验证的方式详解
2019/12/11 Python
pytorch三层全连接层实现手写字母识别方式
2020/01/14 Python
python3 简单实现组合设计模式
2020/07/02 Python
Python常用类型转换实现代码实例
2020/07/28 Python
网页布局中CSS样式无效的十个重要原因详解
2017/08/10 HTML / CSS
俄罗斯儿童和青少年服装、鞋子及配件的在线商店:Orby
2020/02/20 全球购物
什么是lambda函数
2013/09/17 面试题
开办加工厂创业计划书
2014/01/03 职场文书
质量在我心中演讲稿
2014/09/02 职场文书
一文搞懂php的垃圾回收机制
2021/06/18 PHP
服务器SVN搭建图文安装过程
2022/06/21 Servers
python中validators库的使用方法详解
2022/09/23 Python