python实现自动化报表功能(Oracle/plsql/Excel/多线程)


Posted in Python onDecember 02, 2019

日常会有很多固定报表需要手动更新,本文将利用python实现多线程运行oracle代码,并利用xlwings包和numpy包将结果写入到指定excel模版(不改变模版内容),并自动生成带日期命名的新excel。此外还添加了logging模块记录运行日志,以及利用try…except实现遇到错误自动重新运行。下面将介绍整个自动化的实现过程。

# -*- coding: utf-8 -*-
# Create time: 2019-10-16
# Update time: 2019-11-28
# Version: 1.0
# Version: 2.0 增加多线程/出错自动重新运行模块
# 导入模块
import cx_Oracle
import os
import pandas as pd
import pandas.io.sql as sql
import time
import openpyxl
import xlwings as xw
import logging 
import re
import threading
# 获取工作目录
sqlpath = os.getcwd() + '\\' # 获取当前文件夹目录,若不正确则使用后面的代码直接输入 sqlpath = 'E:\\'
# 设置运行日志
logging.basicConfig(format='%(asctime)s - %(pathname)s] - %(levelname)s: %(message)s', level=logging.INFO, filename=sqlpath+'log.txt')
# 获取系统日期(用于命名文件)
time_start=time.time()
date = time.strftime("%Y%m%d")
# 定义变量
name = '经营日报' # 模版名称
print('开始运行: %s' %name)
# sql代码文件名
sql1 = sqlpath + 'hangxian_ri.sql'
sql2 = sqlpath + 'hangxian_zhou.sql'
sql3 = sqlpath + 'hangxian_yue.sql'
# 定义空DataFrame(函数中要使用,必须要先定义)
result1 = pd.DataFrame()
result2 = pd.DataFrame()
result3 = pd.DataFrame()
# 定义可以读取运行sql的函数
def read_run_write1(sql_name):
  global result1 # 调用全局变量result1,使用global才能对全局变量进行修改
  print('正在运行代码: %s' %sql_name)
  with open(sql_name,encoding='utf-8-sig',mode='r') as f: # 读取oracle代码,中文编码utf-8-sig,
    sql_list = f.read()
    sql_list = re.sub(r'--.*', '', sql_list) # 去除注释
  connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')
  code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号
  for i in range(5): # 运行oracle代码,若运行失败则10秒自动重新运行
    try:
      result1 = sql.read_sql(code, connection) # 利用pd包的read_sql函数运行代码,返回DataFrame类型的结果
      break # 代码运行成功则跳出循环
    except:
      print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))
      time.sleep(10) # 代码运行失败则10秒后再重新运行
  print('代码运行完成: %s' %sql_name)

def read_run_write2(sql_name):
  global result2
  print('正在运行代码: %s' %sql_name)
  with open(sql_name,encoding='utf-8-sig',mode='r') as f:
    sql_list = f.read()
    sql_list = re.sub(r'--.*', '', sql_list) # 去除注释
  connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')
  code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号
  for i in range(5):
    try:
      result2 = sql.read_sql(code, connection)
      break
    except:
      print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))
      time.sleep(10)
  print('代码运行完成: %s' % sql_name)

def read_run_write3(sql_name):
  global result3
  print('正在运行代码: %s' %sql_name)
  with open(sql_name,encoding='utf-8-sig',mode='r') as f:
    sql_list = f.read()
    sql_list = re.sub(r'--.*', '', sql_list) # 去除注释
  connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')
  code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号
  for i in range(5): 
    try:
      result3 = sql.read_sql(code, connection)
      break
    except:
      print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))
      time.sleep(10)
  print('代码运行完成: %s' % sql_name)

# 多线程运行sql代码
if __name__ == '__main__':
  t1 = threading.Thread(target=read_run_write1, args=(sql1,)) # 调用函数,并传递参数sql1,注意当只有一个参数时,参数后面需要有逗号
  t2 = threading.Thread(target=read_run_write2, args=(sql2,))
  t3 = threading.Thread(target=read_run_write3, args=(sql3,))
  t1.start() # 开始运行
  t2.start()
  t3.start()
  t1.join() # 加入线程,若无join()则运行完一个主线程后则会自动跳出,运行下面的代码,而不会等待其他线程运行完成
  t2.join()
  t3.join()

# 写入数据
print('正在写入数据')
app = xw.App(visible=False,add_book=False) # visible=False后台打开Excel程序
wb = app.books.open(sqlpath+name+'.xlsx') # 打开给定只保留标题和公式的空模版
wb.sheets['单日'].range('A4').options(expand='table').value=result1[:].values # result[:].values写法可以去掉索引和标题,将result1写入到表格'单日',从A4单元格开始
wb.sheets['滚动一周'].range('A4').options(expand='table').value=result2[:].values
wb.sheets['月累计'].range('A4').options(expand='table').value=result3[:].values
filename = sqlpath+name+date+'.xlsx' # 命名新生成的excel
wb.save(filename) # 另存为新Excel,不改变模版
wb.close() # 关闭工作簿
print(filename+'已自动生成') 
time_end=time.time() 
print("程序运行时间:%.2f s" % (time_end-time_start)) 
logging.info("程序运行时间:%.2f s" % (time_end-time_start)) # 记录程序运行时间到运行日志log.txt中

python自动化中的一些难点

  • 多线程无法同时对excel进行写入操作,如果直接在函数中运行完成后直接写入,并利用多线程运行,会报错com模块冲突
  • 为了解决函数不能直接生成结果变量的问题, 应先定义空DataFrame,并在函数中global声明为调用全局变量才能达到运行完函数生成变量的效果(可能还有其他更好方法)

运行结果

python实现自动化报表功能(Oracle/plsql/Excel/多线程)

总结

以上所述是小编给大家介绍的python实现自动化报表(Oracle/plsql/Excel/多线程),希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python 拷贝对象(深拷贝deepcopy与浅拷贝copy)
Sep 06 Python
Python实现查找系统盘中需要找的字符
Jul 14 Python
Python实现网站注册验证码生成类
Jun 08 Python
python调用API实现智能回复机器人
Apr 10 Python
对python中的 os.mkdir和os.mkdirs详解
Oct 16 Python
使用python读取.text文件特定行的数据方法
Jan 28 Python
Python3.5 Pandas模块缺失值处理和层次索引实例详解
Apr 23 Python
用python给自己做一款小说阅读器过程详解
Jul 11 Python
Django实现前台上传并显示图片功能
May 29 Python
python中加背景音乐如何操作
Jul 19 Python
Python下载网易云歌单歌曲的示例代码
Aug 12 Python
用60行代码实现Python自动抢微信红包
Feb 04 Python
Python中类似于jquery的pyquery库用法分析
Dec 02 #Python
python 检查数据中是否有缺失值,删除缺失值的方式
Dec 02 #Python
python实现两个字典合并,两个list合并
Dec 02 #Python
Python:合并两个numpy矩阵的实现
Dec 02 #Python
DataFrame.to_excel多次写入不同Sheet的实例
Dec 02 #Python
python实现数据清洗(缺失值与异常值处理)
Dec 02 #Python
python字符串反转的四种方法详解
Dec 02 #Python
You might like
php地址引用(php地址引用的效率问题)
2012/03/23 PHP
PHP实现随机发扑克牌
2020/04/22 PHP
PHP使用Http Post请求发送Json对象数据代码解析
2020/07/16 PHP
用php实现分页效果的示例代码
2020/12/10 PHP
Jquery AJAX 用于计算点击率(统计)
2010/06/30 Javascript
jquery获取元素值的方法(常见的表单元素)
2013/11/15 Javascript
jQuery实用技巧必备(中)
2015/11/03 Javascript
原生JavaScript实现动态省市县三级联动下拉框菜单实例代码
2016/02/03 Javascript
jQuery事件绑定on()与弹窗实现代码
2016/04/28 Javascript
详细讲解JavaScript中的this绑定
2016/10/10 Javascript
基于JS实现横线提示输入验证码随验证码输入消失(js验证码的实现)
2016/10/27 Javascript
零基础轻松学JavaScript闭包
2016/12/30 Javascript
利用JavaScript在网页实现八数码启发式A*算法动画效果
2017/04/16 Javascript
js中变量的连续赋值(实例讲解)
2017/07/08 Javascript
zTree节点文字过多的处理方法
2017/11/24 Javascript
详解vue指令与$nextTick 操作DOM的不同之处
2018/08/02 Javascript
vue-cli项目使用mock数据的方法(借助express)
2019/04/15 Javascript
浅谈Vue3.0之前你必须知道的TypeScript实战技巧
2019/09/11 Javascript
vue实现点击按钮下载文件功能
2019/10/11 Javascript
python re正则表达式模块(Regular Expression)
2014/07/16 Python
分析在Python中何种情况下需要使用断言
2015/04/01 Python
浅谈python中的getattr函数 hasattr函数
2016/06/14 Python
Python实现购物车功能的方法分析
2017/11/10 Python
Python简单生成随机姓名的方法示例
2017/12/27 Python
Python3内置模块之base64编解码方法详解
2019/07/13 Python
Django REST 异常处理详解
2020/07/15 Python
Python可视化工具如何实现动态图表
2020/10/23 Python
python实现三壶谜题的示例详解
2020/11/02 Python
python中zip()函数遍历多个列表方法
2021/02/18 Python
css3动画效果小结(推荐)
2016/07/25 HTML / CSS
浅谈移动端网页图片预加载方案
2018/11/05 HTML / CSS
喝酒检查书范文
2014/02/23 职场文书
企业家王石演讲稿:坚持与放下
2014/04/27 职场文书
根叔历年演讲稿
2014/05/20 职场文书
责任担保书范文
2014/05/21 职场文书
导游带团欢迎词
2015/09/30 职场文书