python实现自动化报表功能(Oracle/plsql/Excel/多线程)


Posted in Python onDecember 02, 2019

日常会有很多固定报表需要手动更新,本文将利用python实现多线程运行oracle代码,并利用xlwings包和numpy包将结果写入到指定excel模版(不改变模版内容),并自动生成带日期命名的新excel。此外还添加了logging模块记录运行日志,以及利用try…except实现遇到错误自动重新运行。下面将介绍整个自动化的实现过程。

# -*- coding: utf-8 -*-
# Create time: 2019-10-16
# Update time: 2019-11-28
# Version: 1.0
# Version: 2.0 增加多线程/出错自动重新运行模块
# 导入模块
import cx_Oracle
import os
import pandas as pd
import pandas.io.sql as sql
import time
import openpyxl
import xlwings as xw
import logging 
import re
import threading
# 获取工作目录
sqlpath = os.getcwd() + '\\' # 获取当前文件夹目录,若不正确则使用后面的代码直接输入 sqlpath = 'E:\\'
# 设置运行日志
logging.basicConfig(format='%(asctime)s - %(pathname)s] - %(levelname)s: %(message)s', level=logging.INFO, filename=sqlpath+'log.txt')
# 获取系统日期(用于命名文件)
time_start=time.time()
date = time.strftime("%Y%m%d")
# 定义变量
name = '经营日报' # 模版名称
print('开始运行: %s' %name)
# sql代码文件名
sql1 = sqlpath + 'hangxian_ri.sql'
sql2 = sqlpath + 'hangxian_zhou.sql'
sql3 = sqlpath + 'hangxian_yue.sql'
# 定义空DataFrame(函数中要使用,必须要先定义)
result1 = pd.DataFrame()
result2 = pd.DataFrame()
result3 = pd.DataFrame()
# 定义可以读取运行sql的函数
def read_run_write1(sql_name):
  global result1 # 调用全局变量result1,使用global才能对全局变量进行修改
  print('正在运行代码: %s' %sql_name)
  with open(sql_name,encoding='utf-8-sig',mode='r') as f: # 读取oracle代码,中文编码utf-8-sig,
    sql_list = f.read()
    sql_list = re.sub(r'--.*', '', sql_list) # 去除注释
  connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')
  code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号
  for i in range(5): # 运行oracle代码,若运行失败则10秒自动重新运行
    try:
      result1 = sql.read_sql(code, connection) # 利用pd包的read_sql函数运行代码,返回DataFrame类型的结果
      break # 代码运行成功则跳出循环
    except:
      print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))
      time.sleep(10) # 代码运行失败则10秒后再重新运行
  print('代码运行完成: %s' %sql_name)

def read_run_write2(sql_name):
  global result2
  print('正在运行代码: %s' %sql_name)
  with open(sql_name,encoding='utf-8-sig',mode='r') as f:
    sql_list = f.read()
    sql_list = re.sub(r'--.*', '', sql_list) # 去除注释
  connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')
  code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号
  for i in range(5):
    try:
      result2 = sql.read_sql(code, connection)
      break
    except:
      print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))
      time.sleep(10)
  print('代码运行完成: %s' % sql_name)

def read_run_write3(sql_name):
  global result3
  print('正在运行代码: %s' %sql_name)
  with open(sql_name,encoding='utf-8-sig',mode='r') as f:
    sql_list = f.read()
    sql_list = re.sub(r'--.*', '', sql_list) # 去除注释
  connection = cx_Oracle.connect('账号/密码@IP地址/数据库名称')
  code = sql_list.replace('\n', ' ').replace(';','') # 将换行符转为空格,去除分号
  for i in range(5): 
    try:
      result3 = sql.read_sql(code, connection)
      break
    except:
      print('代码%s运行出错,正在重新运行第%d次' %(sql_name,(i+1)))
      time.sleep(10)
  print('代码运行完成: %s' % sql_name)

# 多线程运行sql代码
if __name__ == '__main__':
  t1 = threading.Thread(target=read_run_write1, args=(sql1,)) # 调用函数,并传递参数sql1,注意当只有一个参数时,参数后面需要有逗号
  t2 = threading.Thread(target=read_run_write2, args=(sql2,))
  t3 = threading.Thread(target=read_run_write3, args=(sql3,))
  t1.start() # 开始运行
  t2.start()
  t3.start()
  t1.join() # 加入线程,若无join()则运行完一个主线程后则会自动跳出,运行下面的代码,而不会等待其他线程运行完成
  t2.join()
  t3.join()

# 写入数据
print('正在写入数据')
app = xw.App(visible=False,add_book=False) # visible=False后台打开Excel程序
wb = app.books.open(sqlpath+name+'.xlsx') # 打开给定只保留标题和公式的空模版
wb.sheets['单日'].range('A4').options(expand='table').value=result1[:].values # result[:].values写法可以去掉索引和标题,将result1写入到表格'单日',从A4单元格开始
wb.sheets['滚动一周'].range('A4').options(expand='table').value=result2[:].values
wb.sheets['月累计'].range('A4').options(expand='table').value=result3[:].values
filename = sqlpath+name+date+'.xlsx' # 命名新生成的excel
wb.save(filename) # 另存为新Excel,不改变模版
wb.close() # 关闭工作簿
print(filename+'已自动生成') 
time_end=time.time() 
print("程序运行时间:%.2f s" % (time_end-time_start)) 
logging.info("程序运行时间:%.2f s" % (time_end-time_start)) # 记录程序运行时间到运行日志log.txt中

python自动化中的一些难点

  • 多线程无法同时对excel进行写入操作,如果直接在函数中运行完成后直接写入,并利用多线程运行,会报错com模块冲突
  • 为了解决函数不能直接生成结果变量的问题, 应先定义空DataFrame,并在函数中global声明为调用全局变量才能达到运行完函数生成变量的效果(可能还有其他更好方法)

运行结果

python实现自动化报表功能(Oracle/plsql/Excel/多线程)

总结

以上所述是小编给大家介绍的python实现自动化报表(Oracle/plsql/Excel/多线程),希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python实现文件名批量替换和内容替换
Mar 20 Python
使用Python脚本将文字转换为图片的实例分享
Aug 29 Python
Python中内置数据类型list,tuple,dict,set的区别和用法
Dec 14 Python
Python如何判断数独是否合法
Sep 08 Python
将Dataframe数据转化为ndarry数据的方法
Jun 28 Python
python实现嵌套列表平铺的两种方法
Nov 08 Python
Python中numpy模块常见用法demo实例小结
Mar 16 Python
浅谈tensorflow中张量的提取值和赋值
Jan 19 Python
Django实现将一个字典传到前端显示出来
Apr 03 Python
keras 自定义loss损失函数,sample在loss上的加权和metric详解
May 23 Python
Python图像阈值化处理及算法比对实例解析
Jun 19 Python
Python如何实现感知器的逻辑电路
Dec 25 Python
Python中类似于jquery的pyquery库用法分析
Dec 02 #Python
python 检查数据中是否有缺失值,删除缺失值的方式
Dec 02 #Python
python实现两个字典合并,两个list合并
Dec 02 #Python
Python:合并两个numpy矩阵的实现
Dec 02 #Python
DataFrame.to_excel多次写入不同Sheet的实例
Dec 02 #Python
python实现数据清洗(缺失值与异常值处理)
Dec 02 #Python
python字符串反转的四种方法详解
Dec 02 #Python
You might like
PHP批量去除BOM头内容信息代码
2016/03/11 PHP
AES加解密在php接口请求过程中的应用示例
2016/10/26 PHP
关于php 高并发解决的一点思路
2017/04/16 PHP
Laravel框架实现多个视图共享相同数据的方法详解
2019/07/09 PHP
Ext JS 4官方文档之三 -- 类体系概述与实践
2012/12/16 Javascript
Jquery+CSS3实现一款简洁大气带滑动效果的弹出层
2013/05/15 Javascript
实用框架(iframe)操作代码
2014/10/23 Javascript
jQuery实现的仿百度分页足迹效果代码
2015/10/30 Javascript
简单实现node.js图片上传
2016/12/18 Javascript
vue2滚动条加载更多数据实现代码
2017/01/10 Javascript
微信小程序 image组件binderror使用例子与js中的onerror区别
2017/02/15 Javascript
jQuery简易时光轴实现方法示例
2017/03/13 Javascript
ES6新特性四:变量的解构赋值实例
2017/04/21 Javascript
jquery tmpl模板(实例讲解)
2017/09/02 jQuery
Angular ui-roter 和AngularJS 通过 ocLazyLoad 实现动态(懒)加载模块和依赖
2018/11/25 Javascript
详解基于React.js和Node.js的SSR实现方案
2019/03/21 Javascript
Vue的编码技巧与规范使用详解
2019/08/28 Javascript
简单介绍Python下自己编写web框架的一些要点
2015/04/29 Python
在Django的URLconf中进行函数导入的方法
2015/07/18 Python
Python中断言Assertion的一些改进方案
2016/10/27 Python
Python基于回溯法子集树模板解决选排问题示例
2017/09/07 Python
python八大排序算法速度实例对比
2017/12/06 Python
Django实现一对多表模型的跨表查询方法
2018/12/18 Python
Django错误:TypeError at / 'bool' object is not callable解决
2019/08/16 Python
python中的global关键字的使用方法
2019/08/20 Python
Python socket非阻塞模块应用示例
2019/09/12 Python
Python列表推导式实现代码实例
2020/09/09 Python
英国可持续奢侈品包包品牌:Elvis & Kresse
2018/08/05 全球购物
医药代表个人求职信范本
2013/12/19 职场文书
商场活动策划方案
2014/01/24 职场文书
一年级学生评语
2014/04/23 职场文书
国旗下讲话演讲稿
2014/05/08 职场文书
设计专业毕业生求职信
2014/06/25 职场文书
python opencv旋转图片的使用方法
2021/06/04 Python
浅谈Vue的computed计算属性
2022/03/21 Vue.js
排查Tomcat进程假死的问题
2022/05/06 Servers