Python读取pdf表格写入excel的方法


Posted in Python onJanuary 22, 2021

背景

今天突然想到之前被要求做同性质银行的数据分析。妈耶!十几个银行,每个银行近5年的财务数据,而且财务报表一般都是 pdf 的,我们将 pdf 中表的数据一个个的拷贝到 excel 中,再借助 excel 去进行求和求平均等聚合函数操作,完事了还得把求出来的结果再统一 CV 到另一张表中,进行可视化分析…

当然,那时风流倜傥的 老Amy 还熟练的玩转着 excel ,也是个秀儿~ 今天就思索着,如果当年我会 Python 是不是可以让我成为班级最靓的崽!用技术占领高地,HHH,所以今天我来了,希望可以帮助大家解决同性质的问题。

开始学习叭

避免CV大法

pdf 文件的表格的数据可以复制,但是这是一项非常繁琐的事情。所以我首先考虑的是,Python 可否帮助我们高效且规范地读取 pdf 中的表格数据。所以一顿的检索,发现了一个比较优质处理 pdf 的库:pdfplumber,当然这个库需要大家 pip install pdfplumber 去进行安装。以及详细使用可参考全球最大基友社区:https://github.com/jsvine/pdfplumber

步骤:

  • 导入 pdfplumber 库
  • 通过 pdfplumber.open() 函数 获取 mt2018.pdf 文件对象
  • 通过该 对象.pages 获取 pdf 每页的对象,截取我们需要的页对象即可
  • 通过 页对象.extract_tables() 获取表格数据(若需要获取文本:页对象.extract_text())

代码实现:

import pdfplumber


# 获取 pdf 文件对象
pdf_mt = pdfplumber.open("mt2018.pdf")

# 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可
for pdf_pg in pdf_mt.pages[50:53]:
  
  # 只提取当前页表格数据 
  print(pdf_pg.extract_tables())
  
  
--------------------------------------------------------------------------
结果比较多,截取一部分:
[[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]]

将完整表保存到 csv 文件中

我们发现,返回的数据集是一个三维的列表。那么在我们平时处理的 excel 表格数据(行与列)都是二维的数据。那么,这多出的一维是什么呢?其实就是我们的夜[页]~ 再来一个循环取出二维数据进行保存即可

for pdf_pg in pdf_mt.pages[50:53]:
  for pdf_tb in pdf_pg.extract_tables():
    print(pdf_tb)
    
------------------------------------------------------------------------------
结果比较多,截取一部分:
[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]

但是,真的那么简单吗?这时,我们就需要细品我们的 pdf 了,如下图

Python读取pdf表格写入excel的方法

我们发现,一张完整的资产负债表分布在多页上。也就是说,每一页的里面的表格数据都是一个三维的列表,所以我们保存数据的时候,需要让其有共同的表头(列索引),并且进行拼接。

那必须就要强推我们的 pandas 了,pandas.DataFrame() 非常完美的创建表格式的二维数组,以及指定列索引(表头)。包括可以直接 使用 df.append() 进行共同表头数据的堆叠拼接。

import pdfplumber
import pandas as pd
import numpy as np

# 创建仅有表头的 dataframe 数组
pdf_df = pd.DataFrame(columns=['项目', '附注', '期末余额', '期初余额'])

# 获取 pdf 文件对象
pdf_mt = pdfplumber.open("mt2018.pdf")

# 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可
for pdf_pg in pdf_mt.pages[50:53]:
  
  # 获取二维列表
  for pdf_tb in pdf_pg.extract_tables():
    
    # 将其拼接
    pdf_df = pdf_df.append(pd.DataFrame(np.array(pdf_tb),columns=['项目', '附注', '期末余额', '期初余额']))

# 显示后五条
pdf_df.tail()

dataframe数据输出如下:

Python读取pdf表格写入excel的方法

pdf 53页如下:

Python读取pdf表格写入excel的方法

实际上,大家也发现,我们获取的最后一页的数据还有一部分是另一个表的,所以我们需要将其去除,并且有序的设置行索引,再保存到 csv 文件中。

# 去除后三行
pdf_df = pdf_df.iloc[:-3,:]

# 重置索引
pdf_df = pdf_df.reset_index(drop=True)

# 保存到 csv 文件中
pdf_df.to_csv("mt_2018.csv")

Python读取pdf表格写入excel的方法

当然,今天就到这里,其它的需求我们下次给大家完善。大家也可以自己将代码封装成函数,这样就可以实现传入 pdf文件名称、页数以及保存的文件名来复用代码。如果大家再掌握了 pandas 就可以根据自己的需求,对各个表格数据进行处理。再结合 seaborn 绘图可视化,完爆 excel ~ 快学习起来叭,GOGOGO

以上就是Python读取pdf表格写入excel的方法的详细内容,更多关于Python读取pdf表格写入excel的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
操作Windows注册表的简单的Python程序制作教程
Apr 07 Python
教你用Type Hint提高Python程序开发效率
Aug 08 Python
python基于pyDes库实现des加密的方法
Apr 29 Python
读取本地json文件,解析json(实例讲解)
Dec 06 Python
Python2和Python3中urllib库中urlencode的使用注意事项
Nov 26 Python
Django框架中序列化和反序列化的例子
Aug 06 Python
Python实现把多维数组展开成DataFrame
Nov 30 Python
在python中使用pymysql往mysql数据库中插入(insert)数据实例
Mar 02 Python
Django Admin 上传文件到七牛云的示例代码
Jun 20 Python
Python如何实现自带HTTP文件传输服务
Jul 08 Python
python爬虫中url管理器去重操作实例
Nov 30 Python
python中的插入排序的简单用法
Jan 19 Python
python 基于UDP协议套接字通信的实现
Jan 22 #Python
详解matplotlib中pyplot和面向对象两种绘图模式之间的关系
Jan 22 #Python
Jmeter调用Python脚本实现参数互相传递的实现
Jan 22 #Python
Python实现王者荣耀自动刷金币的完整步骤
Jan 22 #Python
python实现马丁策略回测3000只股票的实例代码
Jan 22 #Python
Python爬虫回测股票的实例讲解
Jan 22 #Python
python+selenium实现12306模拟登录的步骤
Jan 21 #Python
You might like
window+nginx+php环境配置 附配置搭配说明
2010/12/29 PHP
php读取EXCEL文件 php excelreader读取excel文件
2012/12/06 PHP
一个PHP二维数组排序的函数分享
2014/01/17 PHP
php session的锁和并发
2016/01/22 PHP
Laravel核心解读之异常处理的实践过程
2019/02/24 PHP
Laravel 实现关系模型取出需要的字段
2019/10/10 PHP
自己写的兼容ie和ff的在线文本编辑器类似ewebeditor
2012/12/12 Javascript
JavaScript基础知识学习笔记
2014/12/02 Javascript
javascript中var的重要性分析
2015/02/11 Javascript
在JavaScript中使用开平方根的sqrt()方法
2015/06/15 Javascript
javascript常用正则表达式汇总
2015/07/31 Javascript
Bootstrap幻灯片轮播图支持触屏左右手势滑动的实现方法
2016/10/13 Javascript
百度多文件异步上传控件webuploader基本用法解析
2016/11/07 Javascript
简单几步实现返回顶部效果
2016/12/05 Javascript
JS对象深度克隆实例分析
2017/03/16 Javascript
angular仿支付宝密码框输入效果
2017/03/25 Javascript
vue中计算属性(computed)、methods和watched之间的区别
2017/07/27 Javascript
Angular实现点击按钮控制隐藏和显示功能示例
2017/12/29 Javascript
微信小程序下拉框组件使用方法详解
2018/12/28 Javascript
区分vue-router的hash和history模式
2020/10/03 Javascript
JavaScript 实现拖拽效果组件功能(兼容移动端)
2020/11/11 Javascript
[46:04]Liquid vs VP Supermajor决赛 BO 第四场 6.10
2018/07/05 DOTA
python先序遍历二叉树问题
2017/11/10 Python
Python建立Map写Excel表实例解析
2018/01/17 Python
pyqt5 使用label控件实时显示时间的实例
2019/06/14 Python
python文件读写代码实例
2019/10/21 Python
python3 自动打印出最新版本执行的mysql2redis实例
2020/04/09 Python
html5实现滑块功能之type="range"属性
2020/02/18 HTML / CSS
西尔斯百货官网:Sears
2016/09/06 全球购物
斯德哥尔摩通票:Stockholm Pass
2018/01/09 全球购物
十佳护士先进事迹
2014/05/08 职场文书
公司采购主管岗位职责
2014/06/17 职场文书
个人批评与自我批评总结
2014/10/17 职场文书
毕业生自荐信范文
2015/03/05 职场文书
Python实现视频中添加音频工具详解
2021/12/06 Python
十大最强水系宝可梦,最美宝可梦排第三,榜首大家最熟悉
2022/03/18 日漫