Python读取pdf表格写入excel的方法


Posted in Python onJanuary 22, 2021

背景

今天突然想到之前被要求做同性质银行的数据分析。妈耶!十几个银行,每个银行近5年的财务数据,而且财务报表一般都是 pdf 的,我们将 pdf 中表的数据一个个的拷贝到 excel 中,再借助 excel 去进行求和求平均等聚合函数操作,完事了还得把求出来的结果再统一 CV 到另一张表中,进行可视化分析…

当然,那时风流倜傥的 老Amy 还熟练的玩转着 excel ,也是个秀儿~ 今天就思索着,如果当年我会 Python 是不是可以让我成为班级最靓的崽!用技术占领高地,HHH,所以今天我来了,希望可以帮助大家解决同性质的问题。

开始学习叭

避免CV大法

pdf 文件的表格的数据可以复制,但是这是一项非常繁琐的事情。所以我首先考虑的是,Python 可否帮助我们高效且规范地读取 pdf 中的表格数据。所以一顿的检索,发现了一个比较优质处理 pdf 的库:pdfplumber,当然这个库需要大家 pip install pdfplumber 去进行安装。以及详细使用可参考全球最大基友社区:https://github.com/jsvine/pdfplumber

步骤:

  • 导入 pdfplumber 库
  • 通过 pdfplumber.open() 函数 获取 mt2018.pdf 文件对象
  • 通过该 对象.pages 获取 pdf 每页的对象,截取我们需要的页对象即可
  • 通过 页对象.extract_tables() 获取表格数据(若需要获取文本:页对象.extract_text())

代码实现:

import pdfplumber


# 获取 pdf 文件对象
pdf_mt = pdfplumber.open("mt2018.pdf")

# 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可
for pdf_pg in pdf_mt.pages[50:53]:
  
  # 只提取当前页表格数据 
  print(pdf_pg.extract_tables())
  
  
--------------------------------------------------------------------------
结果比较多,截取一部分:
[[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]]

将完整表保存到 csv 文件中

我们发现,返回的数据集是一个三维的列表。那么在我们平时处理的 excel 表格数据(行与列)都是二维的数据。那么,这多出的一维是什么呢?其实就是我们的夜[页]~ 再来一个循环取出二维数据进行保存即可

for pdf_pg in pdf_mt.pages[50:53]:
  for pdf_tb in pdf_pg.extract_tables():
    print(pdf_tb)
    
------------------------------------------------------------------------------
结果比较多,截取一部分:
[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]

但是,真的那么简单吗?这时,我们就需要细品我们的 pdf 了,如下图

Python读取pdf表格写入excel的方法

我们发现,一张完整的资产负债表分布在多页上。也就是说,每一页的里面的表格数据都是一个三维的列表,所以我们保存数据的时候,需要让其有共同的表头(列索引),并且进行拼接。

那必须就要强推我们的 pandas 了,pandas.DataFrame() 非常完美的创建表格式的二维数组,以及指定列索引(表头)。包括可以直接 使用 df.append() 进行共同表头数据的堆叠拼接。

import pdfplumber
import pandas as pd
import numpy as np

# 创建仅有表头的 dataframe 数组
pdf_df = pd.DataFrame(columns=['项目', '附注', '期末余额', '期初余额'])

# 获取 pdf 文件对象
pdf_mt = pdfplumber.open("mt2018.pdf")

# 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可
for pdf_pg in pdf_mt.pages[50:53]:
  
  # 获取二维列表
  for pdf_tb in pdf_pg.extract_tables():
    
    # 将其拼接
    pdf_df = pdf_df.append(pd.DataFrame(np.array(pdf_tb),columns=['项目', '附注', '期末余额', '期初余额']))

# 显示后五条
pdf_df.tail()

dataframe数据输出如下:

Python读取pdf表格写入excel的方法

pdf 53页如下:

Python读取pdf表格写入excel的方法

实际上,大家也发现,我们获取的最后一页的数据还有一部分是另一个表的,所以我们需要将其去除,并且有序的设置行索引,再保存到 csv 文件中。

# 去除后三行
pdf_df = pdf_df.iloc[:-3,:]

# 重置索引
pdf_df = pdf_df.reset_index(drop=True)

# 保存到 csv 文件中
pdf_df.to_csv("mt_2018.csv")

Python读取pdf表格写入excel的方法

当然,今天就到这里,其它的需求我们下次给大家完善。大家也可以自己将代码封装成函数,这样就可以实现传入 pdf文件名称、页数以及保存的文件名来复用代码。如果大家再掌握了 pandas 就可以根据自己的需求,对各个表格数据进行处理。再结合 seaborn 绘图可视化,完爆 excel ~ 快学习起来叭,GOGOGO

以上就是Python读取pdf表格写入excel的方法的详细内容,更多关于Python读取pdf表格写入excel的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python实现汉诺塔方法汇总
Jul 25 Python
python实现TF-IDF算法解析
Jan 02 Python
python3个性签名设计实现代码
Jun 19 Python
Python WSGI的深入理解
Aug 01 Python
对python3 中方法各种参数和返回值详解
Dec 15 Python
python f-string式格式化听语音流程讲解
Jun 18 Python
Python日志无延迟实时写入的示例
Jul 11 Python
在django admin详情表单显示中添加自定义控件的实现
Mar 11 Python
使用pygame编写Flappy bird小游戏
Mar 14 Python
python语言中有算法吗
Jun 16 Python
Matplotlib中%matplotlib inline如何使用
Jul 28 Python
Python自动化办公Excel模块openpyxl原理及用法解析
Nov 05 Python
python 基于UDP协议套接字通信的实现
Jan 22 #Python
详解matplotlib中pyplot和面向对象两种绘图模式之间的关系
Jan 22 #Python
Jmeter调用Python脚本实现参数互相传递的实现
Jan 22 #Python
Python实现王者荣耀自动刷金币的完整步骤
Jan 22 #Python
python实现马丁策略回测3000只股票的实例代码
Jan 22 #Python
Python爬虫回测股票的实例讲解
Jan 22 #Python
python+selenium实现12306模拟登录的步骤
Jan 21 #Python
You might like
Amazon Prime Video平台《无限住人 -IMMORTAL-》2020年开始TV放送!
2020/03/06 日漫
PHP下常用正则表达式整理
2010/10/26 PHP
PHP实现数组和对象的相互转换操作示例
2019/03/20 PHP
一款JavaScript压缩工具:X2JSCompactor
2007/06/13 Javascript
jQuery 1.5.1 发布,全面支持IE9 修复大量bug
2011/02/26 Javascript
JavaScript获取onclick、onchange等事件值的代码
2013/07/22 Javascript
JS连连看源码完美注释版(推荐)
2013/12/09 Javascript
nodejs导出excel的方法
2015/06/30 NodeJs
js实现继承的5种方式
2015/12/01 Javascript
jquery在ie7下选择器的问题导致append失效的解决方法
2016/01/10 Javascript
Vue.js框架路由使用方法实例详解
2017/08/25 Javascript
浅谈Redux中间件的实践
2018/07/27 Javascript
微信小程序自定义多列选择器使用详解
2019/06/21 Javascript
vue大型项目之分模块运行/打包的实现
2020/09/21 Javascript
JavaScript实现滚动加载更多
2020/12/27 Javascript
Python语言技巧之三元运算符使用介绍
2013/03/04 Python
Python中使用items()方法返回字典元素对的教程
2015/05/21 Python
python3抓取中文网页的方法
2015/07/28 Python
将tensorflow的ckpt模型存储为npy的实例
2018/07/09 Python
python 自定义对象的打印方法
2019/01/12 Python
Python基于Opencv来快速实现人脸识别过程详解(完整版)
2019/07/11 Python
Python自省及反射原理实例详解
2020/07/06 Python
Python中logging日志记录到文件及自动分割的操作代码
2020/08/05 Python
python使用selenium爬虫知乎的方法示例
2020/10/28 Python
Django-silk性能测试工具安装及使用解析
2020/11/28 Python
python字典与json转换的方法总结
2020/12/28 Python
美国高端医师级美容产品电商:BeautifiedYou.com
2017/04/17 全球购物
印度尼西亚最大和最全面的网络商城:Blibli.com
2017/10/04 全球购物
serialVersionUID具有什么样的特征
2014/02/20 面试题
挂职思想汇报
2013/12/31 职场文书
商场中秋节广播稿
2014/01/17 职场文书
人身损害赔偿协议书范本
2014/09/27 职场文书
幼师小班个人总结
2015/02/12 职场文书
2015年公务员转正工作总结
2015/04/24 职场文书
年会主持人开场白台词
2015/05/29 职场文书
中学生打架检讨书之500字
2019/08/06 职场文书