Python实现Excel文件的合并(以新冠疫情数据为例)


Posted in Python onMarch 20, 2022

注:本篇文章以新冠疫情数据文件的合并为例。

需要相关数据的请移步:》2020-2022年新冠疫情数据

一、单目录下面的数据合并

Python实现Excel文件的合并(以新冠疫情数据为例)

将2020下的所有文件进行合并,成一个文件:

import requests
import json
import openpyxl
import datetime
import datetime as dt
import time
import pandas as pd
import csv
from openpyxl import load_workbook
from sqlalchemy import create_engine
import math
import os
import glob
csv_list=glob.glob(r'D:\Python\03DataAcquisition\COVID-19\2020\*.csv')
print("所有数据文件总共有%s" %len(csv_list))
for i in csv_list:
    fr=open(i,"rb").read() #除了第一个数据文件外,其他不读取表头
    with open('../output/covid19temp0314.csv','ab') as f:
        f.write(fr)
    f.close()
print('数据合成完毕!')

Python实现Excel文件的合并(以新冠疫情数据为例)

合并后的数据:

Python实现Excel文件的合并(以新冠疫情数据为例)

二、使用函数进行数据合并

## 02 使用函数进行数据合并
import os
import pandas as pd 
# 定义函数(具有递归功能)
def mergeFile(parent,path="",pathdeep=0,filelist=[],csvdatadf=pd.DataFrame(),csvdata=pd.DataFrame()):
    fileAbsPath=os.path.join(parent,path)
    if os.path.isdir(fileAbsPath)==True:
        if(pathdeep!=0 and ('.ipynb_checkpoints' not in str(fileAbsPath))): # =0代表没有下一层目录
            print('--'+path)
        for filename2 in os.listdir(fileAbsPath):
            mergeFile(fileAbsPath,filename2,pathdeep=pathdeep+1)
    else:
        if(pathdeep==2 and path.endswith(".csv") and os.path.getsize(parent+'/'+path)>0):
            filelist.append(parent+'/'+path)
    return filelist

# D:\Python\03DataAcquisition\COVID-19
path=input("请输入数据文件所在目录:")
filelist=mergeFile(path)

filelist

csvdata=pd.DataFrame()
csvdatadf=pd.DataFrame()

for m in filelist:
    csvdata=pd.read_csv(m,encoding='utf-8-sig')
    csvdatadf=csvdatadf.append(csvdata)
# 由于2023年的数据还没有,所以不合并

Python实现Excel文件的合并(以新冠疫情数据为例)

(* ̄(oo) ̄)注: 这个的等待时间应该会比较长,因为一共有一百九十多万条数据。

将合并后的数据进行保存:

csvdatadf.to_csv("covid190314.csv",index=None,encoding='utf-8-sig')
csvdatadf=pd.read_csv("covid190314.csv",encoding='utf-8-sig')
csvdatadf.info()

Python实现Excel文件的合并(以新冠疫情数据为例)

读取新冠疫情在2020/0101之前的数据:

beforedf=pd.read_csv(r'D:\Python\03DataAcquisition\COVID-19\before20201111.csv',encoding='utf-8-sig')
beforedf.info()

Python实现Excel文件的合并(以新冠疫情数据为例)

Python实现Excel文件的合并(以新冠疫情数据为例)

将两组数据合并:

tempalldf=beforedf.append(csvdatadf)
tempalldf.head()

Python实现Excel文件的合并(以新冠疫情数据为例)

三、处理港澳台数据

Python实现Excel文件的合并(以新冠疫情数据为例)

如图所示:要将Country_Region从Hong Kong变成China。澳门和台湾也是如此:

查找有关台湾的数据:

beforedf.loc[beforedf['Country/Region']=='Taiwan']
beforedf.loc[beforedf['Country/Region'].str.contains('Taiwan')]
beforedf.loc[beforedf['Country/Region'].str.contains('Taiwan'),'Province/State']='Taiwan'
beforedf.loc[beforedf['Province/State']=='Taiwan','Country/Region']='China'
beforedf.loc[beforedf['Province/State']=='Taiwan']

Python实现Excel文件的合并(以新冠疫情数据为例)

香港的数据处理:

beforedf.loc[beforedf['Country/Region'].str.contains('Hong Kong'),'Province/State']='Hong Kong'
beforedf.loc[beforedf['Province/State']=='Hong Kong','Country/Region']='China'
afterdf.loc[afterdf['Country_Region'].str.contains('Hong Kong'),'Province_State']='Hong Kong'
afterdf.loc[afterdf['Province_State']=='Hong Kong','Country_Region']='China'

澳门的数据处理:

beforedf.loc[beforedf['Country/Region'].str.contains('Macau'),'Province/State']='Macau'
beforedf.loc[beforedf['Province/State']=='Macau','Country/Region']='China'
afterdf.loc[afterdf['Country_Region'].str.contains('Macau'),'Province_State']='Macau'
afterdf.loc[afterdf['Province_State']=='Macau','Country_Region']='China'

最终将整理好的数据进行保存:

beforedf.to_csv("beforedf0314.csv",index=None,encoding='utf-8-sig')
afterdf.to_csv("afterdf0314.csv",index=None,encoding='utf-8-sig')

Python实现Excel文件的合并(以新冠疫情数据为例)

到此这篇关于Python实现Excel文件的合并(以新冠疫情数据为例)的文章就介绍到这了,更多相关Python合并Excel内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
在Python下进行UDP网络编程的教程
Apr 29 Python
Python中的默认参数详解
Jun 24 Python
对numpy中布尔型数组的处理方法详解
Apr 17 Python
python调用摄像头显示图像的实例
Aug 03 Python
Python用61行代码实现图片像素化的示例代码
Dec 10 Python
python hbase读取数据发送kafka的方法
Dec 27 Python
python flask几分钟实现web服务的例子
Jul 26 Python
PyCharm导入python项目并配置虚拟环境的教程详解
Oct 13 Python
Python写捕鱼达人的游戏实现
Mar 31 Python
Django Channel实时推送与聊天的示例代码
Apr 30 Python
python DataFrame中stack()方法、unstack()方法和pivot()方法浅析
Apr 06 Python
解决Python保存文件名太长OSError: [Errno 36] File name too long
May 11 Python
Python中三种花式打印的示例详解
Mar 19 #Python
Python学习之包与模块详解
Python requests用法和django后台处理详解
Mar 19 #Python
Python实现Hash算法
Mar 18 #Python
python实现会员信息管理系统(List)
Mar 18 #Python
Python实现归一化算法详情
Mar 18 #Python
python实现会员管理系统
Mar 18 #Python
You might like
PHP 实现explort() 功能的详解
2013/06/20 PHP
php数据类型判断函数有哪些
2013/09/23 PHP
PHP7多线程搭建教程
2017/04/21 PHP
PHP自定义函数判断是否为Get、Post及Ajax提交的方法
2017/07/27 PHP
PHP Laravel中的Trait使用方法
2019/01/20 PHP
可以文本显示的公告栏的js代码
2007/03/11 Javascript
JavaScript 常用函数
2009/12/30 Javascript
javascript列表框操作函数集合汇总
2013/11/28 Javascript
JavaScript制作windows经典扫雷小游戏
2015/03/31 Javascript
JavaScript实现的经典文件树菜单效果
2015/09/08 Javascript
JS实现添加,替换,删除节点元素的方法
2016/06/30 Javascript
js判断iframe中元素是否存在的实现代码
2016/12/24 Javascript
Vue-Router实现页面正在加载特效方法示例
2017/02/12 Javascript
ES6新特性之Symbol类型用法分析
2017/03/31 Javascript
Angular 4.x 路由快速入门学习
2017/05/03 Javascript
微信浏览器禁止页面下拉查看网址实例详解
2017/06/28 Javascript
javascript+css3开发打气球小游戏完整代码
2017/11/28 Javascript
layui-tree实现Ajax异步请求后动态添加节点的方法
2019/09/23 Javascript
解决ant Design中Select设置initialValue时的大坑
2020/10/29 Javascript
Python编程产生非均匀随机数的几种方法代码分享
2017/12/13 Python
python实现写数字文件名的递增保存文件方法
2018/10/25 Python
python读取目录下最新的文件夹方法
2018/12/24 Python
Python字符串逆序的实现方法【一题多解】
2019/02/18 Python
python 利用文件锁单例执行脚本的方法
2019/02/19 Python
Python requests模块session代码实例
2020/04/14 Python
Django celery异步任务实现代码示例
2020/11/26 Python
大专生简历的自我评价
2013/11/26 职场文书
回门宴父母答谢词
2014/01/26 职场文书
连带责任保证书
2014/04/29 职场文书
关于青春的演讲稿
2014/05/05 职场文书
2014年保卫科工作总结
2014/12/05 职场文书
高中社区服务活动报告
2015/02/05 职场文书
音乐之声观后感
2015/06/04 职场文书
债务追讨律师函
2015/06/24 职场文书
教你如何使用Python Tkinter库制作记事本
2021/06/10 Python
mysql自增长id用完了该怎么办
2022/02/12 MySQL