python 删除excel表格重复行,数据预处理操作


Posted in Python onJuly 06, 2020

使用python删除excel表格重复行。

# 导入pandas包并重命名为pd
import pandas as pd
 
# 读取Excel中Sheet1中的数据
data = pd.DataFrame(pd.read_excel('test.xls', 'Sheet1'))
 
# 查看读取数据内容
print(data)
 
# 查看是否有重复行
re_row = data.duplicated()
print(re_row)
 
# 查看去除重复行的数据
no_re_row = data.drop_duplicates()
print(no_re_row)
 
# 查看基于[物品]列去除重复行的数据
#wp = data.drop_duplicates(['物品'])
#print(wp)
 
# 将去除重复行的数据输出到excel表中
no_re_row.to_excel("test2.xls")

补充知识:Python数据预处理(删除重复值和空值)

pandas几个函数的使用,大数据的预处理(删除重复值和空值),人工删除很麻烦

Python恰好能够解决

注释很详细在这不一一解释了

######################################
##### 读写excel(xls\xlsx)文件
import pandas as pd
import numpy as np
df_excel = pd.read_excel('data3.xlsx')
print('数据量行*列',df_excel.shape)
# # df_excel.to_excel('df_excel.xlsx',header=None)#生成文件保存,无表头
print('数据集中存在重复观测的数量:\n',np.sum(df_excel.duplicated())) #F为不存在,T为存在,用sum显示重复的数量
print('删除行重复后的数据\n',df_excel.drop_duplicates(subset=None,keep='first',inplace=None))#excel文件中设定第一和第二行为重复行,结果删除了第二行保留第一行
              ###df_excel.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
              #### 代码中subset对应的值是列名,表示只考虑这两列,将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。
              #####keep='first'表示保留第一次出现的重复行,是默认值。keep另外两个取值为"last"和False,分别表示保留最后一次出现的重复行和去除所有重复行。
              #####inplace=True表示直接在原来的DataFrame上删除重复项,而默认值False表示生成一个副本

print('数据集列中是否存在缺失值:\n',df_excel.isnull().any())       #F为不存在,T为存在
print('每一行的缺失值个数:',df_excel.isnull().sum(axis=1))
print('每一列的缺失值个数:',df_excel.isnull().sum(axis=0))

          ####### df.isnull().sum(axis=0)每一列的缺失值个数
          #####df.isnull().any()则会判断哪些”列”存在缺失值
df=df_excel.dropna()
print(df_excel.dropna(thresh=5))
                # #axis=0: 删除包含缺失值(NaN)的行
                # #axis=1: 删除包含缺失值(NaN)的列
                # # how=‘any' :要有缺失值(NaN)出现删除
                # # how=‘all': 所有的值都缺失(NaN)才删除
                # 还有一个thresh参数
                # thresh=n,保留至少有 n 个非 NaN 数的行

######drop用法
print(df_excel.drop(['edu'],axis=1))#按照列删除edu这一列
print(df_excel.drop([0],axis=0))#按照行删除0这一行

以上这篇python 删除excel表格重复行,数据预处理操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
深入理解python函数递归和生成器
Jun 06 Python
PyQt5实现下载进度条效果
Apr 19 Python
Django 跨域请求处理的示例代码
May 02 Python
对python添加模块路径的三种方法总结
Oct 16 Python
使用django-guardian实现django-admin的行级权限控制的方法
Oct 30 Python
Pyqt5 实现跳转界面并关闭当前界面的方法
Jun 19 Python
python 返回一个列表中第二大的数方法
Jul 09 Python
python通过TimedRotatingFileHandler按时间切割日志
Jul 17 Python
Python 面向对象之封装、继承、多态操作实例分析
Nov 21 Python
python读取图像矩阵文件并转换为向量实例
Jun 18 Python
详解用Python调用百度地图正/逆地理编码API
Jul 02 Python
python中子类与父类的关系基础知识点
Feb 02 Python
pandas.DataFrame.drop_duplicates 用法介绍
Jul 06 #Python
TensorFlow Autodiff自动微分详解
Jul 06 #Python
Keras loss函数剖析
Jul 06 #Python
keras 模型参数,模型保存,中间结果输出操作
Jul 06 #Python
Python自省及反射原理实例详解
Jul 06 #Python
如何通过命令行进入python
Jul 06 #Python
解决TensorFlow调用Keras库函数存在的问题
Jul 06 #Python
You might like
浅析PHP中Collection 类的设计
2013/06/21 PHP
php MessagePack介绍
2013/10/06 PHP
php实现将数组或对象写入到文件的方法小结【三种方法】
2020/04/22 PHP
Javascript 阻止javascript事件冒泡,获取控件ID值
2009/06/27 Javascript
js自定义事件及事件交互原理概述(二)
2013/02/01 Javascript
js遍历、动态的添加数据的小例子
2013/06/22 Javascript
原生JS实现响应式瀑布流布局
2015/04/02 Javascript
Javascript的表单与验证-非空验证
2016/03/18 Javascript
无循环 JavaScript(map、reduce、filter和find)
2017/04/08 Javascript
Vue使用vue-cli创建项目
2017/09/01 Javascript
JavaScript实现离开页面前提示功能【附jQuery实现方法】
2017/09/26 jQuery
深入浅析Vue中mixin和extend的区别和使用场景
2019/08/01 Javascript
微信小程序 云开发模糊查询实现解析
2019/09/02 Javascript
vue实现两个区域滚动条同步滚动
2020/12/13 Vue.js
使用python实现拉钩网上的FizzBuzzWhizz问题示例
2014/05/05 Python
python显示生日是星期几的方法
2015/05/27 Python
flask + pymysql操作Mysql数据库的实例
2017/11/13 Python
浅析Python3爬虫登录模拟
2018/02/07 Python
python 读取.csv文件数据到数组(矩阵)的实例讲解
2018/06/14 Python
python global关键字的用法详解
2019/09/05 Python
利用python在excel中画图的实现方法
2020/03/17 Python
Anaconda和ipython环境适配的实现
2020/04/22 Python
open_basedir restriction in effect. 原因与解决方法
2021/03/14 PHP
css3设置box-pack和box-align让div里面的元素垂直居中
2014/09/01 HTML / CSS
美国卡车、吉普车和SUV零件网站:4 Wheel Parts
2016/11/24 全球购物
Nordgreen美国官网:在线购买极简主义斯堪的纳维亚手表
2019/07/24 全球购物
常用UNIX 命令(Linux的常用命令)
2013/07/10 面试题
英文简历中的自我评价
2013/10/06 职场文书
保安队长职务说明书
2014/02/23 职场文书
解放思想大讨论活动心得体会
2014/09/11 职场文书
2015小学教师年度工作总结
2015/05/12 职场文书
摩登时代观后感
2015/06/03 职场文书
休学证明范本
2015/06/19 职场文书
教务处教学工作总结
2015/08/10 职场文书
彻底理解golang中什么是nil
2021/04/29 Golang
Java 获取Word中所有的插入和删除修订的方法
2022/04/06 Java/Android