pandas 数据归一化以及行删除例程的方法


Posted in Python onNovember 10, 2018

如下所示:

#coding:utf8
import pandas as pd
import numpy as np
from pandas import Series,DataFrame
 
# 如果有id列,则需先删除id列再进行对应操作,最后再补上
# 统计的时候不需要用到id列,删除的时候需要考虑
# delete row
def row_del(df, num_percent, label_len = 0):
	#print list(df.count(axis=1))
	col_num = len(list(list(df.values)[1])) - label_len # -1为考虑带标签
	if col_num<0:
		print 'Error'
	#print int(col_num*num_percent)
	return df.dropna(axis=0, how='any', thresh=int(col_num*num_percent))
 
# 如果有字符串类型,则报错
# data normalization -1 to 1
# label_col: 不需考虑的类标,可以为字符串或字符串列表
# 数值类型统一到float64
def data_normalization(df, label_col = []):
	lab_len = len(label_col)
	print label_col
	if lab_len>0:
		df_temp = df.drop(label_col, axis = 1)
		df_lab = df[label_col]
		print df_lab
	else:
		df_temp = df
	max_val = list(df_temp.max(axis=0))
	min_val = list(df_temp.min(axis=0))
	mean_val = list((df_temp.max(axis=0) + df_temp.min(axis=0)) / 2)
	nan_values = df_temp.isnull().values
	row_num = len(list(df_temp.values))
	col_num = len(list(df_temp.values)[1])
	for rn in range(row_num):
		#data_values_r = list(data_values[rn])
		nan_values_r = list(nan_values[rn])
		for cn in range(col_num):
			if nan_values_r[cn] == False:
				df_temp.values[rn][cn] = 2 * (df_temp.values[rn][cn] - mean_val[cn])/(max_val[cn] - min_val[cn])
			else:
				print 'Wrong'
	for index,lab in enumerate(label_col):
		df_temp.insert(index, lab, df_lab[lab])
	return df_temp
 
 
# 创建一个带有缺失值的数据框:
df = pd.DataFrame(np.random.randn(5,3), index=list('abcde'), columns=['one','two','three'])
df.ix[1,:-1]=np.nan
df.ix[1:-1,2]=np.nan
df.ix[0,0]=int(1)
df.ix[2,2]='abc'
 
# 查看一下数据内容:
print '\ndf1'
print df
 
print row_del(df, 0.8)
 
print '-------------------------'
 
df = data_normalization(df, ['two', 'three'])
print df
 
print df.dtypes
 
print (type(df.ix[2,2]))

以上这篇pandas 数据归一化以及行删除例程的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python Mysql数据库操作 Perl操作Mysql数据库
Jan 12 Python
Python连接mssql数据库编码问题解决方法
Jan 01 Python
简单了解Python中的几种函数
Nov 03 Python
利用Python将文本中的中英文分离方法
Oct 31 Python
python pandas写入excel文件的方法示例
Jun 25 Python
PyQt+socket实现远程操作服务器的方法示例
Aug 22 Python
python中几种自动微分库解析
Aug 29 Python
Win10+GPU版Pytorch1.1安装的安装步骤
Sep 27 Python
windows10在visual studio2019下配置使用openCV4.3.0
Jul 14 Python
python之语音识别speech模块
Sep 09 Python
Python如何配置环境变量详解
May 18 Python
Matplotlib绘制混淆矩阵的实现
May 27 Python
python 重命名轴索引的方法
Nov 10 #Python
Pandas:Series和DataFrame删除指定轴上数据的方法
Nov 10 #Python
Pandas DataFrame 取一行数据会得到Series的方法
Nov 10 #Python
对python创建及引用动态变量名的示例讲解
Nov 10 #Python
python 解决动态的定义变量名,并给其赋值的方法(大数据处理)
Nov 10 #Python
在Python中定义一个常量的方法
Nov 10 #Python
python 定义n个变量方法 (变量声明自动化)
Nov 10 #Python
You might like
PHP 字符串 小常识
2009/06/05 PHP
关于PHP结束标签的使用细节探讨及联想
2013/03/04 PHP
ThinkPHP分页类使用详解
2014/03/05 PHP
常用的php图片处理类(水印、等比缩放、固定高宽)分享
2015/06/19 PHP
PHP MVC框架skymvc支持多文件上传
2016/05/26 PHP
PHP实现抽奖功能实例代码
2020/06/30 PHP
JavaScript 拖拉缩放效果
2008/12/10 Javascript
javascript模拟实现C# String.format函数功能代码
2013/11/25 Javascript
JS实现FLASH幻灯片图片切换效果的方法
2015/03/04 Javascript
js判断所有表单项不为空则提交表单的实现方法
2016/09/09 Javascript
一个非常好用的文字滚动的案例,鼠标悬浮可暂停[两种方案任选]
2016/12/01 Javascript
JavaScript中的普通函数和箭头函数的区别和用法详解
2017/03/21 Javascript
对vue中methods互相调用的方法详解
2018/08/30 Javascript
uni-app之APP和小程序微信授权方法
2019/05/09 Javascript
微信小程序非跳转式组件授权登录的方法示例
2019/05/22 Javascript
JavaScript 禁止用户保存图片的实现代码
2020/04/28 Javascript
vue实现户籍管理系统
2020/05/29 Javascript
Python的Tornado框架实现异步非阻塞访问数据库的示例
2016/06/30 Python
python pandas库的安装和创建
2019/01/10 Python
如何定义TensorFlow输入节点
2020/01/23 Python
使用Python合成图片的实现代码(图片添加个性化文本,图片上叠加其他图片)
2020/04/30 Python
关于keras中keras.layers.merge的用法说明
2020/05/23 Python
python 浮点数四舍五入需要注意的地方
2020/08/18 Python
python map比for循环快在哪
2020/09/21 Python
Python用摘要算法生成token及检验token的示例代码
2020/12/01 Python
Css3新特性应用之形状总结
2016/12/08 HTML / CSS
css3 transform导致子元素固定定位变成绝对定位的方法
2020/03/06 HTML / CSS
护士自我鉴定
2013/10/23 职场文书
实习教师自我鉴定
2013/12/12 职场文书
七年级英语教学反思
2014/01/15 职场文书
2014年健康教育实施方案
2014/02/17 职场文书
好的促销活动方案
2014/08/21 职场文书
2014年销售助理工作总结
2014/12/01 职场文书
2016年优秀少先队辅导员事迹材料
2016/02/26 职场文书
2016年大学生党员承诺书
2016/03/24 职场文书
Nginx+Tomcat实现负载均衡、动静分离的原理解析
2021/03/31 Servers