python实现数据预处理之填充缺失值的示例


Posted in Python onDecember 22, 2017

1、给定一个数据集noise-data-1.txt,该数据集中保护大量的缺失值(空格、不完整值等)。利用“全局常量”、“均值或者中位数”来填充缺失值。

noise-data-1.txt:

5.1 3.5 1.4 0.2
4.9 3 1.4 0.2
4.7 3.2 1.3 0.2
4.6 3.1 1.5 0.2
5 3.6 1.4 0.2
5.4 3.9 1.7 0.4
4.6 3.4 1.4 0.3
5 3.4 1.5 0.2
4.4 2.9 1.4 0.2
4.9 -3.1 1.5 0.1
5.4 3.7 1.5 0.2
4.8 3.4 1.6 0.2
4.8 3 -1.4 0.1
4.3 3 1.1 0.1
5.8 4 1.2 0.2
5.7 4.4 1.5 0.4
5.4 3.9 1.3 0.4
5.1 3.5 1.4 0.3
5.7 3.8 1.7 0.3
5.1 3.8 -1.5 0.3
5.4 3.4 1.7 0.2
5.1 3.7 1.5 0.4
4.6 3.6 1 0.2
5.1 3.3 1.7 0.5
4.8 3.4 1.9 0.2

解题思路:首先读入数据,对数据进行处理,去掉空行,利用 “均值来填充缺失值,本题利用Python语言实现,代码如下:

import numpy as np
data = []
my_list = []
con=0
noise_data = open('noise-data-1.txt') 
clean_data = open("clean_data3.txt", 'w')
for line in noise_data.readlines():
 if len(line) == 0:
 break
 if line.count('\n') == len(line):
 continue 
 dataline =line.strip().split('\t')
 my_list.append(dataline)
 con+=1
for i in range(0,con):
 for j in range(0,len(my_list[i])):
 if my_list[i][j].count('.')==0:
  miss_row=[]
  for a in range(0,len(my_list[i])):
  if float(my_list[i][a])<0:
   miss_row.append(-float(my_list[i][a])) 
  miss_row.append(float(my_list[i][a])) 
  my_average=round(np.average(miss_row),1)
  my_list[i][j]=my_average
 else:
  if float(my_list[i][j])<0:
   my_list[i][j]=-float(my_list[i][j]) 
  my_list[i][j]=float(my_list[i][j]) 
print my_list
def file_write(filename,data_list):
 file1=open(filename,'w')
 for i in data_list:
 for j in i:
  if type(j)!=str:
  j=str(j)
  file1.write(j)
  file1.write(' ')
 file1.write('\n')
 file1.close()
 return file1
filename='clean_data.txt'
file_write(filename,my_list)

运行结果如下:

python实现数据预处理之填充缺失值的示例

以上这篇python实现数据预处理之填充缺失值的示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python教程之用py2exe将PY文件转成EXE文件
Jun 12 Python
对Python的Django框架中的项目进行单元测试的方法
Apr 11 Python
神经网络理论基础及Python实现详解
Dec 15 Python
python更改已存在excel文件的方法
May 03 Python
django2.2安装错误最全的解决方案(小结)
Sep 24 Python
Python Django中间件,中间件函数,全局异常处理操作示例
Nov 08 Python
python selenium 执行完毕关闭chromedriver进程示例
Nov 15 Python
pytorch 获取tensor维度信息示例
Jan 03 Python
python tkinter之顶层菜单、弹出菜单实例
Mar 04 Python
基于OpenCV的网络实时视频流传输的实现
Nov 15 Python
用python批量下载apk
Dec 29 Python
Python爬虫入门教程01之爬取豆瓣Top电影
Jan 24 Python
NetworkX之Prim算法(实例讲解)
Dec 22 #Python
Python实现控制台中的进度条功能代码
Dec 22 #Python
Python中的探索性数据分析(功能式)
Dec 22 #Python
Python反射用法实例简析
Dec 22 #Python
Python文本特征抽取与向量化算法学习
Dec 22 #Python
用Python实现KNN分类算法
Dec 22 #Python
Python数据拟合与广义线性回归算法学习
Dec 22 #Python
You might like
使用sockets:从新闻组中获取文章(三)
2006/10/09 PHP
对squid中refresh_pattern的一些理解和建议
2009/04/17 PHP
关于svn冲突的解决方法
2013/06/21 PHP
解析PHP获取当前网址及域名的实现代码
2013/06/23 PHP
php打开文件fopen函数的使用说明
2013/07/05 PHP
php实现的mysqldb读写分离操作类示例
2017/02/07 PHP
详解phpstorm2020最新破解方法
2020/09/17 PHP
filemanage功能中用到的common.js
2007/04/08 Javascript
修复IE9&amp;safari 的sort方法
2011/10/21 Javascript
jQuery实现回车键(Enter)切换文本框焦点的代码实例
2014/05/05 Javascript
jquery实现下拉框功能效果【实例代码】
2016/05/06 Javascript
实例讲解jQuery中对事件的命名空间的运用
2016/05/24 Javascript
EasyUI布局 高度自适应
2016/06/04 Javascript
nodejs利用http模块实现银行卡所属银行查询和骚扰电话验证示例
2016/12/30 NodeJs
Javascript 实现计算器时间功能详解及实例(二)
2017/01/08 Javascript
jQuery表格的维护和删除操作
2017/02/03 Javascript
js实现滑动到页面底部自动加载更多功能
2017/02/15 Javascript
Bootstrap常用组件学习(整理)
2017/03/24 Javascript
vue.js实现备忘录功能的方法
2017/07/10 Javascript
vue项目base64字符串转图片的实现代码
2018/07/13 Javascript
Windows上node.js的多版本管理工具用法实例分析
2019/11/06 Javascript
React.js组件实现拖拽排序组件功能过程解析
2020/04/27 Javascript
新年快乐! python实现绚烂的烟花绽放效果
2019/01/30 Python
TensorFLow 不同大小图片的TFrecords存取实例
2020/01/20 Python
基于matplotlib xticks用法详解
2020/04/16 Python
Python实现JS解密并爬取某音漫客网站
2020/10/23 Python
Python tkinter实现日期选择器
2021/02/22 Python
美国正版电视节目和电影在线观看:Hulu
2018/05/24 全球购物
The North Face官方旗舰店:美国著名户外品牌
2020/09/28 全球购物
哈理工毕业生的求职信
2013/12/22 职场文书
2014年学习全国道德模范事迹思想汇报
2014/09/15 职场文书
离婚协议书怎么写(范本参考)
2014/09/30 职场文书
2015年党员个人剖析材料
2014/12/18 职场文书
雷锋的观后感
2015/06/10 职场文书
2016春季幼儿园开学寄语
2015/12/03 职场文书
使用HttpSessionListener监听器实战
2022/03/17 Java/Android