python实现数据预处理之填充缺失值的示例


Posted in Python onDecember 22, 2017

1、给定一个数据集noise-data-1.txt,该数据集中保护大量的缺失值(空格、不完整值等)。利用“全局常量”、“均值或者中位数”来填充缺失值。

noise-data-1.txt:

5.1 3.5 1.4 0.2
4.9 3 1.4 0.2
4.7 3.2 1.3 0.2
4.6 3.1 1.5 0.2
5 3.6 1.4 0.2
5.4 3.9 1.7 0.4
4.6 3.4 1.4 0.3
5 3.4 1.5 0.2
4.4 2.9 1.4 0.2
4.9 -3.1 1.5 0.1
5.4 3.7 1.5 0.2
4.8 3.4 1.6 0.2
4.8 3 -1.4 0.1
4.3 3 1.1 0.1
5.8 4 1.2 0.2
5.7 4.4 1.5 0.4
5.4 3.9 1.3 0.4
5.1 3.5 1.4 0.3
5.7 3.8 1.7 0.3
5.1 3.8 -1.5 0.3
5.4 3.4 1.7 0.2
5.1 3.7 1.5 0.4
4.6 3.6 1 0.2
5.1 3.3 1.7 0.5
4.8 3.4 1.9 0.2

解题思路:首先读入数据,对数据进行处理,去掉空行,利用 “均值来填充缺失值,本题利用Python语言实现,代码如下:

import numpy as np
data = []
my_list = []
con=0
noise_data = open('noise-data-1.txt') 
clean_data = open("clean_data3.txt", 'w')
for line in noise_data.readlines():
 if len(line) == 0:
 break
 if line.count('\n') == len(line):
 continue 
 dataline =line.strip().split('\t')
 my_list.append(dataline)
 con+=1
for i in range(0,con):
 for j in range(0,len(my_list[i])):
 if my_list[i][j].count('.')==0:
  miss_row=[]
  for a in range(0,len(my_list[i])):
  if float(my_list[i][a])<0:
   miss_row.append(-float(my_list[i][a])) 
  miss_row.append(float(my_list[i][a])) 
  my_average=round(np.average(miss_row),1)
  my_list[i][j]=my_average
 else:
  if float(my_list[i][j])<0:
   my_list[i][j]=-float(my_list[i][j]) 
  my_list[i][j]=float(my_list[i][j]) 
print my_list
def file_write(filename,data_list):
 file1=open(filename,'w')
 for i in data_list:
 for j in i:
  if type(j)!=str:
  j=str(j)
  file1.write(j)
  file1.write(' ')
 file1.write('\n')
 file1.close()
 return file1
filename='clean_data.txt'
file_write(filename,my_list)

运行结果如下:

python实现数据预处理之填充缺失值的示例

以上这篇python实现数据预处理之填充缺失值的示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python isinstance判断对象类型
Sep 06 Python
Python 初始化多维数组代码
Sep 06 Python
Python实现将数据库一键导出为Excel表格的实例
Dec 30 Python
python list元素为tuple时的排序方法
Apr 18 Python
Python实现的建造者模式示例
Aug 06 Python
python批量修改图片后缀的方法(png到jpg)
Oct 25 Python
Django REST framework 分页的实现代码
Jun 19 Python
python pytest进阶之conftest.py详解
Jun 27 Python
Django框架视图函数设计示例
Jul 29 Python
基于Python实现扑克牌面试题
Dec 11 Python
解决python 虚拟环境删除包无法加载的问题
Jul 13 Python
matplotlib基础绘图命令之bar的使用方法
Aug 13 Python
NetworkX之Prim算法(实例讲解)
Dec 22 #Python
Python实现控制台中的进度条功能代码
Dec 22 #Python
Python中的探索性数据分析(功能式)
Dec 22 #Python
Python反射用法实例简析
Dec 22 #Python
Python文本特征抽取与向量化算法学习
Dec 22 #Python
用Python实现KNN分类算法
Dec 22 #Python
Python数据拟合与广义线性回归算法学习
Dec 22 #Python
You might like
Smarty结合Ajax实现无刷新留言本实例
2007/01/02 PHP
让PHP支持断点续传的源码
2010/05/16 PHP
php学习笔记(三)操作符与控制结构
2011/08/06 PHP
php启用zlib压缩文件的配置方法
2013/06/12 PHP
使用php将某个目录下面的所有文件罗列出来的方法详解
2013/06/21 PHP
PHP获取短链接跳转后的真实地址和响应头信息的方法
2014/07/25 PHP
Laravel中注册Facades的步骤详解
2016/03/16 PHP
用js怎么把&amp;字符换成&quot;&amp;amp:&quot;
2006/10/19 Javascript
JavaScript使用过程中需要注意的地方和一些基本语法
2010/08/26 Javascript
JavaScript Title、alt提示(Tips)实现源码解读
2010/12/12 Javascript
使用jQuery实现星级评分代码分享
2014/12/09 Javascript
jquery实现增加删除行的方法
2015/02/03 Javascript
动态加载jQuery的方法
2015/06/16 Javascript
利用Angularjs和bootstrap实现购物车功能
2016/08/31 Javascript
基于jquery实现的银行卡号每隔4位自动插入空格的实现代码
2016/11/22 Javascript
bootstrapValidator 重新启用提交按钮的方法
2017/02/20 Javascript
JS+CSS实现网页加载中的动画效果
2017/10/27 Javascript
微信小程序6位或多位验证码密码输入框功能的实现代码
2018/05/29 Javascript
Promise扫盲贴
2019/06/24 Javascript
EasyUI 数据表格datagrid列自适应内容宽度的实现
2019/07/18 Javascript
关于你不想知道的所有Python3 unicode特性
2014/11/28 Python
python简单获取本机计算机名和IP地址的方法
2015/06/03 Python
Python中列表list以及list与数组array的相互转换实现方法
2017/09/22 Python
Python实现的选择排序算法原理与用法实例分析
2017/11/22 Python
Python基于opencv的图像压缩算法实例分析
2018/05/03 Python
基于TensorFlow的CNN实现Mnist手写数字识别
2020/06/17 Python
Python实现爬取并分析电商评论
2020/06/19 Python
CSS3制作文字半透明倒影效果的两种实现方式
2014/08/08 HTML / CSS
泰国网上购物:Shopee泰国
2018/09/14 全球购物
css animation配合SVG制作能量流动效果
2021/03/24 HTML / CSS
会计专业自我鉴定范文
2013/10/06 职场文书
教师工作自我鉴定范文
2014/09/14 职场文书
2014年酒店服务员工作总结
2014/12/08 职场文书
乌镇导游词
2015/02/02 职场文书
大学生社会实践活动总结报告
2015/05/06 职场文书
漂亮妈妈观后感
2015/06/08 职场文书