python实现数据预处理之填充缺失值的示例


Posted in Python onDecember 22, 2017

1、给定一个数据集noise-data-1.txt,该数据集中保护大量的缺失值(空格、不完整值等)。利用“全局常量”、“均值或者中位数”来填充缺失值。

noise-data-1.txt:

5.1 3.5 1.4 0.2
4.9 3 1.4 0.2
4.7 3.2 1.3 0.2
4.6 3.1 1.5 0.2
5 3.6 1.4 0.2
5.4 3.9 1.7 0.4
4.6 3.4 1.4 0.3
5 3.4 1.5 0.2
4.4 2.9 1.4 0.2
4.9 -3.1 1.5 0.1
5.4 3.7 1.5 0.2
4.8 3.4 1.6 0.2
4.8 3 -1.4 0.1
4.3 3 1.1 0.1
5.8 4 1.2 0.2
5.7 4.4 1.5 0.4
5.4 3.9 1.3 0.4
5.1 3.5 1.4 0.3
5.7 3.8 1.7 0.3
5.1 3.8 -1.5 0.3
5.4 3.4 1.7 0.2
5.1 3.7 1.5 0.4
4.6 3.6 1 0.2
5.1 3.3 1.7 0.5
4.8 3.4 1.9 0.2

解题思路:首先读入数据,对数据进行处理,去掉空行,利用 “均值来填充缺失值,本题利用Python语言实现,代码如下:

import numpy as np
data = []
my_list = []
con=0
noise_data = open('noise-data-1.txt') 
clean_data = open("clean_data3.txt", 'w')
for line in noise_data.readlines():
 if len(line) == 0:
 break
 if line.count('\n') == len(line):
 continue 
 dataline =line.strip().split('\t')
 my_list.append(dataline)
 con+=1
for i in range(0,con):
 for j in range(0,len(my_list[i])):
 if my_list[i][j].count('.')==0:
  miss_row=[]
  for a in range(0,len(my_list[i])):
  if float(my_list[i][a])<0:
   miss_row.append(-float(my_list[i][a])) 
  miss_row.append(float(my_list[i][a])) 
  my_average=round(np.average(miss_row),1)
  my_list[i][j]=my_average
 else:
  if float(my_list[i][j])<0:
   my_list[i][j]=-float(my_list[i][j]) 
  my_list[i][j]=float(my_list[i][j]) 
print my_list
def file_write(filename,data_list):
 file1=open(filename,'w')
 for i in data_list:
 for j in i:
  if type(j)!=str:
  j=str(j)
  file1.write(j)
  file1.write(' ')
 file1.write('\n')
 file1.close()
 return file1
filename='clean_data.txt'
file_write(filename,my_list)

运行结果如下:

python实现数据预处理之填充缺失值的示例

以上这篇python实现数据预处理之填充缺失值的示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python二叉树的实现实例
Nov 21 Python
举例详解Python中threading模块的几个常用方法
Jun 18 Python
Python实现简单过滤文本段的方法
May 24 Python
浅谈Tensorflow模型的保存与恢复加载
Apr 26 Python
Flask实现图片的上传、下载及展示示例代码
Aug 03 Python
使用Python监视指定目录下文件变更的方法
Oct 15 Python
python打开windows应用程序的实例
Jun 28 Python
Python IDE Pycharm中的快捷键列表用法
Aug 08 Python
python 微信好友特征数据分析及可视化
Jan 07 Python
Python tkinter实现简单加法计算器代码实例
May 13 Python
基于Keras的格式化输出Loss实现方式
Jun 17 Python
tensorflow 2.0模式下训练的模型转成 tf1.x 版本的pb模型实例
Jun 22 Python
NetworkX之Prim算法(实例讲解)
Dec 22 #Python
Python实现控制台中的进度条功能代码
Dec 22 #Python
Python中的探索性数据分析(功能式)
Dec 22 #Python
Python反射用法实例简析
Dec 22 #Python
Python文本特征抽取与向量化算法学习
Dec 22 #Python
用Python实现KNN分类算法
Dec 22 #Python
Python数据拟合与广义线性回归算法学习
Dec 22 #Python
You might like
php中3种方法统计字符串中每种字符的个数并排序
2012/08/27 PHP
异步加载技术实现当滚动条到最底部的瀑布流效果
2014/09/16 PHP
PHP连接MYSQL数据库实例代码
2016/01/20 PHP
thinkphp3.2实现在线留言提交验证码功能
2017/07/19 PHP
win10 apache配置虚拟主机后localhost无法使用的解决方法
2018/01/27 PHP
JavaScript 轻松搞定快捷留言功能 只需一行代码
2010/04/01 Javascript
jQuery入门介绍之基础知识
2015/01/13 Javascript
js实现新浪微博首页效果
2015/10/16 Javascript
Vue用v-for给循环标签自身属性添加属性值的方法
2018/10/18 Javascript
关于微信小程序获取小程序码并接受buffer流保存为图片的方法
2019/06/07 Javascript
vue data恢复初始化数据的实现方法
2019/10/31 Javascript
vue excel上传预览和table内容下载到excel文件中
2019/12/10 Javascript
nodejs实现的http、https 请求封装操作示例
2020/02/06 NodeJs
微信小程序个人中心的列表控件实现代码
2020/04/26 Javascript
Python实现的一个简单LRU cache
2014/09/26 Python
Django数据库操作的实例(增删改查)
2017/09/04 Python
在Pycharm中设置默认自动换行的方法
2019/01/16 Python
Python Pandas 如何shuffle(打乱)数据
2019/07/30 Python
python 使用pygame工具包实现贪吃蛇游戏(多彩版)
2019/10/30 Python
TensorBoard 计算图的查看方式
2020/02/15 Python
CSS3动画特效在活动页中的应用
2020/01/21 HTML / CSS
Superdry瑞典官网:英国日本街头风品牌
2017/05/17 全球购物
美国环保婴儿用品公司:The Honest Company
2017/11/23 全球购物
Notino瑞典:购买香水和美容产品
2019/07/26 全球购物
Simons官方网站:加拿大时尚零售商
2020/02/20 全球购物
几个判断型的面试题
2012/07/03 面试题
文员个人的求职信范文
2013/09/26 职场文书
摄影展策划方案
2014/06/02 职场文书
小学学校门卫岗位职责
2014/08/03 职场文书
2015年会计个人工作总结
2015/04/02 职场文书
女方离婚起诉书
2015/05/18 职场文书
新生开学寄语大全
2015/05/28 职场文书
高一数学教学反思
2016/02/18 职场文书
《夜莺的歌声》教学反思
2016/02/22 职场文书
Django框架中表单的用法
2022/06/10 Python