Python读取数据集并消除数据中的空行方法


Posted in Python onJuly 12, 2018

如下所示:

# -*- coding: utf-8 -*-
# @ author hulei 2016-5-3
from numpy import *
import operator
from os import listdir
 
import sys
reload(sys)
sys.setdefaultencoding('utf8')
 
# x,y=getDataSet_dz('iris.data.txt',4)
 
def getDataSet(filename,numberOfFeature):  #将数据集读入内存 
 fr = open(filename)
 numberOfLines = len(fr.readlines())   #get the number of lines in the file file.readlines()是把文件的全部内容读到内存,并解析成一个list
 returnMat = zeros((numberOfLines,numberOfFeature))  #prepare matrix to return 3代表数据集中特征数目###
 classLabelVector = []      #prepare labels return 
 fr = open(filename)
 index = 0
 for line in fr.readlines():
  line = line.strip()     #strip() 参数为空时,默认删除空白符(包括'\n', '\r', '\t', ' ')
  listFromLine = line.split(',')   #split 以什么为标准分割一次 分成数组中的每个元素
  returnMat[index,:] = listFromLine[0:numberOfFeature] 
  #classLabelVector.append(int(listFromLine[-1])) #append() 方法向列表的尾部添加一个新的元素
  if listFromLine[-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif listFromLine[-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
  index += 1
 return returnMat,classLabelVector
 
def getDataSet_dz(filename,numberOfFeature): #改进版,可以消除数据中的空白行
 numberOfLines = 0
 mx = []  #将数据集 去除空行后存入
 fr = open(filename)
 for line in fr.readlines():  
  line = line.strip() 
  if line != '' : #去除空白行 
   numberOfLines+=1
   mx.append( line.split(',') )
 returnMat = zeros((numberOfLines,numberOfFeature))
 classLabelVector = [] 
 for index in range(numberOfLines) :
  returnMat[index,:] = mx[index][0:numberOfFeature] 
  if mx[index][-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif mx[index][-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
 return returnMat,classLabelVector

以上这篇Python读取数据集并消除数据中的空行方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 连连看连接算法
Nov 22 Python
python requests 使用快速入门
Aug 31 Python
浅析Python装饰器以及装饰器模式
May 28 Python
Django框架实现逆向解析url的方法
Jul 04 Python
Python线程池模块ThreadPoolExecutor用法分析
Dec 28 Python
python面向对象实现名片管理系统文件版
Apr 26 Python
Python微信操控itchat的方法
May 31 Python
树莓派3 搭建 django 服务器的实例
Aug 29 Python
用OpenCV将视频分解成单帧图片,图片合成视频示例
Dec 10 Python
python实现ftp文件传输功能
Mar 20 Python
Python 输出详细的异常信息(traceback)方式
Apr 08 Python
教你使用Sublime text3搭建Python开发环境及常用插件安装另分享Sublime text3最新激活注册码
Nov 12 Python
Python实现曲线拟合操作示例【基于numpy,scipy,matplotlib库】
Jul 12 #Python
python跳过第一行快速读取文件内容的实例
Jul 12 #Python
python 读取文本文件的行数据,文件.splitlines()的方法
Jul 12 #Python
Python实现的简单读写csv文件操作示例
Jul 12 #Python
用Python分析3天破10亿的《我不是药神》到底神在哪?
Jul 12 #Python
python之文件读取一行一行的方法
Jul 12 #Python
python 读取文件并替换字段的实例
Jul 12 #Python
You might like
PHP使用redis实现统计缓存mysql压力的方法
2015/11/14 PHP
基于php实现随机合并数组并排序(原排序)
2015/11/26 PHP
Zend Framework教程之动作的基类Zend_Controller_Action详解
2016/03/07 PHP
值得分享的php+ajax实时聊天室
2016/07/20 PHP
Yii框架日志操作图文与实例详解
2019/09/09 PHP
Laravel框架数据库迁移操作实例详解
2020/04/06 PHP
基于jquery的Repeater实现代码
2010/07/17 Javascript
jQuery教程 $()包装函数来实现数组元素分页效果
2013/08/13 Javascript
js带按钮的提示框可供选择示例代码
2013/09/17 Javascript
Jquery性能优化详解
2014/05/15 Javascript
原生js制作简单的数字键盘
2015/04/24 Javascript
JavaScript中rem布局在react中的应用
2015/12/09 Javascript
jQuery解决IE6、7、8不能使用 JSON.stringify 函数的问题
2016/05/31 Javascript
详解JavaScript模块化开发
2016/12/04 Javascript
js 获取今天以及过去日期
2017/04/11 Javascript
详解使用create-react-app添加css modules、sasss和antd
2018/07/31 Javascript
nuxt.js添加环境变量,区分项目打包环境操作
2020/11/06 Javascript
python中的编码知识整理汇总
2016/01/26 Python
15行Python代码带你轻松理解令牌桶算法
2018/03/21 Python
python中virtualenvwrapper安装与使用
2018/05/20 Python
python 用下标截取字符串的实例
2018/12/25 Python
用Python解决x的n次方问题
2019/02/08 Python
基于python的socket实现单机五子棋到双人对战
2020/03/24 Python
python实现多进程通信实例分析
2019/09/01 Python
Python字典的概念及常见应用实例详解
2019/10/30 Python
Pytorch DataLoader 变长数据处理方式
2020/01/08 Python
Pandas把dataframe或series转换成list的方法
2020/06/14 Python
非凡女性奢华谦虚风格:The Modist
2017/10/28 全球购物
在C中是否有模拟继承等面向对象程序设计特性的好方法
2012/05/22 面试题
手机促销活动方案
2014/02/05 职场文书
八项规定整改措施
2014/02/12 职场文书
大学军训感言200字
2014/02/26 职场文书
外语系毕业生求职自荐信
2014/04/12 职场文书
节水口号标语
2014/06/19 职场文书
2014物价局民主生活会对照检查材料思想汇报
2014/09/24 职场文书
MySQL InnoDB ReplicaSet(副本集)简单介绍
2021/04/24 MySQL