Python读取数据集并消除数据中的空行方法


Posted in Python onJuly 12, 2018

如下所示:

# -*- coding: utf-8 -*-
# @ author hulei 2016-5-3
from numpy import *
import operator
from os import listdir
 
import sys
reload(sys)
sys.setdefaultencoding('utf8')
 
# x,y=getDataSet_dz('iris.data.txt',4)
 
def getDataSet(filename,numberOfFeature):  #将数据集读入内存 
 fr = open(filename)
 numberOfLines = len(fr.readlines())   #get the number of lines in the file file.readlines()是把文件的全部内容读到内存,并解析成一个list
 returnMat = zeros((numberOfLines,numberOfFeature))  #prepare matrix to return 3代表数据集中特征数目###
 classLabelVector = []      #prepare labels return 
 fr = open(filename)
 index = 0
 for line in fr.readlines():
  line = line.strip()     #strip() 参数为空时,默认删除空白符(包括'\n', '\r', '\t', ' ')
  listFromLine = line.split(',')   #split 以什么为标准分割一次 分成数组中的每个元素
  returnMat[index,:] = listFromLine[0:numberOfFeature] 
  #classLabelVector.append(int(listFromLine[-1])) #append() 方法向列表的尾部添加一个新的元素
  if listFromLine[-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif listFromLine[-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
  index += 1
 return returnMat,classLabelVector
 
def getDataSet_dz(filename,numberOfFeature): #改进版,可以消除数据中的空白行
 numberOfLines = 0
 mx = []  #将数据集 去除空行后存入
 fr = open(filename)
 for line in fr.readlines():  
  line = line.strip() 
  if line != '' : #去除空白行 
   numberOfLines+=1
   mx.append( line.split(',') )
 returnMat = zeros((numberOfLines,numberOfFeature))
 classLabelVector = [] 
 for index in range(numberOfLines) :
  returnMat[index,:] = mx[index][0:numberOfFeature] 
  if mx[index][-1] == 'Iris-setosa' :
   classLabelVector.append(1)
  elif mx[index][-1] == 'Iris-versicolor' :
   classLabelVector.append(2)
  else:
  #elif listFromLine[-1] == 'Iris-virginica' :
   classLabelVector.append(3)
 return returnMat,classLabelVector

以上这篇Python读取数据集并消除数据中的空行方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现计算两个时间之间相差天数的方法
May 10 Python
python在每个字符后添加空格的实例
May 07 Python
numpy使用fromstring创建矩阵的实例
Jun 15 Python
Tesserocr库的正确安装方式
Oct 19 Python
python分批定量读取文件内容,输出到不同文件中的方法
Dec 08 Python
元组列表字典(莫烦python基础)
Apr 03 Python
Python中那些 Pythonic的写法详解
Jul 02 Python
Python 求数组局部最大值的实例
Nov 26 Python
使用Tensorflow将自己的数据分割成batch训练实例
Jan 20 Python
浅谈Tensorflow 动态双向RNN的输出问题
Jan 20 Python
Python中常用的os操作汇总
Nov 05 Python
关于Python错误重试方法总结
Jan 03 Python
Python实现曲线拟合操作示例【基于numpy,scipy,matplotlib库】
Jul 12 #Python
python跳过第一行快速读取文件内容的实例
Jul 12 #Python
python 读取文本文件的行数据,文件.splitlines()的方法
Jul 12 #Python
Python实现的简单读写csv文件操作示例
Jul 12 #Python
用Python分析3天破10亿的《我不是药神》到底神在哪?
Jul 12 #Python
python之文件读取一行一行的方法
Jul 12 #Python
python 读取文件并替换字段的实例
Jul 12 #Python
You might like
php+mysql分页代码详解
2008/03/27 PHP
PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径
2014/06/30 PHP
php实现根据字符串生成对应数组的方法
2014/09/22 PHP
PHP数据对象PDO操作技巧小结
2016/09/27 PHP
yii框架无限极分类的实现方法
2017/04/08 PHP
php 人员权限管理(RBAC)实例(推荐)
2017/05/24 PHP
PHP学习笔记之session
2018/05/06 PHP
PHP使用PDO操作sqlite数据库应用案例
2019/03/07 PHP
使用laravel的migrate创建数据表的方法
2019/09/30 PHP
jquery 学习之二 属性 文本与值(text,val)
2010/11/25 Javascript
父元素与子iframe相互获取变量和元素对象的具体实现
2013/10/15 Javascript
JavaScript控制listbox列表框的项目上下移动的方法
2015/03/18 Javascript
BootStrap学习系列之Bootstrap Typeahead 组件实现百度下拉效果(续)
2016/07/07 Javascript
js断点调试经验分享
2017/12/08 Javascript
JS严格模式知识点总结
2018/02/27 Javascript
为什么使用koa2搭建微信第三方公众平台的原因
2018/05/16 Javascript
jQuery实现左右两个列表框的内容相互移动功能示例
2019/01/27 jQuery
探索JavaScript中私有成员的相关知识
2019/06/13 Javascript
vue vant中picker组件的使用
2020/11/03 Javascript
WebStorm无法正确识别Vue3组合式API的解决方案
2021/02/18 Vue.js
[41:20]2014 DOTA2华西杯精英邀请赛 5 24 NewBee VS DK
2014/05/26 DOTA
python 执行终端/控制台命令的例子
2019/07/12 Python
Python获取浏览器窗口句柄过程解析
2020/07/25 Python
详解用python -m http.server搭一个简易的本地局域网
2020/09/24 Python
利用python清除移动硬盘中的临时文件
2020/10/28 Python
浅谈matplotlib默认字体设置探索
2021/02/03 Python
法国在线购买汽车轮胎网站:123pneus.fr
2019/02/25 全球购物
屈臣氏官方旗舰店:亚洲享负盛名的保健及美妆零售商
2019/03/15 全球购物
幼儿园儿童节主持词
2014/03/21 职场文书
人事行政经理岗位职责
2014/06/18 职场文书
合作经营协议书范本
2014/09/16 职场文书
党员评议自我评价
2015/03/03 职场文书
致接力运动员加油稿
2015/07/21 职场文书
演讲稿:态度决定一切
2019/04/02 职场文书
手把手教你用SpringBoot将文件打包成zip存放或导出
2021/06/11 Java/Android
Python预测分词的实现
2021/06/18 Python