Python 文本文件内容批量抽取实例


Posted in Python onDecember 10, 2018

Python新手编写脚本处理数据,各种心酸各种语法查找,以此留念!

原始数据格式如下图所示:

Python 文本文件内容批量抽取实例

这里是一个人脸测试数据,其中每行第一个为测试图片编号,后面为Top 7图片编号及其对应的评分,即与测试图片的相似度度量结果。我们这里的目的是将每行Top 7对应的评分数据抽取出来,并且将评分第二的数值与一个阈值(这里是0.7)进行比较,超过阈值表示此次测试成功,结果为正样本,记为1,否则置0。并最终将其保存至另一个文本文件用于作为机器学习模型的训练样本数据。

Python脚本处理后的文件格式如下所示:

Python 文本文件内容批量抽取实例

对应的Python代码如下所示,附有小白详细注释。

# -*- coding: cp936 -*-
import re
import linecache
filename = 'face_test_data.txt'
 
with open(filename, 'r') as f:
 line = f.readline()
 while line:
  eachline = line.split()###按行读取文本文件
  #print eachline 返回一个列表,以空格作为元素拆分标识
  #print line 返回的是一整行数据,相当于一个字符串元素
  count = len(eachline)#返回列表长度,即列表元素数目
  n = 0
  element = []#初始化空列表用于存储所需评分数据
  while n < count:
   elem_index = eachline[n:n+1] #类型为列表
   #print elem_index, len(elem_index[0])
   #print elem_index 返回类型为列表
   if len(elem_index[0]) > 24:
    element.append(elem_index[0][25:])
   #element = [qiege(elem_index[n]) for elem_index in eachline]
   n=n+1
  #print element[1] #概率数值列表
  
  if element[1] >= '0.7':
   element.append(1)
   #print '1'
  else:
   element.append(0)
   #print '0'
   
  #生成每行末尾有\t文件
  ''' 
  file = open('preprocess.txt', 'a')
  for i in range(len(element)):
   file.write(str(element[i])+'\t')
  file.write('\n')
  file.close()
  '''
  #生成每行末尾无\t文件,可直接用于np.loadtxt()读取文本生成矩阵数据
  file = open('_preprocess.txt', 'a')
  for i in range(len(element)-1):
   file.write(str(element[i])+'\t')
  file.write(str(element[-1])+'\n')
  #file.write('\n')
  file.close() 
 
  line = f.readline()

以上这篇Python 文本文件内容批量抽取实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
利用Python和OpenCV库将URL转换为OpenCV格式的方法
Mar 27 Python
Python中time模块和datetime模块的用法示例
Feb 28 Python
Python实现判断一行代码是否为注释的方法
May 23 Python
深入浅析Python2.x和3.x版本的主要区别
Nov 30 Python
Python反爬虫技术之防止IP地址被封杀的讲解
Jan 09 Python
python快排算法详解
Mar 04 Python
PyQt5 QTable插入图片并动态更新的实例
Jun 18 Python
在django中图片上传的格式校验及大小方法
Jul 28 Python
python实现按首字母分类查找功能
Oct 31 Python
在Pytorch中计算卷积方法的区别详解(conv2d的区别)
Jan 03 Python
使用 tf.nn.dynamic_rnn 展开时间维度方式
Jan 21 Python
后端开发使用pycharm的技巧(推荐)
Mar 27 Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
python文件拆分与重组实例
Dec 10 #Python
You might like
分页详解 从此分页无忧(PHP+mysql)
2007/11/23 PHP
php设计模式 Bridge (桥接模式)
2011/06/26 PHP
PHP哈希表实现算法原理解析
2020/12/11 PHP
基于jQuery的投票系统显示结果插件
2011/08/12 Javascript
JavaScript NaN和Infinity特殊值 [译]
2012/09/20 Javascript
JQuery each()嵌套使用小结
2014/04/18 Javascript
jQuery实现统计复选框选中数量
2014/11/24 Javascript
详解AngularJS中自定义指令的使用
2015/06/17 Javascript
初识angular框架后的所思所想
2016/02/19 Javascript
AngularJS ng-style中使用filter
2016/09/21 Javascript
NodeJs form-data格式传输文件的方法
2017/12/13 NodeJs
python连接mysql调用存储过程示例
2014/03/05 Python
基于Python实现的扫雷游戏实例代码
2014/08/01 Python
python检查序列seq是否含有aset中项的方法
2015/06/30 Python
Django admin实现图书管理系统菜鸟级教程完整实例
2017/12/12 Python
Pandas 数据框增、删、改、查、去重、抽样基本操作方法
2018/04/12 Python
python selenium执行所有测试用例并生成报告的方法
2019/02/13 Python
python自定义线程池控制线程数量的示例
2019/02/22 Python
python实现图片插入文字
2019/11/26 Python
提高python代码运行效率的一些建议
2020/09/29 Python
布局和排版教程 纯css3实现图片三角形排列
2014/10/17 HTML / CSS
如何让IE9以下版本(ie6/7/8)认识html5元素
2013/04/01 HTML / CSS
爱游人:Travelliker
2017/09/05 全球购物
意大利咖啡、浓缩咖啡和浓缩咖啡机:illy caffe
2019/03/20 全球购物
Fox Racing英国官网:越野摩托车和山地自行车服装
2020/02/26 全球购物
联想C++笔试题
2012/06/13 面试题
网络技术支持面试题
2013/04/22 面试题
建筑工程技术应届生自荐信
2013/09/27 职场文书
学校读书活动总结
2014/06/30 职场文书
学校党委副书记个人对照检查材料思想汇报
2014/09/28 职场文书
优秀大学生自荐信
2015/03/26 职场文书
美容院管理规章制度
2015/08/05 职场文书
python中的装饰器该如何使用
2021/06/18 Python
Win10 和 Win11可以共存吗? win10/11产品生命周期/服务更新介绍
2021/11/21 数码科技
大型强子对撞机再次重启探索“第五种自然力”
2022/04/29 数码科技
python实现双向链表原理
2022/05/25 Python