Python 文本文件内容批量抽取实例


Posted in Python onDecember 10, 2018

Python新手编写脚本处理数据,各种心酸各种语法查找,以此留念!

原始数据格式如下图所示:

Python 文本文件内容批量抽取实例

这里是一个人脸测试数据,其中每行第一个为测试图片编号,后面为Top 7图片编号及其对应的评分,即与测试图片的相似度度量结果。我们这里的目的是将每行Top 7对应的评分数据抽取出来,并且将评分第二的数值与一个阈值(这里是0.7)进行比较,超过阈值表示此次测试成功,结果为正样本,记为1,否则置0。并最终将其保存至另一个文本文件用于作为机器学习模型的训练样本数据。

Python脚本处理后的文件格式如下所示:

Python 文本文件内容批量抽取实例

对应的Python代码如下所示,附有小白详细注释。

# -*- coding: cp936 -*-
import re
import linecache
filename = 'face_test_data.txt'
 
with open(filename, 'r') as f:
 line = f.readline()
 while line:
  eachline = line.split()###按行读取文本文件
  #print eachline 返回一个列表,以空格作为元素拆分标识
  #print line 返回的是一整行数据,相当于一个字符串元素
  count = len(eachline)#返回列表长度,即列表元素数目
  n = 0
  element = []#初始化空列表用于存储所需评分数据
  while n < count:
   elem_index = eachline[n:n+1] #类型为列表
   #print elem_index, len(elem_index[0])
   #print elem_index 返回类型为列表
   if len(elem_index[0]) > 24:
    element.append(elem_index[0][25:])
   #element = [qiege(elem_index[n]) for elem_index in eachline]
   n=n+1
  #print element[1] #概率数值列表
  
  if element[1] >= '0.7':
   element.append(1)
   #print '1'
  else:
   element.append(0)
   #print '0'
   
  #生成每行末尾有\t文件
  ''' 
  file = open('preprocess.txt', 'a')
  for i in range(len(element)):
   file.write(str(element[i])+'\t')
  file.write('\n')
  file.close()
  '''
  #生成每行末尾无\t文件,可直接用于np.loadtxt()读取文本生成矩阵数据
  file = open('_preprocess.txt', 'a')
  for i in range(len(element)-1):
   file.write(str(element[i])+'\t')
  file.write(str(element[-1])+'\n')
  #file.write('\n')
  file.close() 
 
  line = f.readline()

以上这篇Python 文本文件内容批量抽取实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中正则表达式的用法实例汇总
Aug 18 Python
python元组操作实例解析
Sep 23 Python
Python获取单个程序CPU使用情况趋势图
Mar 10 Python
Python实现的字典值比较功能示例
Jan 08 Python
Python字典循环添加一键多值的用法实例
Jan 20 Python
python保存字典和读取字典的实例代码
Jul 07 Python
Python利用requests模块下载图片实例代码
Aug 12 Python
Python多线程模块Threading用法示例小结
Nov 09 Python
tensorflow 实现自定义梯度反向传播代码
Feb 10 Python
django model object序列化实例
Mar 13 Python
Python利器openpyxl之操作excel表格
Apr 17 Python
Python OpenCV 彩色与灰度图像的转换实现
Jun 05 Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
python文件拆分与重组实例
Dec 10 #Python
You might like
php的一些小问题
2010/07/03 PHP
PHP中如何定义和使用常量
2013/02/28 PHP
ThinkPHP3.1新特性之查询条件预处理简介
2014/06/19 PHP
javascript的数据类型、字面量、变量介绍
2012/05/23 Javascript
js实现的map方法示例代码
2014/01/13 Javascript
java和javascript获取word文档的书签位置对比
2014/06/19 Javascript
Jquery $.getJSON 在IE下的缓存问题解决方法
2014/10/10 Javascript
javascript事件委托的方式绑定详解
2015/06/10 Javascript
Vue数据驱动模拟实现1
2017/01/11 Javascript
vue 多入口文件搭建 vue多页面搭建的实例讲解
2018/03/12 Javascript
jQuery实现带右侧索引功能的通讯录示例【附源码下载】
2018/04/17 jQuery
this在vue和小程序中的使用详解
2019/01/28 Javascript
微信小程序实现跳转的几种方式总结(推荐)
2019/04/24 Javascript
JS中的算法与数据结构之链表(Linked-list)实例详解
2019/08/20 Javascript
javascript设计模式 ? 外观模式原理与用法实例分析
2020/04/15 Javascript
ESLint 是如何检查 .vue 文件的
2020/11/30 Vue.js
wxpython 学习笔记 第一天
2009/02/09 Python
python3.3教程之模拟百度登陆代码分享
2014/01/16 Python
Python编程实现的简单Web服务器示例
2017/06/22 Python
Python 异常处理的实例详解
2017/09/11 Python
Python+树莓派+YOLO打造一款人工智能照相机
2018/01/02 Python
Python读取xlsx文件的实现方法
2019/07/04 Python
基于python框架Scrapy爬取自己的博客内容过程详解
2019/08/05 Python
关于Numpy中的行向量和列向量详解
2019/11/30 Python
python实现图像拼接功能
2020/03/23 Python
python3.9实现pyinstaller打包python文件成exe
2020/12/13 Python
大学生个人总结的自我评价
2013/10/05 职场文书
中学生国旗下讲话稿
2014/04/26 职场文书
幼儿园社区活动总结
2014/07/07 职场文书
开展批评与自我批评发言材料
2014/10/17 职场文书
求职简历自我评价范文
2015/03/10 职场文书
2015年度个人教学工作总结
2015/05/20 职场文书
法人身份证明书
2015/06/18 职场文书
Java Shutdown Hook场景使用及源码分析
2021/06/15 Java/Android
MySQL运行报错:“Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggre”解决方法
2022/06/14 MySQL
ubuntu开机后ROS程序自启动问题
2022/12/24 Servers