Python 文本文件内容批量抽取实例


Posted in Python onDecember 10, 2018

Python新手编写脚本处理数据,各种心酸各种语法查找,以此留念!

原始数据格式如下图所示:

Python 文本文件内容批量抽取实例

这里是一个人脸测试数据,其中每行第一个为测试图片编号,后面为Top 7图片编号及其对应的评分,即与测试图片的相似度度量结果。我们这里的目的是将每行Top 7对应的评分数据抽取出来,并且将评分第二的数值与一个阈值(这里是0.7)进行比较,超过阈值表示此次测试成功,结果为正样本,记为1,否则置0。并最终将其保存至另一个文本文件用于作为机器学习模型的训练样本数据。

Python脚本处理后的文件格式如下所示:

Python 文本文件内容批量抽取实例

对应的Python代码如下所示,附有小白详细注释。

# -*- coding: cp936 -*-
import re
import linecache
filename = 'face_test_data.txt'
 
with open(filename, 'r') as f:
 line = f.readline()
 while line:
  eachline = line.split()###按行读取文本文件
  #print eachline 返回一个列表,以空格作为元素拆分标识
  #print line 返回的是一整行数据,相当于一个字符串元素
  count = len(eachline)#返回列表长度,即列表元素数目
  n = 0
  element = []#初始化空列表用于存储所需评分数据
  while n < count:
   elem_index = eachline[n:n+1] #类型为列表
   #print elem_index, len(elem_index[0])
   #print elem_index 返回类型为列表
   if len(elem_index[0]) > 24:
    element.append(elem_index[0][25:])
   #element = [qiege(elem_index[n]) for elem_index in eachline]
   n=n+1
  #print element[1] #概率数值列表
  
  if element[1] >= '0.7':
   element.append(1)
   #print '1'
  else:
   element.append(0)
   #print '0'
   
  #生成每行末尾有\t文件
  ''' 
  file = open('preprocess.txt', 'a')
  for i in range(len(element)):
   file.write(str(element[i])+'\t')
  file.write('\n')
  file.close()
  '''
  #生成每行末尾无\t文件,可直接用于np.loadtxt()读取文本生成矩阵数据
  file = open('_preprocess.txt', 'a')
  for i in range(len(element)-1):
   file.write(str(element[i])+'\t')
  file.write(str(element[-1])+'\n')
  #file.write('\n')
  file.close() 
 
  line = f.readline()

以上这篇Python 文本文件内容批量抽取实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用自定义user-agent抓取网页的方法
Apr 15 Python
python实现基本进制转换的方法
Jul 11 Python
Python与人工神经网络:使用神经网络识别手写图像介绍
Dec 19 Python
Python内置模块ConfigParser实现配置读写功能的方法
Feb 12 Python
python实现单链表中删除倒数第K个节点的方法
Sep 28 Python
Django项目创建到启动详解(最全最详细)
Sep 07 Python
python+mysql实现个人论文管理系统
Oct 25 Python
Python生成个性签名图片获取GUI过程解析
Dec 16 Python
pytorch 实现删除tensor中的指定行列
Jan 13 Python
Pycharm安装并配置jupyter notebook的实现
May 18 Python
django正续或者倒序查库实例
May 19 Python
Python3中的tuple函数知识点讲解
Jan 03 Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
python文件拆分与重组实例
Dec 10 #Python
You might like
Search File Contents PHP 搜索目录文本内容的代码
2010/02/21 PHP
Codeigniter生成Excel文档的简单方法
2014/06/12 PHP
php in_array() 检查数组中是否存在某个值详解
2016/11/23 PHP
php实现的pdo公共类定义与用法示例
2017/07/19 PHP
详解laravel安装使用Passport(Api认证)
2018/07/27 PHP
使用laravel和ajax实现整个页面无刷新的操作方法
2019/10/03 PHP
laravel框架上传图片实现实时预览功能
2019/10/14 PHP
js 居中漂浮广告
2010/03/21 Javascript
Jquery插件之打造自定义的select标签
2011/11/30 Javascript
Ext JS 4实现带week(星期)的日期选择控件(实战二)
2013/08/21 Javascript
Node.js中HTTP模块与事件模块详解
2014/11/14 Javascript
3个可以改善用户体验的AngularJS指令介绍
2015/06/18 Javascript
JS获取当前使用的浏览器名字以及版本号实现方法
2016/08/19 Javascript
老生常谈javascript变量的命名规范和注释
2016/09/29 Javascript
jQuery 1.9版本以上的浏览器判断方法代码分享
2017/08/28 jQuery
微信小程序实现倒计时补零功能
2018/07/09 Javascript
简述Vue中容易被忽视的知识点
2019/12/09 Javascript
[01:02:38]DOTA2-DPC中国联赛定级赛 LBZS vs Phoenix BO3第二场 1月10日
2021/03/11 DOTA
python实现将pvr格式转换成pvr.ccz的方法
2015/04/28 Python
Python浅复制中对象生存周期实例分析
2018/04/02 Python
详解Python基础random模块随机数的生成
2019/03/23 Python
Django实现发送邮件功能
2019/07/18 Python
python栈的基本定义与使用方法示例【初始化、赋值、入栈、出栈等】
2019/10/24 Python
python实现一个点绕另一个点旋转后的坐标
2019/12/04 Python
keras 多gpu并行运行案例
2020/06/10 Python
python实现启动一个外部程序,并且不阻塞当前进程
2020/12/05 Python
蒂芙尼澳大利亚官方网站:Tiffany&Co. Australia
2017/08/27 全球购物
护理自荐信范文
2013/10/05 职场文书
正规的求职信范文分享
2013/12/11 职场文书
教师党员一句话承诺
2014/03/28 职场文书
考试作弊检讨书
2014/10/21 职场文书
幼师求职自荐信
2015/03/26 职场文书
大学升旗仪式主持词
2015/07/04 职场文书
2016年学校“6﹒26国际禁毒日”宣传活动总结
2016/04/05 职场文书
Mysql索引失效 数据库表中有索引还是查询很慢
2022/05/15 MySQL
mysql查看表结构的三种方法总结
2022/07/07 MySQL