Python 文本文件内容批量抽取实例


Posted in Python onDecember 10, 2018

Python新手编写脚本处理数据,各种心酸各种语法查找,以此留念!

原始数据格式如下图所示:

Python 文本文件内容批量抽取实例

这里是一个人脸测试数据,其中每行第一个为测试图片编号,后面为Top 7图片编号及其对应的评分,即与测试图片的相似度度量结果。我们这里的目的是将每行Top 7对应的评分数据抽取出来,并且将评分第二的数值与一个阈值(这里是0.7)进行比较,超过阈值表示此次测试成功,结果为正样本,记为1,否则置0。并最终将其保存至另一个文本文件用于作为机器学习模型的训练样本数据。

Python脚本处理后的文件格式如下所示:

Python 文本文件内容批量抽取实例

对应的Python代码如下所示,附有小白详细注释。

# -*- coding: cp936 -*-
import re
import linecache
filename = 'face_test_data.txt'
 
with open(filename, 'r') as f:
 line = f.readline()
 while line:
  eachline = line.split()###按行读取文本文件
  #print eachline 返回一个列表,以空格作为元素拆分标识
  #print line 返回的是一整行数据,相当于一个字符串元素
  count = len(eachline)#返回列表长度,即列表元素数目
  n = 0
  element = []#初始化空列表用于存储所需评分数据
  while n < count:
   elem_index = eachline[n:n+1] #类型为列表
   #print elem_index, len(elem_index[0])
   #print elem_index 返回类型为列表
   if len(elem_index[0]) > 24:
    element.append(elem_index[0][25:])
   #element = [qiege(elem_index[n]) for elem_index in eachline]
   n=n+1
  #print element[1] #概率数值列表
  
  if element[1] >= '0.7':
   element.append(1)
   #print '1'
  else:
   element.append(0)
   #print '0'
   
  #生成每行末尾有\t文件
  ''' 
  file = open('preprocess.txt', 'a')
  for i in range(len(element)):
   file.write(str(element[i])+'\t')
  file.write('\n')
  file.close()
  '''
  #生成每行末尾无\t文件,可直接用于np.loadtxt()读取文本生成矩阵数据
  file = open('_preprocess.txt', 'a')
  for i in range(len(element)-1):
   file.write(str(element[i])+'\t')
  file.write(str(element[-1])+'\n')
  #file.write('\n')
  file.close() 
 
  line = f.readline()

以上这篇Python 文本文件内容批量抽取实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python查询mysql中文乱码问题
Nov 09 Python
在Python的Django框架中创建和使用模版
Jul 15 Python
Django验证码的生成与使用示例
May 20 Python
Python基于回溯法子集树模板解决选排问题示例
Sep 07 Python
用Python读取几十万行文本数据
Dec 24 Python
python3人脸识别的两种方法
Apr 25 Python
Python Opencv实现图像轮廓识别功能
Mar 23 Python
django使用haystack调用Elasticsearch实现索引搜索
Jul 24 Python
Python基本类型的连接组合和互相转换方式(13种)
Dec 16 Python
windows上彻底删除jupyter notebook的实现
Apr 13 Python
Python函数参数分类原理详解
May 28 Python
Python Map 函数的使用
Aug 28 Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
python文件拆分与重组实例
Dec 10 #Python
You might like
php 无限分类 树形数据格式化代码
2016/10/11 PHP
利用PHP获取汉字首字母并且分组排序详解
2017/10/22 PHP
永不消失的title提示代码
2007/02/15 Javascript
引入JS文件IE6报语法错误或缺少对象问题的解决方法
2014/01/09 Javascript
简述JavaScript中正则表达式的使用方法
2015/06/15 Javascript
理解js回收机制通俗易懂版
2016/02/29 Javascript
vuejs在解析时出现闪烁的原因及防止闪烁的方法
2016/09/19 Javascript
概述BootStrap中role=&quot;form&quot;及role作用角色
2016/12/08 Javascript
JS实现京东首页之页面顶部、Logo和搜索框功能
2017/01/12 Javascript
ES6新特性之函数的扩展实例详解
2017/04/01 Javascript
Vue.js中关于侦听器(watch)的高级用法示例
2018/05/02 Javascript
如何为你的JS项目添加智能提示与类型检查详解
2019/03/12 Javascript
如何在Vue中抽离接口配置文件
2019/10/31 Javascript
Vue 技巧之控制父类的 slot
2020/02/24 Javascript
jQuery实现B2B网站后台管理系统侧导航
2020/07/08 jQuery
[01:19]2014DOTA2国际邀请赛 采访TITAN战队ohaiyo 能赢DK很幸运
2014/07/12 DOTA
[19:15]DK战队纪录片
2014/09/02 DOTA
[59:07]海涛为你详解DOTA2新版本“贤哲秘契”
2014/11/22 DOTA
python的Template使用指南
2014/09/11 Python
Python中列表和元组的相关语句和方法讲解
2015/08/20 Python
Python实现简单的语音识别系统
2017/12/13 Python
把pandas转换int型为str型的方法
2019/01/29 Python
python flask web服务实现更换默认端口和IP的方法
2019/07/26 Python
python3实现单目标粒子群算法
2019/11/14 Python
css3如何绘制一个圆圆的loading转圈动画
2018/01/09 HTML / CSS
List, Set, Map是否继承自Collection接口?
2016/05/16 面试题
应聘自荐书
2013/10/08 职场文书
即将毕业大学生自荐信
2014/01/24 职场文书
法制报告会主持词
2014/04/02 职场文书
2014年党务公开工作总结
2014/12/09 职场文书
2015年学生会个人工作总结
2015/04/09 职场文书
党员身份证明材料
2015/06/19 职场文书
二十年同学聚会感言
2015/07/30 职场文书
简单聊聊Golang中defer预计算参数
2022/03/25 Golang
python井字棋游戏实现人机对战
2022/04/28 Python
使用vuex-persistedstate本地存储vuex
2022/04/29 Vue.js