Python 文本文件内容批量抽取实例


Posted in Python onDecember 10, 2018

Python新手编写脚本处理数据,各种心酸各种语法查找,以此留念!

原始数据格式如下图所示:

Python 文本文件内容批量抽取实例

这里是一个人脸测试数据,其中每行第一个为测试图片编号,后面为Top 7图片编号及其对应的评分,即与测试图片的相似度度量结果。我们这里的目的是将每行Top 7对应的评分数据抽取出来,并且将评分第二的数值与一个阈值(这里是0.7)进行比较,超过阈值表示此次测试成功,结果为正样本,记为1,否则置0。并最终将其保存至另一个文本文件用于作为机器学习模型的训练样本数据。

Python脚本处理后的文件格式如下所示:

Python 文本文件内容批量抽取实例

对应的Python代码如下所示,附有小白详细注释。

# -*- coding: cp936 -*-
import re
import linecache
filename = 'face_test_data.txt'
 
with open(filename, 'r') as f:
 line = f.readline()
 while line:
  eachline = line.split()###按行读取文本文件
  #print eachline 返回一个列表,以空格作为元素拆分标识
  #print line 返回的是一整行数据,相当于一个字符串元素
  count = len(eachline)#返回列表长度,即列表元素数目
  n = 0
  element = []#初始化空列表用于存储所需评分数据
  while n < count:
   elem_index = eachline[n:n+1] #类型为列表
   #print elem_index, len(elem_index[0])
   #print elem_index 返回类型为列表
   if len(elem_index[0]) > 24:
    element.append(elem_index[0][25:])
   #element = [qiege(elem_index[n]) for elem_index in eachline]
   n=n+1
  #print element[1] #概率数值列表
  
  if element[1] >= '0.7':
   element.append(1)
   #print '1'
  else:
   element.append(0)
   #print '0'
   
  #生成每行末尾有\t文件
  ''' 
  file = open('preprocess.txt', 'a')
  for i in range(len(element)):
   file.write(str(element[i])+'\t')
  file.write('\n')
  file.close()
  '''
  #生成每行末尾无\t文件,可直接用于np.loadtxt()读取文本生成矩阵数据
  file = open('_preprocess.txt', 'a')
  for i in range(len(element)-1):
   file.write(str(element[i])+'\t')
  file.write(str(element[-1])+'\n')
  #file.write('\n')
  file.close() 
 
  line = f.readline()

以上这篇Python 文本文件内容批量抽取实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 分析Nginx访问日志并保存到MySQL数据库实例
Mar 13 Python
python进阶教程之函数对象(函数也是对象)
Aug 30 Python
在Python上基于Markov链生成伪随机文本的教程
Apr 17 Python
Python多进程分块读取超大文件的方法
Apr 13 Python
用Django写天气预报查询网站
Oct 21 Python
python中时间转换datetime和pd.to_datetime详析
Aug 11 Python
django自带serializers序列化返回指定字段的方法
Aug 21 Python
Numpy 中的矩阵求逆实例
Aug 26 Python
python hashlib加密实现代码
Oct 17 Python
python爬虫爬取笔趣网小说网站过程图解
Nov 18 Python
利用Python裁切tiff图像且读取tiff,shp文件的实例
Mar 10 Python
Python带你从浅入深探究Tuple(基础篇)
May 15 Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
python文件拆分与重组实例
Dec 10 #Python
You might like
手冲咖啡应该是现代精品咖啡店的必备选项吗?
2021/03/03 冲泡冲煮
PHP中数组合并的两种方法及区别介绍
2012/09/14 PHP
php分页函数完整实例代码
2014/09/22 PHP
javascript 动态table添加colspan\rowspan 参数的方法
2009/07/25 Javascript
extJs 文本框后面加上说明文字+下拉列表选中值后触发事件
2009/11/27 Javascript
js实现的日期操作类DateTime函数代码
2010/03/16 Javascript
Yii-自定义删除确认弹框(zyd)jquery实现代码
2013/03/04 Javascript
JavaScript 函数参数是传值(byVal)还是传址(byRef) 分享
2013/07/02 Javascript
验证控件与Button的OnClientClick事件详细解析
2013/12/04 Javascript
JavaScript实现两个Table固定表头根据页面大小自行调整
2014/01/03 Javascript
js中对函数设置默认参数值的3种方法
2015/10/23 Javascript
Angular2学习教程之TemplateRef和ViewContainerRef详解
2017/05/25 Javascript
javascript ES6 新增了let命令使用介绍
2017/07/07 Javascript
浅谈函数调用的不同方式,以及this的指向
2017/09/17 Javascript
浅谈react前后端同构渲染
2017/09/20 Javascript
vue.js中引入vuex储存接口数据及调用的详细流程
2017/12/14 Javascript
让网站自动生成章节目录索引的多个js代码
2018/01/07 Javascript
微信小程序修改swiper默认指示器样式的实例代码
2018/07/18 Javascript
微信小程序 WXML节点信息查询详解
2019/07/29 Javascript
在 Vue 中使用 JSX 及使用它的原因浅析
2020/02/10 Javascript
vue组件讲解(is属性的用法)模板标签替换操作
2020/09/04 Javascript
Python实现网络端口转发和重定向的方法
2016/09/19 Python
python中Matplotlib实现绘制3D图的示例代码
2017/09/04 Python
python编写分类决策树的代码
2017/12/21 Python
python爬虫框架scrapy实现模拟登录操作示例
2018/08/02 Python
python 爬取学信网登录页面的例子
2019/08/13 Python
解决pycharm 安装numpy失败的问题
2019/12/05 Python
Python3 requests模块如何模仿浏览器及代理
2020/06/15 Python
Python 获取异常(Exception)信息的几种方法
2020/12/29 Python
生日礼品店创业计划书范文
2014/03/21 职场文书
经济管理自荐书
2014/06/09 职场文书
建筑工地标语
2014/06/18 职场文书
学生逃课检讨书
2015/02/17 职场文书
MySQL Router的安装部署
2021/04/24 MySQL
python实现腾讯滑块验证码识别
2021/04/27 Python
使用springboot暴露oracle数据接口的问题
2021/05/07 Oracle