Python 文本文件内容批量抽取实例


Posted in Python onDecember 10, 2018

Python新手编写脚本处理数据,各种心酸各种语法查找,以此留念!

原始数据格式如下图所示:

Python 文本文件内容批量抽取实例

这里是一个人脸测试数据,其中每行第一个为测试图片编号,后面为Top 7图片编号及其对应的评分,即与测试图片的相似度度量结果。我们这里的目的是将每行Top 7对应的评分数据抽取出来,并且将评分第二的数值与一个阈值(这里是0.7)进行比较,超过阈值表示此次测试成功,结果为正样本,记为1,否则置0。并最终将其保存至另一个文本文件用于作为机器学习模型的训练样本数据。

Python脚本处理后的文件格式如下所示:

Python 文本文件内容批量抽取实例

对应的Python代码如下所示,附有小白详细注释。

# -*- coding: cp936 -*-
import re
import linecache
filename = 'face_test_data.txt'
 
with open(filename, 'r') as f:
 line = f.readline()
 while line:
  eachline = line.split()###按行读取文本文件
  #print eachline 返回一个列表,以空格作为元素拆分标识
  #print line 返回的是一整行数据,相当于一个字符串元素
  count = len(eachline)#返回列表长度,即列表元素数目
  n = 0
  element = []#初始化空列表用于存储所需评分数据
  while n < count:
   elem_index = eachline[n:n+1] #类型为列表
   #print elem_index, len(elem_index[0])
   #print elem_index 返回类型为列表
   if len(elem_index[0]) > 24:
    element.append(elem_index[0][25:])
   #element = [qiege(elem_index[n]) for elem_index in eachline]
   n=n+1
  #print element[1] #概率数值列表
  
  if element[1] >= '0.7':
   element.append(1)
   #print '1'
  else:
   element.append(0)
   #print '0'
   
  #生成每行末尾有\t文件
  ''' 
  file = open('preprocess.txt', 'a')
  for i in range(len(element)):
   file.write(str(element[i])+'\t')
  file.write('\n')
  file.close()
  '''
  #生成每行末尾无\t文件,可直接用于np.loadtxt()读取文本生成矩阵数据
  file = open('_preprocess.txt', 'a')
  for i in range(len(element)-1):
   file.write(str(element[i])+'\t')
  file.write(str(element[-1])+'\n')
  #file.write('\n')
  file.close() 
 
  line = f.readline()

以上这篇Python 文本文件内容批量抽取实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python Web框架Flask下网站开发入门实例
Feb 08 Python
python使用pil生成缩略图的方法
Mar 26 Python
pymongo实现多结果进行多列排序的方法
May 16 Python
Python中条件判断语句的简单使用方法
Aug 21 Python
使用Python的Flask框架来搭建第一个Web应用程序
Jun 04 Python
Python中如何使用if语句处理列表实例代码
Feb 24 Python
Python基础学习之类与实例基本用法与注意事项详解
Jun 17 Python
解决pycharm remote deployment 配置的问题
Jun 27 Python
使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解
Jan 25 Python
Python制作一个仿QQ办公版的图形登录界面
Sep 22 Python
Python从文件中读取数据的方法步骤
Nov 18 Python
Django中日期时间型字段进行年月日时分秒分组统计
Nov 27 Python
Python中作用域的深入讲解
Dec 10 #Python
python实现根据文件关键字进行切分为多个文件的示例
Dec 10 #Python
Python文件常见操作实例分析【读写、遍历】
Dec 10 #Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 #Python
django使用LDAP验证的方法示例
Dec 10 #Python
python在TXT文件中按照某一字符串取出该字符串所在的行方法
Dec 10 #Python
python文件拆分与重组实例
Dec 10 #Python
You might like
一个程序下载的管理程序(二)
2006/10/09 PHP
php函数array_merge用法一例(合并同类数组)
2013/02/03 PHP
PHP递归创建多级目录
2015/11/05 PHP
PHP生成可点击刷新的验证码简单示例
2016/05/13 PHP
PHP封装的page分页类定义与用法完整示例
2018/12/24 PHP
ie和firefox中img对象区别的困惑
2006/12/27 Javascript
热点新闻滚动特效的js代码
2013/08/17 Javascript
firefox下jquery ajax返回object XMLDocument处理方法
2014/01/26 Javascript
jQuery使用andSelf()来包含之前的选择集
2014/05/19 Javascript
js改变Iframe中Src的方法
2015/05/05 Javascript
js密码强度实时检测代码
2016/03/02 Javascript
分享10个优化代码的CSS和JavaScript工具
2016/05/11 Javascript
JS 组件系列之Bootstrap Table 冻结列功能IE浏览器兼容性问题解决方案
2017/06/30 Javascript
Vuex 进阶之模块化组织详解
2018/01/12 Javascript
React 源码中的依赖注入方法
2018/11/07 Javascript
VUE 解决mode为history页面为空白的问题
2019/11/01 Javascript
Vue 3.0 全家桶抢先体验
2020/04/28 Javascript
[02:25]专访DOTA2负责人Erik 国际邀请赛暂不会离开西雅
2014/07/21 DOTA
python私有属性和方法实例分析
2015/01/15 Python
PHP网页抓取之抓取百度贴吧邮箱数据代码分享
2016/04/13 Python
Python利用itchat对微信中好友数据实现简单分析的方法
2017/11/21 Python
简述Python2与Python3的不同点
2018/01/21 Python
对python借助百度云API对评论进行观点抽取的方法详解
2019/02/21 Python
Python实现FTP文件传输的实例
2019/07/07 Python
为什么python比较流行
2020/06/19 Python
师范大学音乐表演专业求职信
2013/10/23 职场文书
调解员先进事迹材料
2014/02/07 职场文书
大学生通用个人的自我评价
2014/02/10 职场文书
2014年加油站站长工作总结
2014/12/23 职场文书
初中作文评语集锦
2014/12/25 职场文书
个人落户申请书怎么写?
2019/06/28 职场文书
centos8安装nginx1.9.1的详细过程
2021/08/02 Servers
MySQL和Oracle批量插入SQL的通用写法示例
2021/11/17 MySQL
Python+Selenium实现读取网易邮箱验证码
2022/03/13 Python
Win11无法访问设备和打印机 如何解决页面空白
2022/04/09 数码科技
Java后端 Dubbo retries 超时重试机制的解决方案
2022/04/14 Java/Android