python获取txt文件词向量过程详解


Posted in Python onJuly 05, 2019

在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直接导入模型然后indexword即可。

因为这是一个txt大文件,尝试了DataFrame,np.loadtxt等,都没有成功,其中主要遇到的问题是:

  • 如何读取完整的大文件,而不会出现内存不足memery error等问题
  • 将读取出来的文件,保存为npy文件
  • 根据词找到对应的向量

解决办法

尝试使用的代码:

代码1:
try:
lines=np.loadtxt(filepath)
catch:
感觉这块不会写了咦,,,
  print(ValueError)
但这样的话,它就不会继续循环去读上边的txt了呢
代码2:
lines=[]
with open(filepath) as f:
  for line in f:
    lines.append(line)
np.save(filepath,lines)
代码3
 
def readEmbedFile(embedFile):
#   embedId = {}
#   input = open(embedFile,'r',encoding="utf-8")
#   lines = []
#   a=0
#   for line in input:
#     lines.append(line)
#     a=a+1
#     print(a)
#   nwords = len(lines) - 1
#   splits = lines[1].strip().split(' ') # 因为第一行是统计信息,所以用第二行
#   dim = len(splits) - 1
#   embeddings=[]
#   # embeddings = [[0 for col in range(dim)] for row in range(nwords)]
#   b=0
#   for lineId in range(len(lines)):
#     b=b+1
#     print(b)
#     splits = lines[lineId].split(' ')
#     if len(splits) > 2:
#       # embedId赋值
#       embedId[splits[0]] = lineId
#       # embeddings赋值
#       emb = [float(splits[i]) for i in range(1, 300)]
#       embeddings.append(emb)
#   return embedId, embeddings
代码4:
def load_txt(filename):
  lines=[]
  vec_dict={}
  with open(filename,r) as f:
    for line in f:
    list=line.strip()
    lines.append(line)
  for i, line in emuate(lines):
    if i=0:
      continue
    line=line.split(" ")
    wordID=line[0]
    wordvec=[float line[i] for i in range(1,300)]
  vec_dict[wordId]=np.array(wordvec)  
 
  return vec_dict

具体内存不足主要的原因是:

我的虚拟机中确实内存不太够,后来使用实验室32G的主机后,可以得到idvec,而得不到向量的,报的错还是memory error.
另一个原因,是需要把词向量转换为float形式,在python中str 占的内存>float类型,如代码所示:

print("str",sys.getsizeof(""))
print("float",sys.getsizeof(1.1))
print("int",sys.getsizeof(1))
print("list",sys.getsizeof([]))
print("tuple",sys.getsizeof(()))
print("dic",sys.getsizeof([]))
str 49
float 24
int 28
list 64
tuple 48
dic 64

在我的电脑,64位操作系统,64位的python, 所占内存大小排序为:

dic=list>str>tuple>int>float

读取时候可以用np.load().item就可以复原原来的字典,主要参照下述文件:

然后通过python的字典操作就可以遍历得到每个词的词向量了,dic[vocab]

心得

距离完全解决项目的问题还有5~6的大关卡,但静下心来,一步步地做总会突破的呀!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python写的英文字符大小写转换代码示例
Mar 06 Python
Python xlrd读取excel日期类型的2种方法
Apr 28 Python
举例讲解Python中的Null模式与桥接模式编程
Feb 02 Python
Python编写Windows Service服务程序
Jan 04 Python
python多维数组切片方法
Apr 13 Python
python中正则表达式 re.findall 用法
Oct 23 Python
[原创]Python入门教程2. 字符串基本操作【运算、格式化输出、常用函数】
Oct 29 Python
详解python3 + Scrapy爬虫学习之创建项目
Apr 12 Python
原生python实现knn分类算法
Oct 24 Python
Python安装与卸载流程详细步骤(图解)
Feb 20 Python
Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例
Oct 15 Python
Python下使用Trackbar实现绘图板
Oct 27 Python
Python 的字典(Dict)是如何存储的
Jul 05 #Python
关于Python 的简单栅格图像边界提取方法
Jul 05 #Python
Python3+Appium安装使用教程
Jul 05 #Python
Python叠加两幅栅格图像的实现方法
Jul 05 #Python
用vue.js组件模拟v-model指令实例方法
Jul 05 #Python
python买卖股票的最佳时机(基于贪心/蛮力算法)
Jul 05 #Python
Python 计算任意两向量之间的夹角方法
Jul 05 #Python
You might like
使用XDebug调试及单元测试覆盖率分析
2011/01/27 PHP
基于php权限分配的实现代码
2013/04/28 PHP
利用PHP fsockopen 模拟POST/GET传送数据的方法
2015/09/22 PHP
标准版Eclipse搭建PHP环境的详细步骤
2015/11/18 PHP
php实现的XML操作(读取)封装类完整实例
2017/02/23 PHP
php删除一个路径下的所有文件夹和文件的方法
2018/02/07 PHP
javascript实现unicode和字符的互相转换
2007/07/18 Javascript
JavaScript 无符号右移赋值操作
2009/04/17 Javascript
通过Jscript中@cc_on 语句识别IE浏览器及版本的代码
2011/05/07 Javascript
javascript原始值和对象引用实例分析
2015/04/25 Javascript
jQuery中attr()与prop()函数用法实例详解(附用法区别)
2015/12/29 Javascript
使用微信内置浏览器点击下拉框出现页面乱跳转现象(iphone),该怎么办
2016/01/04 Javascript
BootStrap Fileinput初始化时的一些参数
2016/12/30 Javascript
jquery实现tab键进行选择后enter键触发click行为
2017/03/29 jQuery
AngularJS1.X学习笔记2-数据绑定详解
2017/04/01 Javascript
微信小程序实现录音时的麦克风动画效果实例
2019/05/18 Javascript
python虚拟环境 virtualenv的简单使用
2020/01/21 Javascript
JS数组方法reduce的用法实例分析
2020/03/03 Javascript
JS实现canvas简单小画板功能
2020/06/23 Javascript
[01:13]DOTA2群星解读国服召集令 一起说出回归的理由
2013/07/17 DOTA
在Python的Bottle框架中使用微信API的示例
2015/04/23 Python
Python2.x版本中基本的中文编码问题解决
2015/10/12 Python
Python自动生产表情包
2017/03/17 Python
Python爬虫之正则表达式基本用法实例分析
2018/08/08 Python
详解利用python+opencv识别图片中的圆形(霍夫变换)
2019/07/01 Python
餐饮业的创业计划书范文
2013/12/26 职场文书
汽车维修工岗位职责
2014/02/12 职场文书
公司中层干部的自我评价分享
2014/03/01 职场文书
学校对教师的评语
2014/04/28 职场文书
让生命充满爱演讲稿
2014/05/10 职场文书
教代会闭幕词
2015/01/28 职场文书
入党介绍人意见怎么写
2015/06/03 职场文书
于丹讲座视频观后感
2015/06/15 职场文书
2016年“5.12”护士节慰问信
2015/11/30 职场文书
中秋节英文祝福语句(14句)
2019/09/11 职场文书
关于SpringBoot 使用 Redis 分布式锁解决并发问题
2021/11/17 Redis