Posted in Python onJuly 05, 2019
在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直接导入模型然后indexword即可。
因为这是一个txt大文件,尝试了DataFrame,np.loadtxt等,都没有成功,其中主要遇到的问题是:
- 如何读取完整的大文件,而不会出现内存不足memery error等问题
- 将读取出来的文件,保存为npy文件
- 根据词找到对应的向量
解决办法:
尝试使用的代码:
代码1: try: lines=np.loadtxt(filepath) catch: 感觉这块不会写了咦,,, print(ValueError) 但这样的话,它就不会继续循环去读上边的txt了呢
代码2: lines=[] with open(filepath) as f: for line in f: lines.append(line) np.save(filepath,lines)
代码3 def readEmbedFile(embedFile): # embedId = {} # input = open(embedFile,'r',encoding="utf-8") # lines = [] # a=0 # for line in input: # lines.append(line) # a=a+1 # print(a) # nwords = len(lines) - 1 # splits = lines[1].strip().split(' ') # 因为第一行是统计信息,所以用第二行 # dim = len(splits) - 1 # embeddings=[] # # embeddings = [[0 for col in range(dim)] for row in range(nwords)] # b=0 # for lineId in range(len(lines)): # b=b+1 # print(b) # splits = lines[lineId].split(' ') # if len(splits) > 2: # # embedId赋值 # embedId[splits[0]] = lineId # # embeddings赋值 # emb = [float(splits[i]) for i in range(1, 300)] # embeddings.append(emb) # return embedId, embeddings
代码4: def load_txt(filename): lines=[] vec_dict={} with open(filename,r) as f: for line in f: list=line.strip() lines.append(line) for i, line in emuate(lines): if i=0: continue line=line.split(" ") wordID=line[0] wordvec=[float line[i] for i in range(1,300)] vec_dict[wordId]=np.array(wordvec) return vec_dict
具体内存不足主要的原因是:
我的虚拟机中确实内存不太够,后来使用实验室32G的主机后,可以得到idvec,而得不到向量的,报的错还是memory error.
另一个原因,是需要把词向量转换为float形式,在python中str 占的内存>float类型,如代码所示:
print("str",sys.getsizeof("")) print("float",sys.getsizeof(1.1)) print("int",sys.getsizeof(1)) print("list",sys.getsizeof([])) print("tuple",sys.getsizeof(())) print("dic",sys.getsizeof([]))
str 49 float 24 int 28 list 64 tuple 48 dic 64
在我的电脑,64位操作系统,64位的python, 所占内存大小排序为:
dic=list>str>tuple>int>float
读取时候可以用np.load().item就可以复原原来的字典,主要参照下述文件:
然后通过python的字典操作就可以遍历得到每个词的词向量了,dic[vocab]
心得:
距离完全解决项目的问题还有5~6的大关卡,但静下心来,一步步地做总会突破的呀!
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。
python获取txt文件词向量过程详解
- Author -
Zhen大虾声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。
Reply on: @reply_date@
@reply_contents@