在python下实现word2vec词向量训练与加载实例


Posted in Python onJune 09, 2020

项目中要对短文本进行相似度估计,word2vec是一个很火的工具。本文就word2vec的训练以及加载进行了总结。

word2vec的原理就不描述了,word2vec词向量工具是由google开发的,输入为文本文档,输出为基于这个文本文档的语料库训练得到的词向量模型。

通过该模型可以对单词的相似度进行量化分析。

word2vec的训练方法有2种,一种是通过word2vec的官方手段,在linux环境下编译并执行。

在github上下载word2vec的安装包,然后make编译。查看demo-word.sh脚本,得到word2vec的执行命令:

./word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 1 -iter 15

参数解释:

1)-train:需要训练的语料库,text8为语料库文件名

2)-output:输出的词向量文件,vectors.bin为输出词向量文件名,.bin后缀为二进制文件。若要以文档的形式查看词向量文件,需要将-binary参数的值由1改为0

3)-cbow:是否使用cbow模型进行训练。参数为1表示使用cbow,为0表示不使用cbow

4)-size:词向量的维数,默认为200维。

5)-window:训练过程中截取上下文的窗口大小,默认为8,即考虑一个词前8个和后8个词

6)-negative:若参数非0,表明采样随机负采样的方法,负样本子集的规模默认为25。若参数值为0,表示不使用随机负采样模型。使用随机负采样比Hierarchical Softmax模型效率更高。

7)-hs:是否采用基于Hierarchical Softmax的模型。参数为1表示使用,0表示不使用

8)-sample:语料库中的词频阈值参数,词频大于该阈值的词,越容易被采样。默认为e^-4.

9)-threads:开启的线程数目,默认为20.

10)-binary:词向量文件的输出形式。1表示输出二进制文件,0表示输出文本文件

11)-iter:训练的迭代次数。一定范围内,次数越高,训练得到的参数会更准确。默认值为15次.

./word2vec -train mytext.txt -output vectors.txt -cbow 1 -size 200 -window 5 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 0 -iter 30

示例为训练一个名mytext.txt的文档。设置输出词向量的格式为.txt文本文档,所以还需要将-binary参数设置为0.

训练模型采用基于随机负采样的cbow模型。由于短文本字数极为有限,所以-window参数设置为5,设置词向量的维数

为200,为了使得到的参数更准确,将迭代次数增加至30.其他参数使用默认值。

训练以后得到一个txt文本,该文本的内容为:每行一个单词,单词后面是对应的词向量。

gensim加载词向量:

保存词向量模型到pkl中(注意:这里是对词向量模型进行构建)

from gensim.models import KeyedVectors
if not os.path.exists(pkl_path): # 如果pickle模型不存在,则构建一个

    print '词向量模型不存在,开始构建词向量模型...'
    Word2Vec = KeyedVectors.load_word2vec_format(vecs_path, binary=False) # 加载词向量模型
    f = file(pkl_path, 'wb')
    pickle.dump(Word2Vec, f, True)
    f.close()
    print '词向量模型构建完毕...'

f= file(pkl_path, 'rb')# 打开pkl文件
word2vec=pickle.load(f)# 载入pkl

第二种方法是使用gensim模块训练词向量:

from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence

try:
  import cPickle as pickle
except ImportError:
  import pickle

sentences = LineSentence(path)# path为要训练的txt的路径
# 对sentences表示的语料库进行训练,训练200维的词向量,窗口大小设置为5,最小词频设置为5
model = Word2Vec(sentences, size=200, window=5, min_count=5)
model.save(model_path)#model_path为模型路径。保存模型,通常采用pkl形式保存,以便下次直接加载即可

# 加载模型
model = Word2Vec.load(model_path)

完整的训练,加载通常采用如下方式:

if not os.path.exists(model_path):
    sentences = LineSentence(path)
    model = Word2Vec(sentences, size=200, window=5, min_count=5)
    model.save(model_path)
model = Word2Vec.load(model_path)

这样一来,就可以通过pkl化的词向量模型进行读取了。pkl的目的是为了保存程序中变量的状态,以便下次直接访问,

不必重新训练模型。

详细内容间gensim官方库

https://radimrehurek.com/gensim/models/word2vec.html

以上这篇在python下实现word2vec词向量训练与加载实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python删除特定文件的方法
Jul 30 Python
python实现文本文件合并
Dec 29 Python
Python中的多行注释文档编写风格汇总
Jun 16 Python
python 简单的绘图工具turtle使用详解
Jun 21 Python
python编程实现随机生成多个椭圆实例代码
Jan 03 Python
python脚本作为Windows服务启动代码详解
Feb 11 Python
对Python中type打开文件的方式介绍
Apr 28 Python
用Python实现BP神经网络(附代码)
Jul 10 Python
Django自定义用户表+自定义admin后台中的字段实例
Nov 18 Python
MATLAB数学建模之画图汇总
Jul 16 Python
详解如何在PyCharm控制台中输出彩色文字和背景
Aug 17 Python
Python之Matplotlib绘制热力图和面积图
Apr 13 Python
Python实现寻找回文数字过程解析
Jun 09 #Python
pycharm 关掉syntax检查操作
Jun 09 #Python
Python控制台实现交互式环境执行
Jun 09 #Python
使用pycharm和pylint检查python代码规范操作
Jun 09 #Python
Python基于数列实现购物车程序过程详解
Jun 09 #Python
pycharm 对代码做静态检查操作
Jun 09 #Python
Python3读取和写入excel表格数据的示例代码
Jun 09 #Python
You might like
Opcache导致php-fpm崩溃nginx返回502
2015/03/02 PHP
PHP微信开发之二维码生成类
2015/06/26 PHP
php实现的简易扫雷游戏实例
2015/07/09 PHP
Yii框架结合sphinx,Ajax实现搜索分页功能示例
2016/10/18 PHP
PHP数字前补0的自带函数sprintf 和number_format的用法(详解)
2017/02/06 PHP
thinkphp3.2框架中where条件查询用法总结
2019/08/13 PHP
laravel框架实现后台登录、退出功能示例
2019/10/31 PHP
js用闭包遍历树状数组的方法
2014/03/19 Javascript
原生js实现淘宝首页点击按钮缓慢回到顶部效果
2014/04/06 Javascript
javascript实现的一个随机点名功能
2014/08/26 Javascript
jQuery回调函数的定义及用法实例
2014/12/23 Javascript
jquery判断单选按钮radio是否选中的方法
2015/05/05 Javascript
深入浅出ES6之let和const命令
2016/08/25 Javascript
小程序实现多选框功能
2018/10/30 Javascript
vue跳转方式(打开新页面)及传参操作示例
2020/01/26 Javascript
[16:27]DOTA2 HEROS教学视频教你分分钟做大人-艾欧
2014/06/11 DOTA
[50:02]完美世界DOTA2联赛循环赛 Magma vs IO BO2第一场 11.01
2020/11/02 DOTA
使用C语言来扩展Python程序和Zope服务器的教程
2015/04/14 Python
理解Python垃圾回收机制
2016/02/12 Python
举例讲解Python中的list列表数据结构用法
2016/03/12 Python
为什么入门大数据选择Python而不是Java?
2018/03/07 Python
python支持多线程的爬虫实例
2019/12/21 Python
Java多线程实现四种方式原理详解
2020/06/02 Python
Keras SGD 随机梯度下降优化器参数设置方式
2020/06/19 Python
Pycharm自带Git实现版本管理的方法步骤
2020/09/18 Python
基于HTML5 的人脸识别活体认证的实现方法
2016/06/22 HTML / CSS
HTML5+CSS3实现机器猫
2016/10/17 HTML / CSS
波兰补充商店:Muscle Power
2018/10/29 全球购物
迪士尼西班牙官方网上商店:ShopDisney西班牙
2020/02/02 全球购物
Java程序员常见面试题
2015/07/16 面试题
基层党组织公开承诺书
2014/03/28 职场文书
公司股权转让协议书
2014/04/12 职场文书
买卖车协议书
2014/04/21 职场文书
教导主任竞聘演讲稿
2014/05/16 职场文书
python中的class_static的@classmethod的巧妙用法
2021/06/22 Python
python中mongodb包操作数据库
2022/04/19 Python