Python实现word2Vec model过程解析


Posted in Python onDecember 16, 2019

这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'
if os.path.exists(fname):
  # load the file if it has already been trained, to save repeating the slow training step below
  model = gensim.models.Word2Vec.load(fname)
else:
  # can take a few minutes, grab a cuppa
  model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
  model.save(fname)

words = "woman women man girl boy green blue".split()
for w1 in words:
  for w2 in words:
    print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl

在gensim模块中已经封装了13年提出的model--word2vec,所以我们直接开始建立模型

Python实现word2Vec model过程解析

这是建立模型的过程,最后会出现saving Word2vec的语句,代表已经成功建立了模型

Python实现word2Vec model过程解析

这是输入了 gorvement和news关键词后 所反馈的词语 --- administration, 他们之间的相关性是0.508

当我在输入 women 和 man ,他们显示的相关性的0.638 ,已经是非常高的一个数字。

值得一提的是,我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。

大家如果感兴趣的话,可以自己建立该模型,通过传入不同的语料库,来calc 一些term的 相关性噢

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python入门:这篇文章带你直接学会python
Sep 14 Python
python 保存float类型的小数的位数方法
Oct 17 Python
flask session组件的使用示例
Dec 25 Python
python爬虫简单的添加代理进行访问的实现代码
Apr 04 Python
python日期相关操作实例小结
Jun 24 Python
在pytorch中为Module和Tensor指定GPU的例子
Aug 19 Python
使用虚拟环境打包python为exe 文件的方法
Aug 29 Python
python操作cfg配置文件方式
Dec 22 Python
python wav模块获取采样率 采样点声道量化位数(实例代码)
Jan 22 Python
Python os模块常用方法和属性总结
Feb 20 Python
django使用F方法更新一个对象多个对象字段的实现
Mar 28 Python
基于python3.7利用Motor来异步读写Mongodb提高效率(推荐)
Apr 29 Python
Python爬虫爬取煎蛋网图片代码实例
Dec 16 #Python
python实现监控阿里云账户余额功能
Dec 16 #Python
Python实现密码薄文件读写操作
Dec 16 #Python
如何基于Python实现电子邮件的发送
Dec 16 #Python
Python如何基于selenium实现自动登录博客园
Dec 16 #Python
Python正则表达式急速入门(小结)
Dec 16 #Python
如何基于Python制作有道翻译小工具
Dec 16 #Python
You might like
Ajax PHP简单入门教程代码
2008/04/25 PHP
[原创]php实现 data url的图片生成与保存
2016/12/04 PHP
详谈PHP面向对象中常用的关键字和魔术方法
2017/02/04 PHP
Yii2.0实现生成二维码功能实例
2017/10/24 PHP
PHP添加PNG图片背景透明水印操作类定义与用法示例
2019/03/12 PHP
百度 popup.js 完美修正版非常的不错 脚本之家推荐
2009/04/17 Javascript
基于JQuery的日期联动实现代码
2011/02/24 Javascript
iframe调用父页面函数示例详解
2014/07/17 Javascript
原生javascript实现匀速运动动画效果
2016/02/26 Javascript
Bootstrap多级导航栏(级联导航)的实现代码
2016/03/08 Javascript
jquery通过name属性取值的简单实现方法
2016/06/20 Javascript
js添加千分位的实现代码(超简单)
2016/08/01 Javascript
JS扩展类,克隆对象与混合类实例分析
2016/11/26 Javascript
nodejs redis 发布订阅机制封装实现方法及实例代码
2016/12/15 NodeJs
RequireJs的使用详解
2017/02/19 Javascript
Vue页面骨架屏的实现方法
2018/05/22 Javascript
iphone刘海屏页面适配方法
2019/05/07 Javascript
vue瀑布流组件实现上拉加载更多
2020/03/10 Javascript
javascript执行上下文、变量对象实例分析
2020/04/25 Javascript
[01:19:34]2014 DOTA2国际邀请赛中国区预选赛 New Element VS Dream time
2014/05/22 DOTA
[36:33]2018DOTA2亚洲邀请赛 4.3 突围赛 EG vs Newbee 第二场
2018/04/04 DOTA
[02:05:03]完美世界DOTA2联赛循环赛 LBZS VS Matador BO2 10.28
2020/10/28 DOTA
Python 执行字符串表达式函数(eval exec execfile)
2014/08/11 Python
使用Python实现BT种子和磁力链接的相互转换
2015/11/09 Python
Django 导出 Excel 代码的实例详解
2017/08/11 Python
Html5 audio标签样式的修改
2016/01/28 HTML / CSS
HTML5新增form控件和表单属性实例代码详解
2019/05/15 HTML / CSS
巴西家用小家电购物网站:Polishop
2016/08/07 全球购物
Gtech官方网站:地毯清洁器、吸尘器及园艺设备
2018/05/23 全球购物
英国门销售网站:Green Tree Doors
2020/01/07 全球购物
莫斯科购买书籍网站:Book24
2020/01/12 全球购物
企业新年寄语
2014/04/04 职场文书
有关朝花夕拾的读书笔记
2015/06/29 职场文书
Angular CLI发布路径的配置项浅析
2021/03/29 Javascript
css3 filter属性的使用简介
2021/03/31 HTML / CSS
详解Spring Security中的HttpBasic登录验证模式
2022/03/17 Java/Android