Python实现word2Vec model过程解析


Posted in Python onDecember 16, 2019

这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'
if os.path.exists(fname):
  # load the file if it has already been trained, to save repeating the slow training step below
  model = gensim.models.Word2Vec.load(fname)
else:
  # can take a few minutes, grab a cuppa
  model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
  model.save(fname)

words = "woman women man girl boy green blue".split()
for w1 in words:
  for w2 in words:
    print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl

在gensim模块中已经封装了13年提出的model--word2vec,所以我们直接开始建立模型

Python实现word2Vec model过程解析

这是建立模型的过程,最后会出现saving Word2vec的语句,代表已经成功建立了模型

Python实现word2Vec model过程解析

这是输入了 gorvement和news关键词后 所反馈的词语 --- administration, 他们之间的相关性是0.508

当我在输入 women 和 man ,他们显示的相关性的0.638 ,已经是非常高的一个数字。

值得一提的是,我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。

大家如果感兴趣的话,可以自己建立该模型,通过传入不同的语料库,来calc 一些term的 相关性噢

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 深入理解yield
Sep 06 Python
python中合并两个文本文件并按照姓名首字母排序的例子
Apr 25 Python
python实现去除下载电影和电视剧文件名中的多余字符的方法
Sep 23 Python
python通过yield实现数组全排列的方法
Mar 18 Python
Ubuntu 下 vim 搭建python 环境 配置
Jun 12 Python
python对DICOM图像的读取方法详解
Jul 17 Python
利用python打印出菱形、三角形以及矩形的方法实例
Aug 08 Python
python使用selenium实现批量文件下载
Mar 11 Python
ubuntu 16.04下python版本切换的方法
Jun 14 Python
从零开始的TensorFlow+VScode开发环境搭建的步骤(图文)
Aug 31 Python
python中如何打包用户自定义模块
Sep 23 Python
python中的class_static的@classmethod的巧妙用法
Jun 22 Python
Python爬虫爬取煎蛋网图片代码实例
Dec 16 #Python
python实现监控阿里云账户余额功能
Dec 16 #Python
Python实现密码薄文件读写操作
Dec 16 #Python
如何基于Python实现电子邮件的发送
Dec 16 #Python
Python如何基于selenium实现自动登录博客园
Dec 16 #Python
Python正则表达式急速入门(小结)
Dec 16 #Python
如何基于Python制作有道翻译小工具
Dec 16 #Python
You might like
自己动手做一个SQL解释器
2006/10/09 PHP
使用bcompiler对PHP文件进行加密的代码
2010/08/29 PHP
Nigma vs Alliance BO5 第一场2.14
2021/03/10 DOTA
JS 控制非法字符的输入代码
2009/12/04 Javascript
自写的一个jQuery圆角插件
2010/10/26 Javascript
基于jquery的放大镜效果
2012/05/30 Javascript
jquery中的常见问题及快速解决方法小结
2016/06/14 Javascript
js面向对象实现canvas制作彩虹球喷枪效果
2016/09/24 Javascript
Javascript vue.js表格分页,ajax异步加载数据
2016/10/24 Javascript
Angularjs中使用指令绑定点击事件的方法
2017/03/30 Javascript
node.js + socket.io 实现点对点随机匹配聊天
2017/06/30 Javascript
深入Vue-Router路由嵌套理解
2018/08/13 Javascript
vscode 插件开发 + vue的操作方法
2020/06/05 Javascript
vue实现前端分页完整代码
2020/06/17 Javascript
Vue(定时器)解决mounted不能获取到data中的数据问题
2020/07/30 Javascript
Python实战小程序利用matplotlib模块画图代码分享
2017/12/09 Python
几个适合python初学者的简单小程序,看完受益匪浅!(推荐)
2019/04/16 Python
django基于restframework的CBV封装详解
2019/08/08 Python
python3格式化字符串 f-string的高级用法(推荐)
2020/03/04 Python
有趣的Python图片制作之如何用QQ好友头像拼接出里昂
2020/04/22 Python
Python实现加密的RAR文件解压的方法(密码已知)
2020/09/11 Python
Dr. Martens马汀博士德国官网:马丁靴鼻祖
2019/12/26 全球购物
财务会计专业应届毕业生求职信
2013/10/18 职场文书
电脑专业个人求职信范文
2014/02/04 职场文书
校庆活动策划方案
2014/06/05 职场文书
食品安全承诺书范文
2014/08/29 职场文书
办公室领导干部作风整顿个人整改措施
2014/09/17 职场文书
卫校毕业生自我鉴定
2014/09/28 职场文书
2014年平安创建工作总结
2014/11/24 职场文书
先进工作者事迹材料
2014/12/23 职场文书
北大自主招生自荐信
2015/03/04 职场文书
2015年大学生实习评语
2015/03/25 职场文书
2015年管理人员工作总结
2015/05/13 职场文书
2019大学生预备党员转正思想汇报
2019/06/21 职场文书
解读Vue组件注册方式
2021/05/15 Vue.js
Oracle创建只读账号的详细步骤
2021/06/07 Oracle