Python实现word2Vec model过程解析


Posted in Python onDecember 16, 2019

这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'
if os.path.exists(fname):
  # load the file if it has already been trained, to save repeating the slow training step below
  model = gensim.models.Word2Vec.load(fname)
else:
  # can take a few minutes, grab a cuppa
  model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
  model.save(fname)

words = "woman women man girl boy green blue".split()
for w1 in words:
  for w2 in words:
    print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl

在gensim模块中已经封装了13年提出的model--word2vec,所以我们直接开始建立模型

Python实现word2Vec model过程解析

这是建立模型的过程,最后会出现saving Word2vec的语句,代表已经成功建立了模型

Python实现word2Vec model过程解析

这是输入了 gorvement和news关键词后 所反馈的词语 --- administration, 他们之间的相关性是0.508

当我在输入 women 和 man ,他们显示的相关性的0.638 ,已经是非常高的一个数字。

值得一提的是,我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。

大家如果感兴趣的话,可以自己建立该模型,通过传入不同的语料库,来calc 一些term的 相关性噢

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python查看多台服务器进程的脚本分享
Jun 11 Python
python中__slots__用法实例
Jun 04 Python
详解Python3操作Mongodb简明易懂教程
May 25 Python
推荐10款最受Python开发者欢迎的Python IDE
Sep 16 Python
django框架防止XSS注入的方法分析
Jun 21 Python
pandas read_excel()和to_excel()函数解析
Sep 19 Python
wxpython自定义下拉列表框过程图解
Feb 14 Python
浅谈Tensorflow加载Vgg预训练模型的几个注意事项
May 26 Python
Python3如何实现Win10桌面自动切换
Aug 11 Python
如何基于Python实现word文档重新排版
Sep 29 Python
python机器学习Github已达8.9Kstars模型解释器LIME
Nov 23 Python
python中的sys模块和os模块
Mar 20 Python
Python爬虫爬取煎蛋网图片代码实例
Dec 16 #Python
python实现监控阿里云账户余额功能
Dec 16 #Python
Python实现密码薄文件读写操作
Dec 16 #Python
如何基于Python实现电子邮件的发送
Dec 16 #Python
Python如何基于selenium实现自动登录博客园
Dec 16 #Python
Python正则表达式急速入门(小结)
Dec 16 #Python
如何基于Python制作有道翻译小工具
Dec 16 #Python
You might like
上传多个文件的PHP脚本
2006/11/26 PHP
php数字转汉字代码(算法)
2011/10/08 PHP
php 解压rar文件及zip文件的方法
2014/05/05 PHP
thinkphp3.x中display方法及show方法的用法实例
2016/05/19 PHP
laravel 5.1下php artisan migrate的使用注意事项总结
2017/06/07 PHP
PHP实现的redis主从数据库状态检测功能示例
2017/07/20 PHP
TP5框架实现自定义分页样式的方法示例
2020/04/05 PHP
JavaScript 闭包在封装函数时的简单分析
2009/11/28 Javascript
jquery中获得$.ajax()事件返回的值并添加事件的方法
2010/04/15 Javascript
jquery 读取页面load get post ajax 四种方式代码写法
2011/04/02 Javascript
基于jQuery的模仿新浪微博时间的组件
2011/10/04 Javascript
JavaScript中跨域调用Flash的方法
2014/08/11 Javascript
JavaScript中property和attribute的区别详细介绍
2015/03/03 Javascript
javascript之Boolean类型对象
2016/06/07 Javascript
bootstrap实现动态进度条效果
2017/03/08 Javascript
vue-cli webpack 开发环境跨域详解
2017/05/18 Javascript
原生javascript实现的全屏滚动功能示例
2017/09/19 Javascript
JavaScript闭包原理与用法实例分析
2018/08/10 Javascript
[46:42]DOTA2-DPC中国联赛正赛 Aster vs Magma BO3 第二场 3月5日
2021/03/11 DOTA
Python爬取qq空间说说的实例代码
2018/08/17 Python
详解Python二维数组与三维数组切片的方法
2019/07/18 Python
三个python爬虫项目实例代码
2019/12/28 Python
如何用Python 实现全连接神经网络(Multi-layer Perceptron)
2020/10/15 Python
python3通过subprocess模块调用脚本并和脚本交互的操作
2020/12/05 Python
HTML5 用动画的表现形式装载图像
2016/03/08 HTML / CSS
《九寨沟》教学反思
2014/04/08 职场文书
银行反四风对照检查材料
2014/09/29 职场文书
2014年质量管理工作总结
2014/12/01 职场文书
教师个人师德总结
2015/02/06 职场文书
原料仓管员岗位职责
2015/04/01 职场文书
2015年采购员工作总结
2015/04/27 职场文书
幼儿园大班开学寄语(2016秋季)
2015/12/03 职场文书
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
2021/05/22 Python
详解MySQL中的主键与事务
2021/05/27 MySQL
「我的青春恋爱物语果然有问题。-妄言录-」第20卷封面公开
2022/03/21 日漫
springboot应用服务启动事件的监听实现
2022/04/06 Java/Android