Python实现word2Vec model过程解析


Posted in Python onDecember 16, 2019

这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'
if os.path.exists(fname):
  # load the file if it has already been trained, to save repeating the slow training step below
  model = gensim.models.Word2Vec.load(fname)
else:
  # can take a few minutes, grab a cuppa
  model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
  model.save(fname)

words = "woman women man girl boy green blue".split()
for w1 in words:
  for w2 in words:
    print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl

在gensim模块中已经封装了13年提出的model--word2vec,所以我们直接开始建立模型

Python实现word2Vec model过程解析

这是建立模型的过程,最后会出现saving Word2vec的语句,代表已经成功建立了模型

Python实现word2Vec model过程解析

这是输入了 gorvement和news关键词后 所反馈的词语 --- administration, 他们之间的相关性是0.508

当我在输入 women 和 man ,他们显示的相关性的0.638 ,已经是非常高的一个数字。

值得一提的是,我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。

大家如果感兴趣的话,可以自己建立该模型,通过传入不同的语料库,来calc 一些term的 相关性噢

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python删除nginx缓存文件示例(python文件操作)
Mar 26 Python
Python程序员开发中常犯的10个错误
Jul 07 Python
Python随机生成彩票号码的方法
Mar 05 Python
python判断字符串是否是json格式方法分享
Nov 07 Python
pyinstaller打包多个py文件和去除cmd黑框的方法
Jun 21 Python
python re.sub()替换正则的匹配内容方法
Jul 22 Python
python 读取修改pcap包的例子
Jul 23 Python
结合OpenCV与TensorFlow进行人脸识别的实现
Oct 10 Python
Python批量将图片灰度化的实现代码
Apr 11 Python
python利用递归方法实现求集合的幂集
Sep 07 Python
Python安装并操作redis实现流程详解
Oct 13 Python
python实现的人脸识别打卡系统
May 08 Python
Python爬虫爬取煎蛋网图片代码实例
Dec 16 #Python
python实现监控阿里云账户余额功能
Dec 16 #Python
Python实现密码薄文件读写操作
Dec 16 #Python
如何基于Python实现电子邮件的发送
Dec 16 #Python
Python如何基于selenium实现自动登录博客园
Dec 16 #Python
Python正则表达式急速入门(小结)
Dec 16 #Python
如何基于Python制作有道翻译小工具
Dec 16 #Python
You might like
PHP判断文件是否存在、是否可读、目录是否存在的代码
2012/10/03 PHP
原生Js实现元素渐隐/渐现(原理为修改元素的css透明度)
2013/06/24 Javascript
jquery中交替点击事件的实现代码
2014/02/14 Javascript
Jquery实现点击按钮,连续地向textarea中添加值的实例代码
2014/03/08 Javascript
JQuery each()嵌套使用小结
2014/04/18 Javascript
jQuery实现限制textarea文本框输入字符数量的方法
2015/05/28 Javascript
仅9张思维导图帮你轻松学习Javascript 就这么简单
2016/06/01 Javascript
Bootstrap开发实战之第一次接触Bootstrap
2016/06/02 Javascript
JS修改地址栏参数实例代码
2016/06/14 Javascript
浅谈Javascript数据属性与访问器属性
2016/07/26 Javascript
使用Javascript判断浏览器终端设备(PC、IOS(iphone)、Android)
2017/01/04 Javascript
JS常见简单正则表达式验证功能小结【手机,地址,企业税号,金额,身份证等】
2017/01/22 Javascript
javascript获取以及设置光标位置
2017/02/16 Javascript
Angular.js中angular-ui-router的简单实践
2017/07/18 Javascript
Webpack中publicPath路径问题详解
2018/05/03 Javascript
JS实现根据指定值删除数组中的元素操作示例
2018/08/02 Javascript
Koa 中的错误处理解析
2019/04/09 Javascript
为vue项目自动设置请求状态的配置方法
2019/06/09 Javascript
详解vue+axios给开发环境和生产环境配置不同的接口地址
2019/08/16 Javascript
微信小程序后台持续定位功能使用详解
2019/08/23 Javascript
[43:14]Liquid vs Optic 2018国际邀请赛淘汰赛BO3 第二场 8.21
2018/08/22 DOTA
详解用python写网络爬虫-爬取新浪微博评论
2019/05/10 Python
python生成器推导式用法简单示例
2019/10/08 Python
Python小程序 控制鼠标循环点击代码实例
2019/10/08 Python
Python tkinter常用操作代码实例
2020/01/03 Python
Python生成器next方法和send方法区别详解
2020/05/30 Python
python调用win32接口进行截图的示例
2020/11/11 Python
JYSK加拿大:购买家具、床垫、家居装饰等
2020/02/14 全球购物
人力资源部门的主要职能
2014/02/22 职场文书
公司委托书格式
2014/08/01 职场文书
社区党员公开承诺书
2014/08/30 职场文书
2015年元旦联欢晚会活动总结
2014/11/28 职场文书
大学生暑假实习总结
2015/07/13 职场文书
中秋节随笔
2015/08/15 职场文书
2016大学军训通讯稿
2015/11/25 职场文书
《模拟人生4》推出新补丁 “婚礼奇缘”DLC终于得到修复
2022/04/03 其他游戏