Python实现word2Vec model过程解析


Posted in Python onDecember 16, 2019

这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'
if os.path.exists(fname):
  # load the file if it has already been trained, to save repeating the slow training step below
  model = gensim.models.Word2Vec.load(fname)
else:
  # can take a few minutes, grab a cuppa
  model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
  model.save(fname)

words = "woman women man girl boy green blue".split()
for w1 in words:
  for w2 in words:
    print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl

在gensim模块中已经封装了13年提出的model--word2vec,所以我们直接开始建立模型

Python实现word2Vec model过程解析

这是建立模型的过程,最后会出现saving Word2vec的语句,代表已经成功建立了模型

Python实现word2Vec model过程解析

这是输入了 gorvement和news关键词后 所反馈的词语 --- administration, 他们之间的相关性是0.508

当我在输入 women 和 man ,他们显示的相关性的0.638 ,已经是非常高的一个数字。

值得一提的是,我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。

大家如果感兴趣的话,可以自己建立该模型,通过传入不同的语料库,来calc 一些term的 相关性噢

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python client使用http post 到server端的代码
Feb 10 Python
pyqt4教程之实现半透明的天气预报界面示例
Mar 02 Python
Python入门篇之正则表达式
Oct 20 Python
Python中的zip函数使用示例
Jan 29 Python
Python导出数据到Excel可读取的CSV文件的方法
May 12 Python
python实现class对象转换成json/字典的方法
Mar 11 Python
Python中使用asyncio 封装文件读写
Sep 11 Python
Python 网页解析HTMLParse的实例详解
Aug 10 Python
Python判断中文字符串是否相等的实例
Jul 06 Python
实例讲解Python爬取网页数据
Jul 08 Python
python os模块简单应用示例
May 23 Python
keras读取训练好的模型参数并把参数赋值给其它模型详解
Jun 15 Python
Python爬虫爬取煎蛋网图片代码实例
Dec 16 #Python
python实现监控阿里云账户余额功能
Dec 16 #Python
Python实现密码薄文件读写操作
Dec 16 #Python
如何基于Python实现电子邮件的发送
Dec 16 #Python
Python如何基于selenium实现自动登录博客园
Dec 16 #Python
Python正则表达式急速入门(小结)
Dec 16 #Python
如何基于Python制作有道翻译小工具
Dec 16 #Python
You might like
用户的详细注册和判断
2006/10/09 PHP
设置php页面编码的两种方法示例介绍
2014/03/03 PHP
js监控IE火狐浏览器关闭、刷新、回退、前进事件
2014/07/23 Javascript
javascript里使用php代码实例
2014/12/13 Javascript
JavaScript前补零操作实例
2015/03/11 Javascript
javascript和jquery实现用户登录验证
2016/05/04 Javascript
AngularJs验证重复密码的方法(两种)
2016/11/25 Javascript
利用vue-router实现二级菜单内容转换
2016/11/30 Javascript
快速实现jQuery多级菜单效果
2017/02/01 Javascript
Vue.js实现开发购物车功能的方法详解
2019/02/22 Javascript
微信小程序button标签open-type属性原理解析
2020/01/21 Javascript
Python设计实现的计算器功能完整实例
2017/08/18 Python
Python实现针对含中文字符串的截取功能示例
2017/09/22 Python
Python3中的json模块使用详解
2018/05/05 Python
Python使用pandas处理CSV文件的实例讲解
2018/06/22 Python
python散点图实例之随机漫步
2018/08/27 Python
使用Python实现将list中的每一项的首字母大写
2019/06/11 Python
Django项目使用CircleCI的方法示例
2019/07/14 Python
django创建简单的页面响应实例教程
2019/09/06 Python
详解python中各种文件打开模式
2020/01/19 Python
python实现IOU计算案例
2020/04/12 Python
小 200 行 Python 代码制作一个换脸程序
2020/05/12 Python
解决使用Pandas 读取超过65536行的Excel文件问题
2020/11/10 Python
阿尔卡特(中国)的面试题目
2014/08/20 面试题
枚举与#define宏的区别
2014/04/30 面试题
迎接领导欢迎词
2014/01/11 职场文书
马智宇婚礼主持词
2014/03/22 职场文书
车辆工程专业求职信
2014/04/28 职场文书
县级文明单位申报材料
2014/05/23 职场文书
公司任命书范本
2014/06/04 职场文书
2015年六一儿童节活动方案
2015/05/05 职场文书
全陪导游词开场白
2015/05/29 职场文书
监护人证明
2015/06/19 职场文书
Python Pycharm虚拟下百度飞浆PaddleX安装报错问题及处理方法(亲测100%有效)
2021/05/24 Python
怎么用Python识别手势数字
2021/06/07 Python
SQL Server数据库的三种创建方法汇总
2023/05/08 MySQL