时间:2021-05-22
这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
import gensim, logging, oslogging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)import nltkcorpus = nltk.corpus.brown.sents()fname = 'brown_skipgram.model'if os.path.exists(fname): # load the file if it has already been trained, to save repeating the slow training step below model = gensim.models.Word2Vec.load(fname)else: # can take a few minutes, grab a cuppa model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50) model.save(fname)words = "woman women man girl boy green blue".split()for w1 in words: for w2 in words: print(w1, w2, model.similarity(w1, w2))print(model.most_similar(positive=['woman', ''], topn=1))print(model.similarity('woman', 'girl'))girl在gensim模块中已经封装了13年提出的model--word2vec,所以我们直接开始建立模型
这是建立模型的过程,最后会出现saving Word2vec的语句,代表已经成功建立了模型
这是输入了 gorvement和news关键词后 所反馈的词语 --- administration, 他们之间的相关性是0.508
当我在输入 women 和 man ,他们显示的相关性的0.638 ,已经是非常高的一个数字。
值得一提的是,我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。
大家如果感兴趣的话,可以自己建立该模型,通过传入不同的语料库,来calc 一些term的 相关性噢
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
word2vec介绍word2vec官网:https://code.google.com/p/word2vec/word2vec是google的一个开源工具,能
项目中要对短文本进行相似度估计,word2vec是一个很火的工具。本文就word2vec的训练以及加载进行了总结。word2vec的原理就不描述了,word2v
python实现情感分析(Word2Vec)**前几天跟着老师做了几个项目,老师写的时候劈里啪啦一顿敲,写了个啥咱也布吉岛,线下自己就瞎琢磨,终于实现了一个最简
一、前言一开始看到word2vec环境的安装还挺复杂的,安了半天Cygwin也没太搞懂。后来突然发现,我为什么要去安c语言版本的呢,我应该去用python版本的
如何在pytorch中使用word2vec训练好的词向量torch.nn.Embedding()这个方法是在pytorch中将词向量和词对应起来的一个方法.一般