【python + word2vec】计算语义相似度

港控/mmm° 2022-06-13 06:16 313阅读 0赞

本方法是使用**python**语言使用**word2vec** 的方法来进行语义相似度的计算、

1、首先配置**python**27下的**word2vec**的环境（gensim），如下所示：

![Center][]

2、训练文本

# -*- coding: utf-8 -*-
    from gensim.models import word2vec
    import logging
    import numpy as np
    # 主程序
    logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
    sentences = word2vec.Text8Corpus(u"C:/Users/Administrator/Desktop/data/abstract.txt")  # 加载语料
    n_dim=200
    model = word2vec.Word2Vec(sentences, size=n_dim, min_count=0,sg=1)  # 训练skip-gram模型; 默认window=5
    # 保存模型，以便重用
    model.save("E:/pythonWorkSpace/work/deal_chinesepaper_data/model_data/abs0.model")
    # 以一种C语言可以解析的形式存储词向量
    model.save_word2vec_format("E:/model_data/abs0.model.bin", binary=True)
    if __name__ == "__main__":
        pass

3、根据训练的结果计算语义相似度

# -*- coding: utf-8 -*-
    
    from gensim.models import word2vec
    import logging
    import numpy as np
    
    model = word2vec.Word2Vec.load("E:/model_data/abs0.model.bin")
    y1 = model.similarity(u"社会媒体", u"社交网络")
    print u"社会媒体和社交网络的相似度为：", y1
    print "--------\n"
    y2 = model.most_similar(u"霍克斯过程", topn=20)  # 20个最相关的
    print u"和社会媒体最相关的词有：\n"
    for item in y2:
        print item[0], item[1]
    print "--------\n"

结果如下所示

![Center 1][]

[Center]: /images/20220613/9dedf58cb2474a41a2a5fb57ffcb49aa.png
[Center 1]: /images/20220613/76ef2a02bd9240a5812d78bcb54329fa.png

发表评论取消回复

表情：

评论列表（有 0 条评论，313人围观）

还没有评论，来说两句吧...

相关阅读

相关 word2vec

Word2Vec 是一种词嵌入模型，用于将文本中的单词映射到一个固定大小的向量空间中。它的主要目的是通过计算单词之间的相似度来增强自然语言处理的性能。Word2Vec 通常用于

妖狐艹你老母/ 2024年03月25日 17:38/ 0 赞/ 181 阅读

相关语义处理工具：语义版Jaccard相似度

目录 1、原生态Jaccard 1.1定义 1.2引申-Jaccard距离 1.3应用 2、语义版Jaccard 2.1诞生 2.2公式 2.3示例 2

悠悠/ 2023年10月03日 12:04/ 0 赞/ 57 阅读

相关 Python 利用Word2Vec计算词语相似度（gensim实现）

使用 gensim 训练中文词向量，计算词语之间的相似度。输入：语料库，txt文件。输出：余弦相似度。实现代码： -- coding: utf-8 --

落日映苍穹つ/ 2023年08月17日 16:52/ 0 赞/ 143 阅读

相关 Word2Vec

文本处理流程： preprocess:tokenize+lemma/stemming+stopwords+word\_list \+make features \+

男娘i/ 2023年06月23日 10:52/ 0 赞/ 134 阅读

相关 python计算余弦相似度

余弦相似度 from sklearn.metrics.pairwise import cosine_similarity a = [[1, 3, 2,5,

忘是亡心i/ 2022年12月22日 09:00/ 0 赞/ 261 阅读

相关 Word2Vec

Word2Vec Word2Vec是将词表示为实数值向量的工具，并将对文本内容的处理转换为K维向量空间的向量运算。Word2Vec输出的词向量可以用来做NLP相关的工作，

╰+哭是因爲堅強的太久メ/ 2022年08月09日 06:29/ 0 赞/ 311 阅读

相关【python + word2vec】计算语义相似度

本方法是使用python语言使用word2vec 的方法来进行语义相似度的计算、 1、首先配置python27下的word2vec的环境（gensim），如下所示：

港控/mmm°/ 2022年06月13日 06:16/ 0 赞/ 314 阅读

相关【linux + word2vec】计算两个词之间的相似度

1、在linux上部署了word2vec之后，默认的是直接通过给出某一词的相似度较高的词的结果，但是没有直接给出计算两个词之间的相似度 2、通过修改distance.c文件的

桃扇骨/ 2022年06月13日 05:26/ 0 赞/ 283 阅读

相关【java + word2vec】java版本的语义相似度计算

1、java版本的word2vec资源的下载链接:http://download.csdn.net/download/qq\_25264951/9896589 [ ][L

忘是亡心i/ 2022年06月12日 01:54/ 0 赞/ 739 阅读

相关语义相似度的计算方法

词语的语义相似度计算主要有两种方法：一类是通过语义词典，把有关词语的概念组织在一个树形的结构中来计算；另一类主要是通过词语上下文的信息，运用统计的方法进行求解。

ゞ浴缸里的玫瑰/ 2022年06月06日 07:10/ 0 赞/ 496 阅读