自然语言表示简史(BERT/ELMO/Word2vec/LDA/Bow/Ohehot，词向量、句向量、优缺点、应用与解决的问题)

古城微笑少年丶 2023-01-21 09:20 44阅读 0赞

本文链接：https://blog.csdn.net/rensihui/article/details/103284986  
收起  
一、自然语言表征与计算机表示

自然语言是指一种人类社会中自然地随文化演化的语言，聪明的人类经过万年的积累，并通过后天良久的学习才能理解语言的魅力和含义，机械的计算机当然不能如此容易地表达出来。

要了解自然语言的计算机表示，我们首先从发展、工业落地更加成熟的图像领域说起，图像使用非负数的矩阵表示像素点，是低层次的，连续的数据和特征。图像的任务，如分类，相似度，目标检测等，都是具体的，可轻易区分的。

相比于图像，自然语言无疑复杂得多。经过万年发展的语言是人类智慧高度凝结的结晶，语言语义很难通过数据来刻画。汉语2000多个常用字，2万多个字，成百上千万个词等语言基本单元就很难刻画，例如"喜欢"和"爱"是近义词，但是从字面上并不能反映这种信息。更别说复杂的任务：分词，分类，信息抽取......

下面简要介绍下自然语言表示的常用方法。

二、onehot独热编码

onehot独热编码是一种古老而又现代的编码方式，它通过给每个字符、词语或句子分配唯一id表示。这种做法是将要表示的字典中每个单元看成独立的唯一的单元，可以用正整数表示，不过通常构建字典大小的一维矩阵，设置一个数字为1，其他的位置全部为0等。

举个例子: "大漠帝国"可以表示为\[0, 0, ,0, 0, 0, 1\]，或者是一个数字 32

现在单独只用one-hot作机器学习、深度学习、强化学习是比较少了的，因为效果不够好。不过倒是通常用one-hot作为唯一标识原始输入（也就是索index的作用）。

解决的问题：自然语言文本在计算机的表示，one-hot句子构建的词袋模型能够扩充特征

应用：索引表示字、词、句子等

优点: 简单可解释，线性可分

缺点: 无法表征编码单元(比如说字，词，句子)之间的关系，无法表示词序关系；

只是符号化，一维度单点的数字携带的信息和特征太少；

数据量大时会带来维数灾难。

三、传统统计方法bag of words, tf, idf, tf-idf, bm25

3.1 TF-IDF

TF-IDF（英文名: term frequency-inverse document frequency），引用百度百科的说法: TF-IDF是一种用于信息检索与数据挖掘的常用加权技术。

TF意思是词频(Term Frequency)，用在句子构成的语料中，就是字或者词在文本中出现的频率。

IDF意思是逆文本频率指数(Inverse Document Frequency)，就是出现该字或者词的句子条数。一般计算是: IDF = Log ( 语料中句子总数 / (包含该词或字的句子数+1) )；

而TF-IDF = TF \* IDF。

解决的问题：划分词语重要程度，引入外部语料库信息(即所谓的先验概率)

应用：用于信息检索与数据挖掘的常用加权技术，关键词，句子相似度等

优点：实现简单高效，给出一种表示字词句子重要性的方法；常见python工具包都会集成

缺点：词频等重合会导致表示冲突，严重依赖于语料库；

会偏向于文本中频率小的词；

不能刻画出词序信息；

3.2 词袋模型bag of words

词袋模型，通俗的说，就是将句子、语料中的词语都丢到一个袋子里，构建一个词语集合-词频的一维矩阵，不考虑顺序，不考虑重要性，认为词语是独立的。例子sample:

"我爱帝国, 大漠帝国”； 词语有 "我", "爱", "帝国", "大漠"

“我爱帝国”的句向量为 \[1, 1, 2, 1\]

解决的问题：

应用：可用于信息检索与数据挖掘的常用加权技术，关键词，句子相似度等

优点：实现简单高效，给出一种表示句子一维向量的方法；

缺点：无法展示不同词语的重要程度；

不能刻画相似词语，不能刻画一词多义；

不能刻画出词序信息，维度灾难；

四、基于矩阵的统计方法(共现矩阵，NMF, LSI, LDA等主题模型\[分解派\]，Glove)

这种方法的关键在于构建矩阵，基于矩阵的统计方法主要有矩阵分解派(NMF, LSI, LDA等主题模型)，以及共现矩阵，降维共现矩阵Glove等。

4.1 基于统计的共现矩阵方法

共现矩阵方法主要通过K个窗口的词语的词频构建的向量表示词向量，具体做法就是构建N\*N的矩阵(N为词典大小)，矩阵中元素填充为训练语料中的共现词语频次。举个例子，

假设有语料： “我喜欢你”， “我爱你”， “我想你”，窗口为4，构建的共现矩阵如下图

![2021051510401854.png][]

那么"我"的词向量可以表示为: \[0, 1, 1, 2, 1, 1\]

解决的问题：简单解决词向量不能计算相似度问题

应用：词向量，句向量构建

优点：实现简单高效，给出一种表示字词句子一维向量的表示方法

缺点：严重依赖于语料库；

不能刻画出词序信息；

数据稀疏与维度灾难；

4.2 主题模型（NMF, LSI, LDA）

首先构建构建N\*N的方矩(N为词典大小)，矩阵中元素填充一般为训练语料中的TF-IDF，也可以是词频或BM25。

我们提出的假设是"词-主题，主题-句子"，所以使用主题模型进行降维，得到的权重矩阵W，就是词语对应的词向量。

可以使用NMF矩阵分解方法提取词向量： V = W \* H；也可以使用SVD奇异值分解提取词向量: A= U \* E \* V，或者是

更加复杂的LDA主题模型。

一般我们会获取W权重矩阵作为词向量模型，例如通常会得到如下结果:

# 权重矩阵
    [[1.99561456 0.03769528 0.92768855]
     [2.19064197 0.33915908 1.32014035]
     [3.94014929 0.01328534 0.        ]
     [2.35460586 0.44811399 1.68201657]
     [0.72884099 2.33034829 0.        ]]

解决的问题：词向量间隐藏的语义，如"孙悟空"和"唐僧"有关系。

应用：词向量，句向量构建，潜在语义与主题

优点：算法简洁明了可解释；有严谨的假设和证明；使用全局特征；常见python工具包都会集成

缺点：严重依赖于语料库；

不能刻画出词序信息；

计算复杂维度灾难；

主题个数不好确定；

4.3 相似度与共现矩阵（Glove）

从某种意义上说，Glove是一种神奇的脑洞，glove是一种生不逢时的词嵌入方法，为何如此说呢？1.glove效果与

word2vec相似，没有什么明显性能提升，但诞生于word2vec后面； 2.glove是一种传统统计学习方法而没有使用人工神经

网络；3.方法与计算相对复杂，并且没有什么好用的官方包，并且常见的python工具包也没有集成glove。

glove算法认为，A的词向量 / B的词向量 = Pac / Pbc；统计共现矩阵，共现矩阵为X，在整个语料库中，

Pac为单词A和单词C共同出现在一个窗口中的次数除以语料中单词A出现的个数；

同理，Pbc为单词B和单词C共同出现在一个窗口中的次数除以语料中单词B出现的个数。

化简为 A的词向量 \* B的词向量 ∝ Freq ab，即 A的词向量 乘以 B的词向量 正比于 AB词出现的词频，

再加上一些偏置项，就是glove了，glove损失函数如下:

![20210515104031248.png][]

解决的问题：词向量间上下文关系，部分解决词向量全局关系。

应用：一般性词向量，句向量构建，相似度计算，词嵌入等

优点：算法简单直观，只用了纯统计方法，综合了词语的全局信息和局部信息等

缺点：严重依赖于语料库；

不能刻画出词序信息；

不能解决一词多义问题；

常见python工具包不集成使得训练麻烦，应用较少；

五、基于语言模型的深度学习方法(NNLM、word2vec、Elmo、GPT、BERT)

5.1 NNLM

nnlm是2003年bengio等提出的一种神经网络语言模型，他的主要思想是根据句子中的前N个词语序列预测下一个

单词(这点和现在流行的MLM任务有点类似)，采用的是MLP+tanh+softmax模型，其中神经元W便是重要的副产品，

提供给下游任务的词向量。

从某种意义上而言，nnlm是随着word2vec的兴起和热度而被考古出来的，从其贡献本身来说或许意义并不是很大。

nnlm结构图如下:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VsaTAwMDAx_size_16_color_FFFFFF_t_70][]

解决的问题：学习词语的分布式表示(从高维降到低维)，词向量的隐含语义，一段话的句向量表示

应用：一般性词向量，句向量构建，相似度计算，词嵌入等

优点：使用神经网络模型训练词向量

缺点：模型优化不够，输出的类别较多导致训练过慢；

自回归语言模型，无法获取下文信息；

早期方案，应用较少，一般python工具不会集成；

5.2 word2vec

word2vec来自2013年google的论文《Efficient Estimation of Word Representations in Vector Space》，是一种浅层神

经网络模型，其中cbow模式就是预测连续N个词与中抠出来那个。例子“我 不 喜欢 帝国 主义 的”，假设滑动窗口是5，那么

可以有用词袋模型\[“我", "不", "喜欢", ”主义“\] 预测 ”帝国“。

skip-gram模型正好相反，用”帝国“去预测\[“我", "不", "喜欢", ”主义“\]。

word2vec模型结构图如下:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlbnNpaHVp_size_16_color_FFFFFF_t_70][]

解决的问题：神经网络训练词向量速度慢的问题，

浅层词语意思抽取(语言模型)，

预训练与下游任务微调问题

应用：词向量，句向量构建，词嵌入，相似度计算等

优点：算法简单直观，只用了浅层神经网络，

优化后训练速度快，能够获取相似词向量，

无论是word2vec还是其变种fastext都很好，很多包支持

缺点：不能解决一词多义问题；

不能区分和解决同义词反义词等深层次语义问题；

5.3 ELMO

elmo（deep contextualized word representation），是一种新的深层语境化的词汇表达方式，即动态变化的词向量，

这一点是和之前的静态词向量是迥异的。其具体做法是使用biLM语言任务，具体来说就是根据句话中的上下文预测当前

词语。例子:

假设有一句话"中国斗鱼又名叉尾斗鱼，广泛分布于华南地区。"，elmo就是要预测"鱼"这个单词，那么就用前向LSTM

编码"中国斗鱼又名叉尾斗"，得到编码h1，后向LSTM编码"，广泛分布于华南地区。"，得到编码h2，把h1和h2拼接起来，

即\[h1, h2\]，去预测"鱼"的概率。

这样子训练，大规模语料中的通用信息，就存储到这个双层前向后向LSTM中了。

使用来做字，词，句子embedding，或者是做下游任务的时候，可以这么来理解，输入一个句子，elmo句子中的

词语的词向量受上下文词语影响，其上下文不同，则当前词语的词义不一样，如此，就能够解决一词多义的情况了。

ELMO网络结构如下:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlbnNpaHVp_size_16_color_FFFFFF_t_70 1][]

解决的问题：一词多义问题，

深层次句子语义问题

应用：词向量，句向量构建，NLP四大任务等下游任务

优点：预训练模型使用通用语料，引入外部语料；

使用bilstm特征抽取器抽取词语，句子，语义等各层次信息；

解决一词多义问题，序列依赖问题；

缺点：bilstm抽取特征能力不够强，训练速度慢，不能并行化处理；

输出拼接前向、后向融合特征的方式不够好；

没有一个比较好的通用训练好的中文elmo预训练模型，也没有比较好用的工具；

5.3 Bert

Bert（Pre-training of Deep Bidirectional Transformers for Language Understanding），深层双向Transformer

预训练语言模型，是NNLM、Word2vec、ELMO和GPT等embedding技术的集大成者。

Bert采用更大规模(几十G)、更深层次网络(12,24)训练通用预训练模型，其训练任务有两个，一个是MLM(masked

Language Model)遮挡语言模型，而是NSP(Next Sentence Prediction)下一句子预测。

应该很好理解，MLM就是用句子中的其他词语预测被遮挡住的词语，

例子: "我爱语文"这句话，可以把\["我", masked, "语", "文"\]预测"爱"这个词。

NSP也很好理解，将连续的两句话拼接起来，用\[SEP\]间隔开，是连续句子就是True，否则为False，二分类任务。

这些任务，ELMO可以做，CBOW也可以做，不同的是，Bert在输入时候把token\_segnment，position\_embedding,

segnment\_embedding一体化融合；两阶段模型(预训练，微调)；Transformer编码层作特征抽取器；使用双向语言模型等

BERT网络结构如下图:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlbnNpaHVp_size_16_color_FFFFFF_t_70 2][]

解决的问题：一词多义问题；

并行化快速训练问题；

词语、句子语义层次问题；

transformer上下文信息获取；

应用：词向量，句向量构建，NLP四大任务等下游任务

优点：预训练模型使用通用语料，引入外部语料，便于下游任务微调；

使用transformer特征抽取器抽取词语，并行化获取句子，语义等各层次信息；

解决一词多义问题，双向语言模型；

缺点：相同句式的词语语义区分不明显；

训练、微调时候输入不一致；

多层transformer训练比较慢，耗时长，需要能耗高；

bert维度768，多层transformer网络参数大，占用空间，预测比较慢；

不大适合生成式任务，对于超长文本不太友好，对于只需要浅层语义的NLP任务不友好；

参考/感谢:

词向量表示方法梳理: https://zhuanlan.zhihu.com/p/46026058

从Word Embedding到Bert模型——自然语言处理预训练技术发展史:https://mp.weixin.qq.com/s/FHDpx2cYYh9GZsa5nChi4g

————————————————  
版权声明：本文为CSDN博主「Macropodus」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/rensihui/article/details/103284986

[2021051510401854.png]: /images/20221020/c30ef8d82e3f46a68f645e1e2108d10e.png
[20210515104031248.png]: /images/20221020/aa1fed38e3ab4c08b5709501fb0ca93d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VsaTAwMDAx_size_16_color_FFFFFF_t_70]: /images/20221020/72792bfe7a9146c3802f6fba75e42d11.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlbnNpaHVp_size_16_color_FFFFFF_t_70]: /images/20221020/8e8f643790134d7ab5f6b4a87db732bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlbnNpaHVp_size_16_color_FFFFFF_t_70 1]: /images/20221020/aca0870ff60341258f0b3c82ce3b3f3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlbnNpaHVp_size_16_color_FFFFFF_t_70 2]: /images/20221020/928389d2222642a7bfcf1070585cb2d3.png