GPT模型（学习笔记）

àì夳堔傛蜴生んèń 2023-03-14 10:53 32阅读 0赞

GPT模型 Gererate Pre-Training Model  
本质上是无监督的学习，在transformer的基础之上层数增加到12层。  
在模型方面没有很大的贡献，证明了大模型、大数据集有效。

数据集： Books Corpus （7000本书， 800百万词， 5GB文本）  
8个GPU训练一个月。

论文：  
Radford et al. “Improving Language Undersatnding by Generative Pre-Training”  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]  
 h 0 = U W e + W p h\_0 = UW\_e + W\_p h0=UWe\+Wp  
 U U U是上下文token 向量  
 W e W\_e We是词token 向量矩阵。  
 W p W\_p Wp是位置矩阵。

h l = t r a n s f o r m e r b l o c k ( h l − 1 ) i ∈ \[ 1 , n \] h\_l = transformer\_block(h\_\{l-1\}) i \\in \[1, n\] hl=transformerblock(hl−1)i∈\[1,n\]

p ( u ) = s o f t m a x ( h n W e T ) p(u) = softmax(h\_nW\_e^T) p(u)=softmax(hnWeT)

给定一个无监督的tokens  u = u 1 , . . . , u n u=\{u\_1, ..., u\_n\} u=u1,...,un， 这也是Language Model的条件概率。  
极大似然  
 L 1 ( u ) = ∑ i l o g P ( u i ∣ u i − k , . . . , u i − 1 ; θ ) L\_1(u) = \\sum\_i logP(u\_i|u\_\{i-k\},...,u\_\{i-1\};\\theta) L1(u)=∑ilogP(ui∣ui−k,...,ui−1;θ)  
极大似然估计转换成Loss Function.

*  贡献二**监督式微调**  
    做法：（1） Pre-trainning 的Transformer\_block固定住

（2）替换最后一层线性layer分类器  
 W e − > W y W\_e -> W\_y We−>Wy, 之前的分类器层是预测词， W e W\_e We向量很大。如果做文档的分类，100类文档， W y W\_y Wy就是100维。

（3）给定一个带有Label的数据集合D, 就可以算croess-entry loss  
 L 2 ( D ) = ∑ x , y l o g P ( y ∣ x 1 , . . . , x m ) = ∑ x , y l o g ( s o f t m a x ( h l m W y ) ) L\_2(D) = \\sum\_\{x,y\}logP(y|x\_1,...,x\_m)=\\sum\_\{x,y\}log(softmax(h\_l^mW\_y)) L2(D)=∑x,ylogP(y∣x1,...,xm)=∑x,ylog(softmax(hlmWy))  
 h l m h\_l^m hlm是最后一层的激活层， W y W\_y Wy是线性输出层。  
这里的 h l m h\_l^m hlm是最后一个词还是多个词，具体去调整。  
（4）最后的loss function  
 L 3 ( D ) = L 2 ( D ) + λ L 1 ( D ) L\_3(D) = L\_2(D) + \\lambda L\_1(D) L3(D)=L2(D)\+λL1(D)

L 1 L\_1 L1预训练的loss（ML极大似然估计） ,  L 2 L\_2 L2监督学习的loss ，这就是多任务学习。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]: /images/20230312/634910a69f7741a584762566c7c72177.png