NLP-预训练模型-GPT系列-20221130：chatGPT【证明了大语言模型的可行新】

悠悠 2023-09-25 17:23 53阅读 0赞

## ![2479dea4f52f4a369d25dd3c62627c37.png][] ##

## ![7fdeea4672924a718b5370049e8acb53.png][] ![67cac058a4f040329277f5a0741329f9.png][] ##

![53f9a9b8afdd4aedbf33abdc20c949a5.png][]

## 一、GPT底层原理 ##

![fd38eff7577546c4b941b7022b44d41e.png][]

## 二、三步训练 ##

![11d010bb3cad494692e804a6b5b0a940.png][]

![5780b185ac164ed38f7f3a0f6babb54c.png][]

[2479dea4f52f4a369d25dd3c62627c37.png]: https://img-blog.csdnimg.cn/2479dea4f52f4a369d25dd3c62627c37.png
[7fdeea4672924a718b5370049e8acb53.png]: https://img-blog.csdnimg.cn/7fdeea4672924a718b5370049e8acb53.png
[67cac058a4f040329277f5a0741329f9.png]: https://img-blog.csdnimg.cn/67cac058a4f040329277f5a0741329f9.png
[53f9a9b8afdd4aedbf33abdc20c949a5.png]: https://img-blog.csdnimg.cn/53f9a9b8afdd4aedbf33abdc20c949a5.png
[fd38eff7577546c4b941b7022b44d41e.png]: https://img-blog.csdnimg.cn/fd38eff7577546c4b941b7022b44d41e.png
[11d010bb3cad494692e804a6b5b0a940.png]: https://img-blog.csdnimg.cn/11d010bb3cad494692e804a6b5b0a940.png
[5780b185ac164ed38f7f3a0f6babb54c.png]: https://img-blog.csdnimg.cn/5780b185ac164ed38f7f3a0f6babb54c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，53人围观）

还没有评论，来说两句吧...

相关阅读

相关 DeepSpeed Chat大模型训练【训练类ChatGPT 的大模型】

第1章：DeepSpeed-Chat 模型训练实战本章内容介绍如何使用微软最新发布的 DeepSpeed Chat 来训练类 ChatGPT 的大模型。通过本章内

青旅半醒/ 2023年10月13日 09:14/ 0 赞/ 129 阅读

相关 NLP-预训练模型-201806-NLG：GPT-1【参数量：117M；训练数据量：1GB】【预训练：GPT使用单向语言模型；Fine-tuning：GPT、Task的参数一起训练】

![在这里插入图片描述][3068c6ce804e4581acf5efb5008283ee.png_pic_center] 预训练模型(Pretrained model)：一

╰+攻爆jí腚メ/ 2023年10月03日 12:26/ 0 赞/ 88 阅读

相关 NLP-预训练模型-2020

Transformer 是目前 NLP 研究领域中特别重要的模型，也衍生出了很多基于 Transformer 的方法，例如 BERT、GPT，在很多 NLP 任务中有很好的效果

水深无声/ 2023年10月01日 20:47/ 0 赞/ 181 阅读

相关 NLP-预训练模型-2019：XLM-Roberta【一种多语言预训练模型】

[《原始论文：Unsupervised Cross-lingual Representation Learning at Scale》][Unsupervised Cross-

心已赠人/ 2023年10月01日 11:12/ 0 赞/ 130 阅读

相关 NLP-预训练模型-2019：SpanBERT

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6Y

古城微笑少年丶/ 2023年10月01日 11:10/ 0 赞/ 130 阅读

相关 NLP-预训练模型-GPT系列-20221130：chatGPT【证明了大语言模型的可行新】

![2479dea4f52f4a369d25dd3c62627c37.png][] ![7fdeea4672924a718b5370049e8acb53.png][]

悠悠/ 2023年09月25日 17:23/ 0 赞/ 54 阅读

相关预训练模型：NLP语言模型发展

![58fdc883f67b43479b9b98d45c956ef1.png][] ![ba1b831d58a7493dbd227f8fa644496e.png][] ![

清疚/ 2023年09月25日 14:03/ 0 赞/ 76 阅读

相关 NLP-预训练模型-GPT系列：GPT-1(2018-06)、GPT-2(2019-02)、GPT-3(2020-05)、InstuctGPT(2022-01)、chatGPT(2022-11)

![2c9de8bd56ad48ef86022d2eb26a0aea.png][] ![9052b60dab13450bb679089a2a4dd7e4.png][] GP

た入场券/ 2023年09月25日 14:01/ 0 赞/ 118 阅读

相关预训练语言模型

常用的抽取文本特征有： TFIDF/LDA/LSI gensim glove fasttext ELMO Bert [word2vec

不念不忘少年蓝@/ 2022年03月01日 03:50/ 0 赞/ 427 阅读

相关 NLP预训练模型综述

现在深度学习越来越火了，在NLP领域主要使用CNNs、RNNs、GNNs以及attention机制。尽管这些模型取得了一些成绩，但是和CV相比，还是有些差距的，主

迈不过友情╰/ 2021年09月24日 13:34/ 0 赞/ 770 阅读