爆红的chatgpt是如何诞生的?

布满荆棘的人生 2023-09-30 19:40 38阅读 0赞

今年，人工智能行业最大的新闻当属 DeepMind的 AlphaGo战胜了李世石，这是 AlphaGo在与人类围棋高手对战中，以总比分4比1击败李世石。

DeepMind团队公布的研究成果在 AI界引起了巨大反响。它从深度学习（Deep Learning）入手，开创了一种全新的人工智能技术，与当前人工智能所使用的机器学习（Machine Learning）有很大区别。相比于传统机器学习方法， ChatGPT让机器真正像人类一样思考，能够胜任很多复杂的任务。ChatGPT可以说是目前最强大的语言模型之一。

![e7579ba269a24ae092440490569f72de.jpeg][]

**ChatGPT是一款人工智能系统**

ChatGPT是一款由 OpenAI开发的人工智能系统，它用来模拟自然语言处理任务的深度学习模型，能够理解自然语言，并根据输入文本内容。

ChatGPT系统在文本生成过程中采用了基于 Transformer架构的预训练语言模型，该模型以 Transformer架构为基础，使用双向 Transformer模型，训练从输入文本到输出文本的语言模型，将输入文本表示成语义相似的词向量，并将词向量表示成概率分布。

此外，该系统还包含两个内部的神经网络模块：一个用于处理语言生成；另一个用于处理语言理解。此外，系统还使用了基于学习的深度学习模型，使用预训练语言模型来学习通用语言处理任务。

![39cfaf05e7a84516aa1d64e401e0fc8a.jpeg][]

**ChatGPT是如何训练出来的？**

DeepMind的研究人员通过对历史文档数据进行训练，构建了一个被称为 Transformer (Transformer是一个由深度神经网络组成的多层网络，其模型的结构类似于神经元，在输入序列上进行反复地传递信息）的模型。在这个模型中，有三个主要部分：输入序列、输出序列和权重（权值）。输入序列就是文档中的一些关键字；输出序列则是一些对文档的看法（这取决于文档所讨论的话题）；权重则是将这两个输出的内容相乘再相除，并进行标准化，之后就可以用来训练一个模型，这个模型就可以将输入和输出相乘再相除，并使用这些结果训练 Transformer模型。

由于 Transformer具有良好的数学性质（可以进行大规模计算），所以它可以让 GPT完成一些非常复杂的任务，包括：

理解文本并提出建议；

与多个相关领域内的专家交流；

**ChatGPT能够完成哪些任务？**

ChatGPT的全称是 Google Translate Machine Learning，它可以完成的任务主要包括：

对话（Conversation）：通过与人类交谈，学习语言和各种人类表达。从回复内容来看，主要是问答类型的对话；

文本生成（Text Generation）：让机器根据特定任务生成文本；

阅读理解（Reading Ability）：让机器理解文本内容，例如对于一个简单的句子，理解句子中每一个单词的意思，并且针对这些单词给出合理的回答；

翻译（Translate Spontanes）：对文本进行翻译。

![0c4b6e4dcdd2482498509021eff65fe4.jpeg][]

**ChatGPT为何要“跳槽”到 Google呢？**

在 DeepMind发布论文之前， ChatGPT就已经与 Google进行过一次合作，他们将其研究成果发表在了《自然语言处理》上。但是， DeepMind团队发现，用自然语言处理技术训练出来的模型还不够“聪明”，而且在一些特定领域的表现并不够好。他们在论文中提出，应该从更多的自然语言处理任务入手，比如翻译和对话等。

那么问题来了，为什么 ChatGPT要去 Google呢？当然不是因为谷歌有钱，或者谷歌有实力。其实这两点都不是主要原因。ChatGPT在 Google内部之所以能够引起极大的关注和讨论，主要原因还是在于其所创造的巨大价值：帮助人们更好地理解自然语言、对话和问答等复杂场景。

![9ad43240d0104a83adc3f37c523c562c.jpeg][]

**为什么要做自然语言处理（NLP）和机器学习？**

第一个原因是，现在的人工智能已经进入了后半场。AI领域最大的问题就是数据驱动型人工智能在解决实际问题上的局限性。现在，大量的数据都被计算机处理了，但很多应用场景其实并不需要这些数据。比如说语音识别，只有百分之十几的准确率，但是需要百分之十几甚至更高，这就是因为在实际场景中，这些数据没有得到充分的利用。

第二个原因是，人工智能要真正意义上的智能是需要具备人类的思维能力的。这个思维能力不是说你想让它具备什么能力，它就可以具备什么能力。如果不具备人类的思维能力的话，就算给它再多数据，再强训练模型，最终也不会真正像人类一样思考。因此自然语言处理（NLP）和机器学习就成为了人工智能领域重要的研究方向。

![bef4a9f89e35441198c72af531a89425.jpeg][]

**ChatGPT是如何开发出来的，有哪些难点和挑战？**

ChatGPT从诞生到现在，已经在 GitHub上开源，并获得了大量开发者的支持和关注。那么 ChatGPT究竟是如何开发出来的呢？

ChatGPT是通过深度学习技术实现的。不同于以往使用大量文本进行训练模型，它的最大难点是在模型上实现了知识的传递。正如上文提到的，模型中包含了大量的文本信息和知识，因此 ChatGPT需要通过神经网络来学习如何生成新文本。而在实际应用中，机器不可能学习所有知识，因此它必须从零开始学习，并且很难进行泛化。

此外，如何让模型真正具有思考能力也是难点之一。要实现这样一个功能，需要解决大量的数据收集、数据清洗、模型训练和模型预测等问题。最重要的是，如何让模型具有感知能力以及根据上下文做出合理判断的能力，这些都是非常困难而又必要的研究方向。

同时， ChatGPT在很大程度上依赖于大量文本信息，如何防止用户输入的问题（比如重复输入同一个问题）以及如何在应用程序中提供良好体验都是需要解决的问题。

![cd5ee6f9924f44429e92911c0618228e.jpeg][]

**ChatGPT的发展趋势和应用前景如何？**

ChatGPT的发展趋势是非常好的。它主要应用于三个方面，首先， ChatGPT在智能问答系统中的应用。目前已经有公司开始着手打造基于 ChatGPT的智能问答系统，让机器可以跟人一样回答问题，让对话更加自然。其次，在智能对话系统中的应用， ChatGPT可以理解对话中双方的情绪和意图，从而让对话更加深入和真实。最后是在一些智能问答系统中的应用。

当然， ChatGPT也存在一定的问题。它虽然能理解对话，但无法做判断；能回答简单问题，但不能深入了解问题背后的含义；能理解文本意义，但无法实际问题等。

目前 ChatGPT主要是在中文环境下使用。随着其技术不断进步， ChatGPT在其他语言环境下使用将越来越广泛。未来，随着 ChatGPT性能进一步提升和应用范围扩大，其应用范围还将不断扩展到其他语言环境下的问答系统等领域，比如面向自然语言处理领域的多语言问答系统、面向机器翻译领域的多语言翻译系统、面向聊天机器人领域的多语言聊天机器人等。

![dbc0946654014ac4b6fa03c1a261a901.jpeg][]

[e7579ba269a24ae092440490569f72de.jpeg]: https://img-blog.csdnimg.cn/e7579ba269a24ae092440490569f72de.jpeg
[39cfaf05e7a84516aa1d64e401e0fc8a.jpeg]: https://img-blog.csdnimg.cn/39cfaf05e7a84516aa1d64e401e0fc8a.jpeg
[0c4b6e4dcdd2482498509021eff65fe4.jpeg]: https://img-blog.csdnimg.cn/0c4b6e4dcdd2482498509021eff65fe4.jpeg
[9ad43240d0104a83adc3f37c523c562c.jpeg]: https://img-blog.csdnimg.cn/9ad43240d0104a83adc3f37c523c562c.jpeg
[bef4a9f89e35441198c72af531a89425.jpeg]: https://img-blog.csdnimg.cn/bef4a9f89e35441198c72af531a89425.jpeg
[cd5ee6f9924f44429e92911c0618228e.jpeg]: https://img-blog.csdnimg.cn/cd5ee6f9924f44429e92911c0618228e.jpeg
[dbc0946654014ac4b6fa03c1a261a901.jpeg]: https://img-blog.csdnimg.cn/dbc0946654014ac4b6fa03c1a261a901.jpeg