AI爱好者
OpenAI的研究重点一直是自然语言处理，他们的目标是构建一个可以用自然语言进行沟通的人工智能工具，并拥有智能回应的能力。他们先后尝试了Codex和ChatGPT两个模型，最终成功开发出人们瞩目的ChatGPT，本篇内容 “The inside story of how ChatGPT was built from the people who made it”“口述历史，探析ChatGPT的创造历程。”由OpenAI的创始人、员工和投资人们讲述他们建立OpenAI的初期情况以及ChatGPT的涌现过程。
当OpenAI在2022年11月底推出ChatGPT时，这家总部位于旧金山的人工智能公司并没有抱太多期望，也没有做任何炒作。当然，OpenAI内部也没有想到这个项目会成为轰动一时的大热门。自那以后，这家公司一直在努力追赶，并利用自己的产品使其成功获利。
OpenAI的政策人员Sandhini Agarwal（以下称SA）表示，在公司内部，ChatGPT被视为一个“研究预览”， 这是对一项已有两年历史的技术的一个更精致版本的嘲弄，更重要的是，它试图通过收集公众的反馈意见来弥补其一些缺陷。OpenAI的科学家Liam Fedus（以下称LF）曾参与ChatGPT项目开发，他表示：“我们不想把它过度吹捧为一个重大的基础性进步。”
为了了解聊天机器人背后的内幕——它是如何制作的，OpenAI 自发布以来如何更新它，以及它的制造者如何看待它的成功——我采访了四位参与开发这个已成为最受欢迎的互联网应用程序之一的人。除了 Agarwal和 Fedus，我还与 OpenAI 的联合创始人 John Schulman（以下称JS） 和 OpenAI 生态团队的负责人 Jan Leike（以下称JL） 进行了交谈，该团队致力于让 AI 做用户希望它做的事情（仅此而已） .
我的感受是，OpenAI 仍然对其研究预览的成功感到困惑，但已经抓住机会推动这项技术向前发展，观察数百万人如何使用它并试图解决最严重的问题。
自去年 11 月以来，OpenAI 已经多次更新 ChatGPT。研究人员正在使用一种称为对抗性训练的技术来阻止 ChatGPT 让用户欺骗它做出不良行为（即所谓的越狱）。这项工作让多个聊天机器人相互对抗：一个聊天机器人扮演对手并通过生成文本来攻击另一个聊天机器人，迫使它违背通常的约束，并产生不必要的响应。将成功的攻击添加到 ChatGPT 的训练数据中，希望它学会忽略它们。
OpenAI 还与微软签署了数十亿美元的协议，并宣布与全球管理咨询公司贝恩结盟，后者计划在其客户（包括可口可乐）的营销活动中使用 OpenAI 的生成人工智能模型。在 OpenAI 之外，关于 ChatGPT 的热议引发了围绕大型语言模型的另一场淘金热，全球的公司和投资者都参与其中。
在短短的三个月内，炒作的太多了。ChatGPT 从何而来？OpenAI 采取了哪些步骤来确保它已准备好发布？他们接下来要去哪里？
为了篇幅和清晰度，对以下内容进行了编辑：
JL：老实说，这让人不知所措。我们很惊讶，我们一直在努力追赶。
JS：在发布后的几天里，我经常查看 Twitter，在这段疯狂的时间里，feed中充斥着ChatGPT的截图。我希望它对人们来说是直观的，我希望它能获得一些追随者，但我没想到它会达到主流的受欢迎程度。
SA：我认为对我们所有人来说，有这么多人开始使用它，这绝对是一个惊喜。我们在这些模型上工作了很多时间，我们忘记了它们有时对外界来说是多么令人惊讶的。
LF：我们对它的反响如此之好感到非常惊讶。之前有很多通用聊天机器人的尝试，我知道机会对我们不利。然而，我们的内测版给了我们信息，让我们相信我们拥有人们可能真正喜欢的东西。
JL：我很想更好地理解是什么推动了这一切——是什么推动了病毒式传播。老实说，我们不明白。我们不知道。
该团队的部分困惑来自于这样一个事实，即 ChatGPT 中的大部分技术都不是新技术。ChatGPT 是 GPT-3.5 的微调版本，GPT-3.5 是 OpenAI 在聊天机器人之前几个月发布的大型语言模型系列。GPT-3.5 本身就是 2020 年出现的 GPT-3 的更新版本。该公司在其网站上将这些模型作为应用程序编程接口或 API 提供，这使得其他软件开发人员可以轻松地将模型插入他们自己的代码中.OpenAI 还于 2022 年 1 月发布了 GPT-3.5 的微调版本，称为InstructGPT，但这些先前版本的技术都没有向公众宣传。
LF：ChatGPT 模型是使用与InstructGPT 相同的语言模型进行微调的，我们使用类似的方法对其进行微调。我们添加了一些对话数据，并稍微调整了训练过程。所以我们不想把它夸大为一个重大的基本进步。事实证明，对话数据对 ChatGPT 产生了巨大的积极影响。
JS：通过标准基准测试评估，两个模型之间的原始技术能力实际上没有本质的区别，但 ChatGPT 更易于访问和使用。
JL：从某种意义上说，您可以将 ChatGPT 理解为我们已经使用了一段时间的人工智能系统的一个版本。从根本上说，它并不是一个比我们之前拥有的模型更强大的模型。在 ChatGPT 出现之前，相同的基本模型已经在 API 上可用了将近一年。从另一种意义上说，我们让它更符合人类的意愿。它通过对话与您交谈，在聊天界面中很容易访问，它试图提供帮助。这是惊人的进步，我认为这就是人们正在意识到的。
JS：它更容易推断出意图。用户可以通过来回获得他们想要的东西。
ChatGPT 的训练方式与 InstructGPT 非常相似，使用的是一种称为人类反馈中强化学习 (RLHF) 的技术。这是 ChatGPT 的秘诀。其基本思想是采用一个大型语言模型，它倾向于说出它想要的任何东西（在本例中是 GPT-3.5），并通过告诉它人类用户真正喜欢什么样的响应来调整它。
JL：我们让一大群人阅读 ChatGPT 提示和回复，然后判断一个回复是否比另一个回复更可取。然后，将所有这些数据合并到一次训练中。其中大部分与我们使用 InstructGPT 所做的相同。你希望它更有用，希望它是真实的，你希望它是无毒的。还有一些特定于生成对话和成为助手的事情：比如，如果用户的查询不清楚，它应该提出后续问题。它还应该澄清它是一个人工智能系统。它不应该冒充它没有的身份，它不应该声称拥有它不具备的能力，当用户要求它做它不应该做的任务时，它必须写拒绝信息。在这次训练中出现的一句话是“作为OpenAI训练的语言模型……”它并没有明确地放在那里，但它是人类评分者排名很高的事情之一。
SA：是的，我想就是这样。人类评分者必须根据一系列标准对模型进行排名，例如真实性。但他们也开始更喜欢他们认为好的做法，比如不要假装自己不是什么。
由于 ChatGPT 是使用 OpenAI 之前使用的相同技术构建的，因此该团队在准备向公众发布该模型时没有做任何不同的事情。他们觉得他们为以前的模型设置的标准就足够了。
SA：当我们准备发布时，我们并不认为这种模式是一种全新的风险。GPT-3.5 已经在世界上出现了，我们知道它已经足够安全了。通过 ChatGPT 对人类偏好的训练，该模型自动学习了拒绝行为，它拒绝了很多请求。
JL：我们确实为ChatGPT 做了一些额外的“红队”，OpenAI 的每个人都坐下来试图打破模型。我们有外部团体在做同样的事情。我们还有一个早期访问计划，受信任的用户会提供反馈。
SA：我们确实发现它产生了某些不需要的输出，但它们都是 GPT-3.5 也会产生的。因此，就风险而言，作为研究预览——因为这是它最初的意图——感觉很好。
JS：你不能等到你的系统完美后再发布它。我们已经对早期版本进行了几个月的 Beta 测试，Beta 测试人员对该产品的印象是很好的。我们最关心的是真实性，因为模型喜欢捏造东西。但是 InstructGPT 和其他大型语言模型已经存在了，所以我们认为只要 ChatGPT在真实性和其他安全问题上比它们更好，就可以继续使用。在发布之前，我们确认根据我们有限的评估，这些模型确实比其他模型更真实、更安全，因此我们决定继续发布。
自 ChatGPT 推出以来，OpenAI 一直在关注人们如何使用它，首次了解将大型语言模型交到数千万用户手中时的表现如何，这些用户可能希望测试其极限并找出其缺陷。该团队试图跳出 ChatGPT 可以产生的最有问题的例子——from songs about God’s love for rapist priests到窃取信用卡号码的恶意软件代码——并使用它们来控制模型的未来版本。
SA：我们有很多后续步骤。我确信 ChatGPT 的病毒式传播让许多我们知道存在的问题真正浮出水面并变得至关重要——我们希望尽快解决的问题。就像，我们知道这个模型仍然非常有偏见。是的，ChatGPT 非常擅长拒绝不良请求，但也很容易编写提示，使其不拒绝我们希望它拒绝的内容。
LF：看到来自用户的多样化和创造性的应用程序是令人激动的，但我们始终专注于需要改进的领域。我们认为，通过我们部署、获得反馈和改进的迭代过程，我们可以产生最一致和最有能力的技术。随着我们技术的发展，新问题不可避免地会出现。
SA：在发布后的几周内，我们研究了人们发现的一些最糟糕的例子，人们在野外看到的最糟糕的事情。我们对它们中的每一个进行了评估，并讨论了我们应该如何解决它。
JL：有时它会在Twitter 上疯传，但也有一些人悄悄地联系我们。
SA：我们发现的很多东西都是越狱的，这绝对是我们需要解决的问题。但是因为用户必须尝试这些令人费解的方法才能让模型说出一些不好的东西，所以这并不是我们完全遗漏的事情，也不是让我们感到非常惊讶的事情。尽管如此，这仍然是我们目前正在积极努力研究的东西。当我们发现越狱时，我们将它们添加到我们的训练和测试数据中。我们看到的所有数据都将输入到未来的模型中。
JL： 每次我们有了更好的模型，我们都想把它拿出来测试一下。我们非常乐观地认为，一些有针对性的对抗训练可以大大改善越狱的情况。目前尚不清楚这些问题是否会完全消失，但我们认为我们可以使越狱变得更加困难。同样，我们并不是不知道在发布之前可以越狱。我认为一旦部署了这些系统，就很难预测到真正的安全问题。因此，我们非常重视监控人们使用该系统的目的，了解发生了什么，然后对此做出反应。这并不是说我们不应该在预料到安全问题时主动缓解它们。但是，当一个系统冲击现实世界时，很难预测实际会发生的一切。
1 月，微软发布了 BingChat，这是一款搜索聊天机器人，许多人认为它是 OpenAI 官方未宣布的 GPT-4 的一个版本。（OpenAI 说：“Bing 由微软专门为搜索定制的下一代模型之一提供支持。它结合了 ChatGPT 和 GPT-3.5 的进步。”）拥有数十亿美元声誉的科技巨头使用聊天机器人，对于那些负责构建基础模型的人来说，这是新的挑战。
SA：现在的风险肯定比六个月前要高得多，但仍低于一年后的水平。对于这些模型来说，显然真正重要的一件事是它们的使用环境。就像谷歌和微软一样，即使有一点不符合事实也会成为一个大问题，因为它们本来就是搜索引擎。用于搜索之类的大型语言模型所需的行为与仅作为一个有趣的聊天机器人的东西非常不同。我们需要弄清楚我们如何在所有这些不同的用途之间划清界限，创造出对各种情况下的人们有用的东西，在这些情况下，所需的行为可能真的不同。这增加了更多的压力。因为我们现在知道我们正在构建这些模型，以便将它们转化为产品。ChatGPT 现在是我们拥有 API 的产品。我们正在构建这种通用技术，我们需要确保它适用于所有方面。这是我们目前面临的主要挑战之一。
JS：我低估了人们探究和关心 ChatGPT 政治的程度。在收集训练数据时，我们可能会做出一些更好的决定，从而减少这个问题。我们现在正在努力。
JL：在我看来，ChatGPT 失败了很多——有太多事情要做。我们还似乎还没有解决这些问题。我们都必须对自己和他人非常清楚这项技术的局限性。我的意思是，语言模型已经存在了一段时间，但仍处于早期阶段。我们知道他们遇到的所有问题。我认为我们只需要非常提前，管理预期，并明确这不是一个最终产品。
欢迎免费使用GPT对话，感受ChatGPT的魅力！AI爱好者 – 最具实力的中文AI交流社区平台 (aiahz.com)
长按扫描二维码进群领资源
