AI爱好者前两天刚介绍了 LangChain，还觉得是个非常有前景的 LLM framework 层产品，没想到今天 OpenAI 就自己下场发布了 ChatGPT Plugin 体系，这变化太快了。
WebGPT/New Bing/ChatPDF 这些应该是人尽皆知了，但如果你之前没有玩过 LangChain，可能会对这个 plugin 实现的一些效果感到非常惊奇。是的，我第一次看 LangChain 里的 agent 执行思维链调用工具时也是感到脊背发凉，深入看了下自定义工具的开发方式更是大开眼界。你只要把自己工具的特性用自然语言描述出来就行，大模型会自己学会怎么使用，都不需要什么胶水代码了……
大模型作为 agent 实现复杂任务这块，从原理和实现上来看主要还是 CoT instruction 那套，例如 Self-ask，IRCoT，ReAct 等都是这方面非常好的工作。结合我之前的介绍视频应该能很快理解大语言模型是怎么玩转各种外部工具的了。OpenAI 内部估计早就玩过这些，而且看起来他们对于安全性方面的考虑还更进一步。
ReAct Prompting
不过从我的开发经验来看，当流程比较复杂，且提供的外部工具较多时，当前的 GPT-3.5 系列模型还是很容易会走偏方向选错工具。不知道 GPT-4 系列上能有多少改善。对于这个问题，目前比较普遍的解决方案是将步骤和对应工具能力拆解得更细，引入相关示例，越是具体的 context 模型越不容易出错。或者引入多次模型调用来 vote 一个看起来靠谱的方向。但复杂的嵌套的 LLM chain 调用仍然会导致不确定性的叠加，并导致完成单个任务的调用开销大幅上升。未来应该有不少工作可以做，例如是不是先让模型生成一个 plan，自己推演一遍，或者由人工辅助审核之后，再进行后续的实际执行动作等。
OpenAI 这次做的 plugin 体系，很大程度上跟 LangChain 里工具层（以及外部存储层）的作用是一样的，但隐藏了 agent prompt 的部分，然后又进一步希望去定义未来标准的 AI interface。这个思路上的主要区别是原先 LangChain 想作为一个中间层，去赋能更多的应用开发者把 LLM 的能力“包进来”。但 OpenAI 的想法是未来 Chatbot 才是最大的入口，应用都应该开放接口来为模型 agent 所用。或许后续还会推出 plugin 调用按流量收费的模式之类，真正去形成一个 AI 时代的应用市场，但是这些“应用”都不是直接面对用户的……
你可能会觉得，作为应用来说业务逻辑还是在我这，无非就是提供一个“文档”给 OpenAI 就能接入了，那后续要接入哪家也没啥切换成本。但 OpenAI 相比 LangChain 一个巨大的优势是，他们可以通过快速建立 plugin 生态，利用海量用户的使用和反馈去优化后续的 GPT 系列，比如是否能更加准确可靠地去调用各类工具，把人类实际工作中各种复杂的“业务流程”都积累到 GPT 的知识体系中去。那样的话其它的大模型厂商可能刚追上 ChatGPT 的能力，在这个外部工具生态，模型与真实世界连接能力方面又落下了一大截。
对于 LangChain 来说，可能主要的卖点只剩下支持私有化部署，平台无关，开发提效这块了。我之前在使用过程中也有这种感觉，未来所谓的 chain 定义的“领域知识”可能越来越会被模型自己的知识体系所吞噬。OpenAI 的动作在持续加速这一点的发展。
当然 OpenAI 也很有可能会把调用 plugin 的能力在 API 层面也开放出来，使得各类应用也可以去调用具有外部工具使用能力的 API。但谁会需要这样的接口呢？以官网的样例为例，我们可以问一句：“我周六想找一家杭州的素食餐馆，帮我推荐个合适的并订个座。周日想自己做饭，你帮我生成个菜谱，列出总卡路里数，再帮我自动下个单。”然后这个 API 就把这些事情全部做完了。如果我是大众点评，我好像没必要对接这个 API，因为我本身能做的也是这个任务的子集，叮咚买菜也是类似。目前我能想到的，就只有通用 Chatbot 有对接这个 API 的需求，这不就是 ChatGPT 自己吗？（当然现有应用、OS 玩家可能会有防御）
第一批拥抱 ChatGPT 的外部应用
之前很多人都认为 GPT-4 的发布是个 GUI/Internet moment，那么未来的应用生态会是什么样的呢？起码现在 OpenAI 每出一个动作，之前的一堆插件（例如做 summary 的 bearly.ai），应用（如 ChatPDF），框架（LangChain 等）都面临淘汰风险，会不会出现底层能力和流量入口都被 OpenAI 掌握的情况出现？我们是否有更多可以参考的历史模式来做推演，作为应用开发者该如何思考未来发展方向？现在看起来不确定性太大了（包括未来大模型、垂直化竞争格局本身也充满变数），但无论对于公司还是个人来说，自强则万强。在快速引入 AI 能力做效率提升之外，批判性思维，创造力，与用户共情，开放性的思维与自我迭代可能都变得越来越重要。
链接：https://www.zhihu.com/question/591557088/answer/2951666345
