MPT:BuidlerDAO x KNN3：大型语言模型使用经验

作者：

时间：1900/1/1 0:00:00

作者：@於方仁 /img/2023525190307/0.jpg" />

目前生态上讲，BERT 多用于微调场景。因为微调必须在开源模型的基础上，GPT 仅开源到 GPT2 的系列。且相同模型参数量下 BERT 在特定场景的效果往往高于 GPT，微调需要调整全部的模型参数，所以从性价比而言，BERT 比 GPT 更适合微调。

而 GPT 目前拥有 ChatGPT 这种面向广大人民群众的应用，使用简单。API 的调用也尤其方便。所以若是仅使用 LLM，则 ChatGPT 显然更有优势。

ChatGPT Prompt

币安推出首个元宇宙真人秀节目“Build The Block”:5月8日消息，币安全球创意工作室Binance Studio宣布将首次推出“Build The Block”。这是一个新的全球数字媒体内容系列，12个Web3初创公司将在该节目中竞争币安的独家资源曝光。Build The Block是首个以Crypto为主题的创业竞演真人秀，同时也是币安首次涉足元宇宙真人秀。该节目首集将于5月12日22:00(UTC+8)上线Binance Live与币安官方YouTube账号。[2023/5/9 14:50:34]

下图是 OpenAI 官方提出对于 ChatGPT 的 prompt 用法大类。

Figure 1. Prompt Categories by OpenAI

每种类别有很多具体的范例。如下图所示：

Figure 2. Prompt Categories Examples by OpenAI

除此以外，我们在此提出一些略微高级的用法。

高级分类

这是一个意图识别的例子，本质上也是分类任务，我们指定了类别，让 ChatGPT 判断用户的意图在这

BNBChain Builder Grant公布2月份获胜项目为Frank lin DAO和identity.com:3月21日消息，BNB Chain公布BNBChain Builder Grant计划2月份获胜项目，分别为Franklin DAO和identity.com。其中，Franklin DAO团队由该领域各种DeFi协议和项目的代表以及专注于开发、研究和投资的委员会组成，该团队计划为其成员提供有趣的教育体验。Identity.com是一个身份验证非营利组织，提供开源、去中心化的生态系统，其网关协议使经过验证的信息能够以合规和安全的方式在链上访问。

据悉，BNBChain通过BNBChainBuilderGrant捐赠计划每月投入最高50万美元定期支持潜力项目。[2023/3/21 13:16:47]

Figure 3. Prompt Examples

实体识别与关系抽取

利用 ChatGPT 做实体识别与关系抽取轻而易举，例如给定一篇文本后，这么像它提问。

Figure 4. Example Text Given to ChatGPT

这是部分结果截图：

Figure 5. Partial Output from given Text on ChatGPT

之后可以追问给他们的关系，例如：

NFT安全公司Web3 Builders完成700万美元种子轮融资，OpenSea Ventures等参投:10月18日消息，智能合约和 NFT 安全公司 Web3 Builders 宣布完成 700 万美元种子轮融资，Road Capital、OpenSea 的风险投资子公司、Sparkle Ventures、Picus Capital、ACME、TTV、G20、Global Founders Capital、Haven Ventures 和 Greylock 等参投。本轮融资将用于开发产品，增加新的人工智能和机器学习方法，并扩大团队。（coindesk）[2022/10/18 17:31:16]

Figure 6.Asking relationship on ChatGPT

这样，一个大型的知识图谱便可轻松建立。

分析任务

如下图所示，我对 ChatGPT 提出了分析我目前需求的问题。

Figure 7. Result for needs request on ChatGPT

甚至还能让它给定分数。

Figure 8. Scoring to evaluate the identified needs

币赢CoinW将于8月4日17:00在潜力区上线BUIDL:据官方消息，币赢CoinW将于8月4日17:00在潜力区上线BUIDL，开通BUIDL/USDT交易对，同时开启“充值送BUIDL,Maker-0.1%费率”活动；据悉，Buidl是DFOhub的治理代币。DFOhub是一个基于DFO协议的独立的去中心化组织，通过BUIDLToken持有者拥有协议及其资产的所有权。[2020/8/4]

除此以外还有数不胜数的方式，在此不一一列举。

组合Agent

另外，我们在使用 ChatGPT 的 API 时，可以将不同的 prompt 模板产生多次调用产生组合使用的效果。我愿称这种使用方式叫做，组合 Agent。例如 Figure 1 展示的是一个大概的思路。

Figure 9. The Paradigm of the Combination Agent

具体说来，例如是一个辅助创作文章的产品。则可以这么设计，如 Figure 10 所示。

Figure 10. Agent combination for assisting in creation

假设用户输入一个请求，说“帮我写一篇伦敦游记”, 那么 Intent Recognition Agent 首先做一个意图识别，意图识别也就是利用 ChatGPT 做一次分类任务。假设识别出用户的意图是文章生成，则接着调用 Article Generate Agent。

动态 | Nomic实验室为Ethereum区块链推出新的Buidler任务运行器:10月初，Nomic实验室获得了Ethereum 基金会大约5万美元的资助。这笔资金被用于处理名为Builder的任务运行器。任务运行器是一个用于自动化重复任务的计算机程序。这使得测试、编译和部署代码更加顺畅和快速。Nomic实验室认为，Ethererum的第一个任务运行器不仅可以简化程序员的工作，还可以通过Ethereum 开发者工具实现更快的开发进度。Buidler将取代许多单调重复的任务，加速开发过程。[2018/10/29]

另一方面，用户当前的输入与历史的输入可以组成一个上下文，输入给 Chat Context Analyze Agent。当前例子中，这个 agent 分析出的结果传入后面的 AI Reply Agent 和 Phase Control Agent的。

AI Reply Agent 就是用来生成 AI 回复用户的语句，假设我们的产品前端并不只有一个文章，另一个敌方还有一个框用来显示 AI 引导用户创作文章的语句，则这个 AI Reply Agent 就是用来干这个事情。将上下文的分析与文章一同提交给 ChatGPT，让其根据分析结果结合文章生成一个合适的回复。例如通过分析发现用户只是在通过聊天调整文章内容，而不知道 AI 还能控制文章的艺术意境，则可以回复用户你可以尝试着对我说“调整文章的艺术意境为非现实主义风格”。

Phase Control Agent 则是用来管理用户的阶段，对于 ChatGPT 而言也可以是一个分类任务，例如阶段分为[文章主旨，文章风格，文章模板，文章意境]等等。例如 AI 判断可以进行文章模板的制作了，前端可以产生几个模板选择的按钮。

使用不同的 Agent 来处理用户输入的不同任务，包括意图识别、Chat Context 分析、AI 回复生成和阶段控制，从而协同工作，为用户生成一篇伦敦游记的文章，提供不同方面的帮助和引导，例如调整文章的艺术意境、选择文章模板等。这样可以通过多个 Agent 的协作，使用户获得更加个性化和满意的文章生成体验。

Prompt 微调

LLM 虽然很厉害，但离统治人类的 AI 还相差甚远。眼下有个最直观的痛点就是 LLM 的模型参数太多，基于 LLM 的模型微调变得成本巨大。例如 GPT-3 模型的参数量级达到了 175 Billion ，只有行业大头才有这种财力可以微调 LLM 模型，对于小而精的公司而言该怎么办呢。无需担心，算法科学家们为我们创新了一个叫做 prompt tuning 的概念。

Prompt tuning 简单理解就是针对prompt进行微调操作，区别于传统的 fine-tuning，优势在于更快捷， prompt tuning 仅需微调 prompt 相关的参数从而去逼近 fine-tuning 的效果。

Figure 11. Prompt learning

什么是 prompt 相关的参数，如图所示，prompt tuning 是将 prompt 从一些的自然语言文本设定成了由数字组成的序列向量。本身 AI 也会将文本从预训练模型中提取向量从而进行后续的计算，只是在模型迭代过程中，这些向量并不会跟着迭代，因为这些向量于文本绑定住了。但是后来发现这些向量即便跟着迭代也无妨，虽然对于人类而言这些向量迭代更新后在物理世界已经找不到对应的自然语言文本可以表述出意思。但对于 AI 来讲，文本反而无意义，prompt 向量随着训练会将 prompt 变得越来越符合业务场景。

假设一句 prompt 由 20 个单词组成，按照 GPT3 的设定每个单词映射的向量维度是12288，20个单词便是245760，理论上需要训练的参数只有245760个，相比175 billion 的量级，245760这个数字可以忽略不计，当然也会增加一些额外的辅助参数，但同样其数量也可忽略不计。

问题来了，这么少的参数真的能逼近 fine tuning 的效果吗，当然还是有一定的局限性。如下图所示，蓝色部分代表初版的 prompt tuning, 可以发现 prompt tuning 仅有在模型参数量级达到一定程度是才有效果。虽然这可以解决大多数的场景，但在某些具体垂直领域的应用场景下则未必有用。因为垂直领域的微调往往不需要综合的 LLM 预训练模型，仅需垂直领域的 LLM 模型即可，但是相对的，模型参数不会那么大。所以随着发展，改版后的 prompt tuning 效果可以完全取代 fine-tuning。下图中的黄色部分展示的就是 prompt tuning v2 也就是第二版本的 prompt tuning 的效果。

Figure 12. Prompt learning parameters

V2 的改进是将原本仅在最初层输入的连续 prompt 向量，改为在模型传递时每一个神经网络层前均输入连续 prompt 向量，如下图所示。

Figure 13. Prompt learning v2

还是以 GPT3 模型为例，GPT3 总从有96层网络，假设 prompt 由20个单词组成，每个单词映射的向量维度是12288，则所需要训练的参数量 = 96 * 20 * 12288 =23592960。是175 billion 的万分之1.35。这个数字虽不足以忽略不计，但相对而言也非常小。

未来可能会有 prompt tuning v3, v4 等问世，甚至我们可以自己加一些创新改进 prompt tuning，例如加入长短期记忆网络的设定。(因为原版的 prompt tuning v2 就像是一个大型的 RNN, 我们可以像改进RNN 一般去改进prompt tuning v2)。总之就目前而言，prompt tuning 使得微调 LLM 变得可行，未来一定会有很多垂直领域的优秀模型诞生。

总结

Large Language Models (LLMs) 和 Web3 技术的整合为去中心化金融（DeFi）领域带来了巨大的创新和发展机遇。通过利用 LLMs 的能力，应用程序可以对大量不同数据源进行全面分析，生成实时的投资机会警报，并根据用户输入和先前的交互提供定制建议。LLMs 与区块链技术的结合还使得智能合约的创建成为可能，这些合约可以自主地执行交易并理解自然语言输入，从而促进无缝和高效的用户体验。

这种先进技术的融合有能力彻底改变 DeFi 领域，并开辟出一条为投资者、交易者和参与去中心化生态系统的个体提供新型解决方案的道路。随着 Web3 技术的日益普及，LLMs 创造复杂且可靠解决方案的潜力也在扩大，这些解决方案提高了去中心化应用程序的功能和可用性。总之，LLMs 与 Web3 技术的整合为 DeFi 领域提供了强大的工具集，提供了有深度的分析、个性化的建议和自动化的交易执行，为该领域的创新和改革提供了广泛的可能性。

参考文献