APE:一文了解 ZK 在推进链上 AI 的作用

作者：

时间：1900/1/1 0:00:00

原文来自：Modulus Labs

编译：DeFi 之道

很高兴终于可以与你们分享我们的第一篇论文，该论文是通过以太坊基金会的资助完成的，它的名称是《The Cost of Intelligence: Proving Machine Learning Inference with Zero-Knowledge?》（或 paper0，这是酷孩子们的叫法)。

没错，这些都是真数字！有图表！论文还讨论了理论结构及其对性能的影响！事实上，paper0 是第一个跨通用 AI 原语套件对 ZK 证明系统进行基准测试的研究工作，你现在就可以阅读整篇论文。

而这篇文章，你可以将其视为论文的总结，有关详细信息，请参阅原论文。

事不宜迟，让我们深入了解：

事实上，计算的未来将大量使用复杂的人工智能。看看我的文本编辑器：

Notion 的提示告诉我，他们的 LLM 可以让这句话变得更好

Ripple报告：一季度XRP净销售额逾3.6亿美元:4月28日消息，Ripple在发布的一季度报告中指出，2023年第一季度的XRP总销售额（扣除购买量）为3.6106亿美元，而上一季度为2.2631亿美元；XRPLedger链上交易量增长了9%至1.16亿，而上一季度为1.06亿。关于美国证券交易委员会针对Ripple的诉讼更新，Ripple预计将在2023年做出简易判决的决定，但具体时间最终取决于法院。[2023/4/28 14:32:21]

然而，链上不存在功能性神经网络，甚至连最小的推荐系统或匹配算法都不存在。真见鬼！甚至连实验也没有一个……当然，原因是非常明显的，因为这太贵了，毕竟，即使运行价值数十万 FLOP 的计算（仅够在微型神经网络上进行一次推理）的成本也是数百万 gas，目前相当于数百美元。

那么，如果我们想将 AI 范式带入无需信任的世界，我们该怎么做？我们会翻车（roll-over），然后放弃（give up）吗？当然不是…等等！Roll-over）……Give up……

如果像 Starkware、Matter Labs 和其他公司这样的 Rollup 服务，正在使用零知识证明来大规模扩展计算，同时保持密码学安全，那么我们能为 AI 做同样的事情吗？

以色列总理：政府将评估硅谷银行倒闭对以色列公司的影响，并决定是否提供援助:金色财经报道，以色列总理Benjamin Netanyahu表示，政府将评估硅谷银行倒闭对以色列公司的影响，并决定是否向它们提供援助，主要是现金流方面。（华盛顿邮报）[2023/3/13 13:00:27]

这个问题成为推动我们在 paper0 中工作的激励种子。剧透警报，以下是我们发现的：

paper0 总结

这是众所周知的秘密：AI 性能几乎总是与模型大小成比例。这种趋势看起来也没有放缓。只要这种情况仍然存在，对于我们这些 web3 中的人来说，这将是特别痛苦的。

毕竟，计算成本是我们最终、不可避免的噩梦来源。

今天的 ZKP 已经可以支持小模型了，但中型到大型模型打破了范式

Block Tower Capital在Dexible黑客攻击中损失150万美元:金色财经报道，去中心化交易所聚合商 Dexible 周五早些时候遭受了 200 万美元的攻击。Dexible发推文称，黑客利用了智能合约代码中的一个弱点，允许他们从加密钱包中抽取资金。“少数鲸鱼”，即大型加密货币持有者，约占损失的 85%。

区块链数据显示，数字资产投资公司 BlockTower Capital 是受害者之一，区块链情报公司 Arkham Intelligence 将与 Dexible 开发者相关的钱包地址标记为 BlockTower，损失了约 150 万美元的 TRU 代币。区块链情报公司Nansen也将该地址标记为 BlockTower Capital 的地址。Arkham 上的区块链交易显示，攻击者将被盗的 TRU 代币转移到 SushiSwap 以交易 ETH，然后将 ETH 发送给加密混合器服务提供商 TornadoCash。[2023/2/18 12:14:01]

对于 paper0，我们关注任何零知识证明系统中的 2 个基本指标：

证明生成时间：prover 创建 AI 推理的伴随证明所需的时间，以及

数据：过去一周巨鲸累计增持2万个BTC:1月10日消息，加密KOL Ali援引Santiment数据称，持有1000到10000枚BTC的巨鲸在12月份并不活跃；但从1月5日以来，巨鲸开始增持，累计BTC持有量增加了大约20,000枚。Santiment数据显示，这些巨鲸地址目前BTC总持有量达到457万个，占流通供应量的23.7%。[2023/1/10 11:04:57]

prover 内存使用峰值：证明者在证明期间的任何给定时间用于生成推理证明的最大内存；

这主要是一个实际的选择，并且是从我们构建 Rockybot 的经验中做出的（证明时间和内存使用是确定任何无需信任人工智能用例可行性的直接优先事项）。此外，所有测量都是针对证明生成时间进行的，并且没有考虑预处理或 witness 生成。

当然，还有其他方面的成本需要跟踪。这包括验证者运行时间和证明大小。我们将来可能会重新审视这些指标，但将它们视为 paper0 的范围之外。

至于我们测试的实际证明系统，通过投票，我们选定了 6 个：

美联储一季报账面浮亏2.2万亿元人民币:6月4日消息，日前美联储公布2022年一季度财报，在资产总规模升至8.9万亿美元的同时，其持有的美债、抵押贷款支持证券出现超过3300亿美元的账面亏损，约合人民币2.2万亿元——这几乎相当于贵州茅台的最新市值。值得注意的是，美联储此前宣布自6月起正式开始缩表，若其试图通过减持MBS来加速缩表进程，则账面亏损或转为实际亏损。（中证报）[2022/6/4 4:01:58]

Paper0 测试的证明系统汇总表，以及协助我们的作者

最后，我们创建了两套用于基准测试的多线性感知器（MLP）——值得注意的是，MLP 相对简单，主要由线性运算组成。这包括一套随着参数数量增加而扩展的架构（最多 1800 万参数和 22 GFLOP），以及第二套随着层数增加而扩展（最多 500 层）的架构。如下表所示，每个套件都测试了证明系统以不同方式扩展的能力，并大致代表了从 LeNet5（6 万参数，0.5 MFLOP）到 ResNet-34（2200 万参数，3.77 GFLOP）的知名深度学习（ML）架构的规模。

参数和深度基准套件

对于以上 6 个证明系统的参数和深度范围的证明生成时间结果

对于以上 6 个证明系统的参数和深度范围内的峰值内存结果

有关这些结果的完整内容，以及对每个系统内瓶颈的深入分析，请参阅 paper0 的第 4 节。

好吧，以上是一些非常简洁的图表，而以下则是要点：

那这在实践中究竟意味着什么？我们将重点介绍 2 个示例：

1、Worldcoin：Worldcoin 正在构建世界上第一个“隐私保护身份证明协议”（或 PPPoPP），换句话说，通过将身份验证与一种非常独特的生物特征（虹膜）联系起来来解决女巫攻击问题。这是一个疯狂的想法，它使用卷积神经网络来压缩、转换和证明存储的虹膜数据。虽然他们当前的设置涉及 orb 硬件中安全飞地内的可信计算环境，但他们希望改为使用 ZKP 来证明模型的正确计算。这将允许用户对自己的生物特征数据进行自我保护，并提供加密安全保证（只要在用户的硬件上进行处理，比如手机）。

现在具体一点：Worldcoin 的模型具有 180 万参数和 50 层。这是区分 100 亿个不同虹膜所必需的模型复杂性。哎呀！

虽然在计算优化的云 CPU 上证明 Plonky2 等系统，可以在几分钟内为这种规模的模型生成推理证明，但证明者的内存消耗将超过任何商用移动硬件（数十 GB 的 RAM）。

事实上，没有一个测试系统能够在移动硬件上证明这个神经网络……

2. AI Arena：AI Arena 是一款类似于《任天堂明星大乱斗》风格的链上平台格斗游戏，其具有一个独特的特点：玩家并不是操作化身实时进行对抗，而是让玩家拥有的 AI 模型相互竞争和战斗，是的，这听起来很酷。

随着时间的推移，AI Arena 的出色团队正努力将他们的游戏转向一个完全无需信任的锦标赛计划。但问题是，这涉及验证每次游戏数量惊人的 AI 计算的挑战。

比赛以每秒 60 帧的速度运行，持续 3 分钟时间。这意味着每轮比赛，两个玩家模型之间的推理结果超过 20000 个。以 AI Arena 的一个策略网络为例，一个相对较小的 MLP 需要大约 0.008 秒来执行一次前向传递，使用 zkCNN 证明该模型需要 0.6 秒，即，每采取一次动作就需要增加 1000 倍的计算。

这也意味着计算成本将增加 1000 倍。随着单元经济对链上服务变得越来越重要，开发人员必须平衡去中心化安全的价值与证明生成的实际成本。