GPT:最强组合HuggingFace+ChatGPT=「贾维斯」现在开放demo了！

来源：新智元

前段时间，浙大&微软发布了一个大模型协作系统HuggingGPT直接爆火。

研究者提出了用ChatGPT作为控制器，连接HuggingFace社区中的各种AI模型，完成多模态复杂任务。

整个过程，只需要做的是：用自然语言将你的需求输出。

英伟达科学家称，这是我本周读到的最有意思的论文。它的思想非常接近我之前说的「EverythingApp」，即万物皆App，被AI直接读取信息。

上手体验

现在，HuggingGPT增加了Gradio演示。

项目地址：https://github.com/microsoft/JARVIS

有网友便上手体验了一番，先来「识别图上有几个人」？

HuggingGPT根据推理结果，得出图片中有2个人正在街道上行走。

Paypal推出美元稳定币PYUSD:金色财经报道，Paypal(PYPL.O)推出美元稳定币PayPal USD（PYUSD）用于转账和支付。PayPal USD 100%由美元、短期美国国债和现金等价物支持。PayPal USD可按1:1兑换美元，由Paxos Trust Company发行。PYUSD将逐步向PayPal在美国的客户开放，并将很快在Venmo上提供。

购买PYUSD的符合条件的美国PayPal客户将能够：

1. 在PayPal和兼容的外部钱包之间转移PYUSD；

2. 使用PYUSD进行个人对个人付款；

3. 在结账时选择使用PYUSD；

4.将PayPal支持的任何加密货币与PYUSD相互转换。

PayPal表示，PYUSD是PayPal网络中唯一支持的稳定币。PYUSD是在以太坊区块链上发行的ERC-20代币。[2023/8/7 21:30:22]

具体过程如下：

比特币未平仓合约持仓量创年度新高:金色财经报道，比特币的未平仓合约（OI）代表尚未在特定时间关闭的衍生品合约，例如期货和期权。据CoinGlass收集不同衍生品交易平台上的OI，并将其汇总在一起，数据显示，目前比特币衍生品的未平仓合约总额已超过140亿美元。比特币OI最大的加密货币交易所是Binance，其份额远低于50%（32%），但几乎是CME的两倍。CME（芝加哥商业交易所）仅占比特币未平仓合约总量的18%。第三大是加密货币交易所Bybit，所占份额略小。值得注意的是，最近几周比特币的OI大幅上升。事实上，截至今年3月18日，这一数字一直在100亿美元以上，但从6月16日开始大幅上升。然而，类似的事情在4月5日至14日之间已经发生过，但只增加到130亿。要找到上一次超过140亿美元的时间，需要追溯到2022年5月份，因此，目前的水平是2023年的最高水平。[2023/6/25 21:59:22]

首先使用图像到文本模型nlpconnect/vit-gpt2-image-captioning进行图像描述，生成的文本「2个女人在有火车的街道上行走」。

Redeem完成250万美元Pre-seed融资:金色财经报道，与区块链无关的连接层Redeem筹集了250万美元融资，旨在使个人能够通过短信传输NFT，Pre-seed融资轮由Kenetic领投，其他投资者包括VC3 DAO、CMT Digital和Flyover Capital。

据报道，这家初创公司由前阿里巴巴高管兼生物识别初创公司EyeVerify的创始人Toby Rush创立，希望提供基础设施，让用户仅使用电话号码即可接入Web3。Redeem的模式是企业对企业和企业对客户，重点是交换实用NFT。新资金将用于在第二季度战略合作伙伴关系发布之前继续构建核心功能集。[2023/3/2 12:37:21]

接着，使用了目标检测模型facebook/detrresnet50来检测图片中的人数。模型检测出7个物体，2个人。

再使用视觉问题回答模型dandelin/vilt-b32-finetuned-vqa得出结果。最后，系统提供了详细的响应和用于解答问题的模型信息。

比特币全网未确认交易数量为11415笔:金色财经报道，BTC.com数据显示，目前比特币全网未确认交易数量为11415笔，全网算力为224.30/s，24小时交易速率为2.34交易/s，目前全网难度为28.35 T，预测下次难度上调6.63%至30.23 T，距离调整还剩2天11小时[2022/8/29 12:54:28]

另外，让它理解「我爱你」这句话的情感，并将其翻译成泰米尔语。

HuggingGPT调用了以下模型：

首先，使用了模型「dslim/bert-base-NER」对文本「lloveyou」进行情感分类，是「浪漫」。

然后，使用「ChatGPT」将文本翻译成泰米尔语，即「Nanunnaikadalikiren」。

在推理结果中没有生成的图片、音频或视频文件。

转录MP3文件时，HuggingGPT却失败了。网友表示，「不确定这是否是我的输入文件的问题。」

关于“将APE留在以太坊生态”的提案获得超92%投票支持:6月5日消息，截至目前，ApeCoin社区发起的关于“将APE留在以太坊生态”的提案已获得92.07%的赞成票。

此前消息，ApeCoin社区发起提案AIP-41，希望将APE留在以太坊生态。提案表示，迁移到不同的链是一项成本高昂、风险大且复杂的工作，其中包含许多活动部件，如果不加以深思熟虑，可能会导致灾难性损失，或者在最坏的情况下，被Yuga Labs和其他对ApeCoin有意义的实体放弃。[2022/6/5 4:03:30]

再来看看图像生成的能力。

输入「一只猫跳舞」图像上添加文字「ILOVEYOU」作为叠加层。

HuggingGPT首先使用了「runwayml/stable-diffusion-1-5」模型根据给定的文本生成「跳舞的猫」的图片。

然后，使用同一个模型根据给定的文本生成了「ILOVEYOU」的图片。

最后，将2个图片合并在一起，输出如下图：

贾维斯照进现实

项目公开没几天，贾维斯已经在GitHub上收获了12.5k星，以及811个fork。

研究者指出解决大型语言模型当前的问题，可能是迈向AGI的第一步，也是关键的一步。

因为当前大型语言模型的技术仍然存在着一些缺陷，因此在构建AGI系统的道路上面临着一些紧迫的挑战。

为了处理复杂的人工智能任务，LLMs应该能够与外部模型协调，以利用它们的能力。

因此，关键点在于如何选择合适的中间件来桥接LLMs和AI模型。

在这篇研究论文中，研究者提出在HuggingGPT中语言是通用的接口。其工作流程主要分为四步：

论文地址：https://arxiv.org/pdf/2303.17580.pdf

首先是任务规划，ChatGPT解析用户请求，将其分解为多个任务，并根据其知识规划任务顺序和依赖关系。

接着，进行模型选择。LLM根据HuggingFace中的模型描述将解析后的任务分配给专家模型。

然后执行任务。专家模型在推理端点上执行分配的任务，并将执行信息和推理结果记录到LLM中。

最后是响应生成。LLM总结执行过程日志和推理结果，并将摘要返回给用户。

假如给出这样一个请求：

请生成一个女孩正在看书的图片，她的姿势与example.jpg "/>中的男孩相同。然后请用你的声音描述新图片。

可以看到HuggingGPT是如何将它拆解为6个子任务，并分别选定模型执行得到最终结果的。

通过将AI模型描述纳入提示中，ChatGPT可以被视为管理人工智能模型的大脑。因此，这一方法可以让ChatGPT能够调用外部模型，来解决实际任务。

简单来讲，HuggingGPT是一个协作系统，并非是大模型。

它的作用就是连接ChatGPT和HuggingFace，进而处理不同模态的输入，并解决众多复杂的人工智能任务。

所以，HuggingFace社区中的每个AI模型，在HuggingGPT库中都有相应的模型描述，并将其融合到提示中以建立与ChatGPT的连接。

随后，HuggingGPT将ChatGPT作为大脑来确定问题的答案。

到目前为止，HuggingGPT已经围绕ChatGPT在HuggingFace上集成了数百个模型，涵盖了文本分类、目标检测、语义分割、图像生成、问答、文本到语音、文本到视频等24个任务。

实验结果证明，HuggingGPT可以在各种形式的复杂任务上表现出良好的性能。

网友热评

有网友称，HuggingGPT类似于微软此前提出的VisualChatGPT，似乎他们把最初的想法扩展到了一组庞大的预训练模型上。

VisualChatGPT是直接基于ChatGPT构建，并向其注入了许多可视化模型。文中提出了PromptManage。

在PM的帮助下，ChatGPT可以利用这些VFMs，并以迭代的方式接收其反馈，直到满足用户的要求或达到结束条件。

还有网友认为，这个想法确实与ChatGPT插件非常相似。以LLM为中心进行语义理解和任务规划，可以无限提升LLM的能力边界。通过将LLM与其他功能或领域专家相结合，我们可以创建更强大、更灵活的AI系统，能够更好地适应各种任务和需求。

这就是我一直以来对AGI的看法，人工智能模型能够理解复杂任务，然后将较小的任务分派给其他更专业的AI模型。

就像大脑一样，它也有不同的部分来完成特定的任务，听起来很符合逻辑。

参考资料：

https://twitter.com/1littlecoder/status/1644466883813408768

https://www.youtube.com/watch?v=3_5FRLYS-2A

https://huggingface.co/spaces/microsoft/HuggingGPT

中文推特：https://twitter.com/8BTC_OFFICIAL英文推特：https://twitter.com/btcinchinaDiscord社区：https://discord.gg/defidao电报频道：https://t.me/Mute_8btc电报社区：https://t.me/news_8btc

标签：GPTINGHUGGINFGPTstartingpointHUGO币Inflation Hedging Coin

SHIB最新价格热门资讯