作者:Yang,IOSGVentures
“数”中自有黄金屋,链上数据潜藏着无尽的Alpha。当我们跟随smartmoney闻风而动,当我们夜以继日地在NFTParadise中寻找trendingNFT,当我们查询StepN每日新鞋铸造数据时,你是否好奇这些数据如何而来?面对众多链上数据分析平台和纷繁复杂的功能,你是否还在寻找最适合自己的那个平台?
1.背景介绍
随着链上生态的日益蓬勃,如DeFi交易、借贷,NFT的铸造、交易等,用户的行为被直接透明地记录在链上。这些链上行为的数据对应着链上价值的流动,对这些数据的分析和根据分析而得出的洞察和见解变得极为有价值。链上数据分析平台,如Nansen,TokenTerminal,DuneAnalytics,FootprintAnalytics,flipsidecrypto,glassnode,Skew等顺应这些日益增长的需求,面向个人和机构用户推出了侧重点略有不同的产品。
本文先将简述链上数据分析平台背后的数据架构,意在告诉读者那些链上数据分析结果从何而来,如何而来。随后我们从数据丰富度(覆盖区块链数量)、数据粒度、数据延迟、平台易用性和查询自由度等维度为读者梳理市场上主流的面向个人用户的数据分析平台。最后分享我们对Web3未来链上数据索引、查询和分析的一点畅想。
2.链上数据分析平台数据架构介绍
虽然区块链记录着所有原始的交易数据,链上数据本身都是公开透明的,但当我们提出:过去24小时Uniswap的交易量是多少?当前百分之多少的BAYC持有者也同时持有至少一个Moonbirds?等等问题时,链上原始数据并不能给我们答案,我们需要通过索引(indexing),处理(processing),存储(storage)等等一系列数据摄取(ingestion)的处理过程,再根据所提问题来聚合运算对应的数据,才能得到问题的答案。
稳定币跨链桥Symbiosis Finance宣布启动Beta主网:3月10日消息,稳定币跨链桥Symbiosis Finance宣布启动Beta主网。Beta主网允许用户交换任何Token且不需要特殊软件。此外,Symbiosis还与MetaMask、Coin98、Trust Wallet和ONTO Wallet等钱包兼容。
主网推出后,Symbiosis将添加新的区块链,例如Solana, Terra, Celo, Boba和Aurora。同时致力于启动Symbiosis v.2协议。[2022/3/10 13:48:12]
直接查询区块链来求得问题答案是非常耗时耗力的,为了让链上数据能够被快速检索,当前主流的链上数据分析平台会将索引得到的原始链上数据,经过一系列处理后,存入由平台负责更新和管理的数据仓库(datawarehouse)中。当用户在Nansen追踪smartmoney的交易动态,或在DuneAnalytics上查看可视化分析时,用户对所谓“链上数据”的查询,实际上是在查询由项目方中心化控制的数据库而非区块链本身。
链上数据分析平台的数据仓库架构大致如下:
数据采集层:?平台从区块链节点获取原始链上数据,部分平台会接受第三方提供的数据源,还有的平台(如FootprintAnalytics)支持用户上传链下数据来辅助最终的数据分析。
数据处理层:各平台将原始数据以流式处理或批次处理的方式进行数据抽取、转换和加载。流式处理中,实时原始数据被源源不断地输入并被持续处理,通常意味着数据延迟低,分析结果时效性更高;而批次处理虽然数据延迟会稍高,分析结果时效性稍低,但更适用于大容量的数据处理。
数据存储层:经过处理后的数据会根据平台方预先定义的格式存储进数据集的各数据表中以待后续使用。
IOST 24小时涨幅超34%:根据Huobi Global交易平台数据显示,IOST现报价0.0088USDT,24小时最高价达0.0089USDT,24h涨幅超34%,24小时成交量超15亿。[2021/1/9 15:41:38]
数据整合层:存储的数据会被聚合运算。计算可以是根据预先设定好的指标来进行的(metricscomputation),也可以阶段性的(periodic)或是根据设定好的条件被触发的(event-drivenaggregation)等。
数据分析层:运算完成的结果被实时地报告、输出。对于个人用户而言,我们主要在数据分析层与链上数据分析平台进行交互,比如Nansen提供的BusinessIntelligence报告界面,DuneAnalytics和FootprintAnalytics上众多的的可视化图表,以及部分平台提供的API接口等。
各平台采取了不同的方案来建设和维护自己的数据仓库。比如Nansen借助第三方GoogleCloudPlatform完成数据仓库的建设和维护。
(https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligence)
而DuneAnalytics,FootprintAnalytics,TokenTerminal等平台则独立建设和维护自己的数据仓库。以FootprintAnalytics为例,其数据仓库架构如下图所示。
3.主流链上数据分析平台比较
本节以内容视角和用户视角,从数据丰富度(覆盖区块链数量)、数据粒度、数据延迟、平台易用性和查询自由度等维度来对比几家主流的链上数据分析平台,包括Nansen,TokenTerminal,DuneAnalytics,FootprintAnalytics。部分平台给用户提供标准化的信息报告界面,比如Nansen,TokenTerminal等。
公告 | BetaEX平台将于2月25日14:00上线IOST:据官方消息,BetaEX将于2020年2月25日14:00(UTC+8)上线IOST,开通 IOST/USDT 交易市场,充值提现通道将于2020年2月24日17:00(UTC+8)开放。同步于2月25日14:00-2月28日14:00(UTC+8) 期间推出“30万IOST奖励大放送”活动。
IOST是一个高性能区块链公链项目。通过独创的PoB(置信度证明)共识机制,项目实现了高层次的扩展性和去中心化。BetaEX成立于2019年6月,目前拥有马耳他全合规交易所牌照。团队由业界顶级产品研发团队、券商团队及资深加密货币运营人员组成。[2020/2/25]
Nansen
Nansen应该是大家最为熟悉的链上数据分析平台之一。
相较于其他平台,其最为出色的功能是钱包标记(walletprofiler/walletlabeling)。借助钱包标记并结合其他链上数据为用户提炼出极具价值的信息,比如SmartMoney,帮助用户追踪巨鲸、重度DeFi玩家的实时动向。其他热门产品包括HotContract,发现新兴热门的DeFi和NFT合约;NFTParadise,一览实时NFT铸造数据等等。
Nansen现在支持Ethereum,Arbitrum,Avalanche,BSC,Celo,Fantom,Optimism,Polygon,Ronin,Terra,Solana共计11条区块链的链上数据分析
Nansen普通版仅为用户提供精选数据
流式处理和批次处理。部分数据分析已实现近乎实时的报告
零门槛
Nansen普通版仅提供标准信息模板界面。针对机构客户对自定义链上数据查询和分析的需求,Nansen借助GoogleCloudPlatform的BlockchainDatasets发布了NansenInstitutions产品,让专业/机构用户能够编写满足定制需求的SQLQueries。
盘点:红杉资本曾投资火币、Filecoin、Orchid Protocol、IOSToken、Ontology等加密数字货币项目:今日币安赵长鹏在推特宣布,未来所有在币安上币的项目都需要披露是否与红杉资本有直接或间接的关联。消息一出,多个与红杉资本的项目在币安的价格大幅下跌,业内人士认为这是赵长鹏对红杉资本起诉币安的一次强力反击。早在2014年,红杉资本投资火币,是火币第一大机构股东,目前火币是全球排名前三的交易所。红杉资本还曾投资过Filecoin、Orchid Protocol、IOSToken、Ontology等加密数字货币。[2018/5/7]
值得一提的是,Nansen在NansenResearch频道中发布了不少链上分析报告。研究报告会对重点事件进行抽丝剥茧般的链上追踪和分析,读者不妨偶尔阅读这些报告(如Nansen针对上月stETH脱锚事件发布的报告https://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeg),对学习链上分析的方法大有裨益。
TokenTerminal
TokenTerminal以提供准确的协议收入(protocolrevenue)而著名。基于协议收入,TokenTerminal计算了各协议的市销率,市盈率等数据。这些数据在一定程度上为各协议提供了估值基准。
TokenTerminal追踪了超过130个协议的数据
TokenTerminal仅为用户提供精选数据
批次处理。据IOSG团队近期与TokenTerminal的沟通,目前TokenTerminal平台上的数据大约有两天时间的延迟
IOST创始人钟家明:区块链行业非常像几年前的VR:金色财经现场报道,在2018中国·飞鸟区块链技术与应用高峰论坛上,IOST创始人钟家明表示:“现在区块链行业非常像几年前的VR,但是要火很多,并不是像VR一样这两年凉了,很像当时的一些幻想,当时很多人讨论V8峰会,很恐怖像《黑客帝国》,现在没有了,那时候真有硅谷的投资人讨论哲学问题,这个东西不能开发,之后就没有人工作了,后来发现这个东西不是那个样子,你以为你是看到一些很好的东西,但是结果是这样,戴一会吐了,离我们实际想做的东西差的很远,五十年以后有可能能做到,把听觉触觉什么都复制了,是活在上帝的游戏还是别人的游戏里面是个问题,现在我们不用担心这个问题,跟区块链一样,很多人说区块链可以做这个那个,但是基础设施做不到,所以做不了。”[2018/3/29]
零门槛
仅提供标准信息界面
另外一些主流链上数据分析平台则向用户开放数据表,用户可自由编写代码进行查询,在查询内容上给予用户一定的自由度,如DuneAnalytics和FootprintAnalytics。
DuneAnalytics
DuneAnalytics是最早开放用户自主查询的链上数据分析平台,拥有最大的分析师团体和用户社区。DuneAnalytics提供了高度颗粒化的原始链上数据,分析师可以自由地利用这些数据写出自定义的查询。DuneAnalytics也对项目方团队开放Abstraction,项目方可以根据自己协议的数据内容创造更适合的数据表供分析师使用。但自主查询具备一定的门槛,分析师需具备PostgreSQL的编写能力才能创造满足自己需求的数据查询。而且查询延迟与分析师SQL编写水平和对DuneAnalytics提供的数据表熟悉程度高度相关。
DuneAnalytics提供了Ethereum,BSC,Optimism,Polygon,GnosisChain,Solana共计6条区块链的链上数据
极细
流式处理。数据延迟大约五分钟
DuneAnalytics对分析师提出了一定的SQLcoding要求
高
有了高度颗粒化的原始数据,分析师便可以在DuneAnalytics自由创建链上分析。如每日StepN新鞋铸造及历史积累数据https://dune.com/queries/627689/1170627
DuneAnalytics于2022年5月30日发布了DuneEnginev2。DuneEnginev2在将DuneAnalytics的数据架构进行大改来为用户提供更快查询响应和更好查询表现的同时,也将对用户体验的影响降至最低。
FootprintAnalytics
相较于Nansen低使用门槛但仅提供标准化信息界面,DuneAnalytics提供了自由查询但又要求分析师具备编写PostgreSQL语言的能力,FootprintAnalytics为用户提供了两全其美的解决方案,在给予极大的查询自由度的同时降低了使用门槛。它是如何做到的?
“链上数据错综复杂,分析师可能需要写成百上千行代码才得以完成一个指标的计算。为了解决分析门槛高的问题,Footprint清理和集成链上数据,给数据赋予了业务意义,使得用户无需SQL查询和编码也可以分析区块链数据。任何人都可以通过丰富的图表界面在几分钟内构建自己的自定义图表,解密链上数据,发现项目背后的价值趋势。”
FootprintAnalytics不仅提供原始区块链数据,更将链上数据进行分级。最原始的链上数据为铜级别(Bronzedata),经过筛选、清洗和增强的数据为银级别(Silverdata),进一步整理出具备业务意义的数据为金级别(Golddata)。
已经整理完成的具有商业逻辑和业务意义的金银级别数据可以直接用于分析。借助金银级别数据,FootprintAnalytics为用户提供了通过简单地拖拽数据表就能自主查询链上数据的服务。不管读者你是否会写类SQL语言代码,你都可以快速创建满足自己定制化需求的数据分析信息界面,并将所需信息通过直观且可互动的图表可视化。
FootprintAnalytics目前提供了Ethereum,Arbitrum,Avalanche,Boba,BSC,Celo,Fantom,Harmony,IOTEX,Moonbeam,Moonriver,Polygon,Thundercore,Solana等共计17条区块链的链上数据
FootprintAnalytics既为用户提供粒度极细的原始数据,也为用户提供精选数据
目前FootprintAnalytics对采集到的原始数据进行每日一次的批次处理,数据延迟为一天
在FootprintAnalytics平台,用户无需SQL查询和编码也可自由分析链上数据。对于具备SQL代码能力的分析师,Footprint也提供原始数据供分析师发挥。
高
读者不妨现在就前往FootprintAnalytics,几分钟即可上手制作一个自己的链上分析界面
4.一点畅想——去中心化链上数据分析
链上数据分析如此重要,当今用户却只能依赖Nansen,DuneAnalytics等中心化管理的“链上数据”分析平台来辅助投资决策。在这些平台上,用户无法验证所用数据是否未经篡改,不得不信任平台所提供的数据集是确凿真实的。“Don’tTrust.Verify.”在链上数据分析这里成了一句空话。
Web3浪潮滚滚而来,链上生态越发丰富,未来的智能合约和去中心化应用可能不仅仅需要原始链上数据和预言机所提供的数据作为输入信息,还可能需要输入基于链上原始数据计算得出的分析结果,那时候我们还能信任和使用这些中心化链上数据分析平台作这类用途吗?答案恐怕是否定的。
IOSG团队近期看到已有项目团队在实现去中心化链上数据查询和分析的道路上迈出了第一步。由于篇幅受限,且听下回分解——通向去中心化链上数据分析之路。
参考:
https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligencehttps://cloud.google.com/customers/nansenhttps://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeghttps://docs.dune.com/data-tables/data-tableshttps://docs.dune.com/dune-engine-v2-beta/query-enginehttps://www.footprint.network/@Footprint/Footprint-Datasets-Data-Dictionaryhttps://www.youtube.com/watch?v=Pp9_wgYZB3I
来源:元宇宙之心MetaverseHub5月11日,区块链数据追踪平台Chainalysis获得了由新加坡主权财富基金GIC领投的F轮融资,融资金额1.7亿美元,估值更是较上一轮融资翻了一番.
1900/1/1 0:00:00整理:麟奇,链捕手“过去24小时都发生了哪些重要事件”1、人民网刊文:虚拟货币终究是黄粱一梦、庞氏局国家信息中心信息化和产业发展部主任、区块链服务网络发展联盟理事长单志广与区块链服务网络发展联.
1900/1/1 0:00:00整理:胡韬,链捕手1、《BitMEX创始人ArthurHayes长文:我所认识的三箭资本》当前这轮熊市是我经历的第三轮熊市了,虽然有时候感觉是在重播,但是每一次都能有所收获.
1900/1/1 0:00:00链捕手消息,加密服务公司Blockchain.com首席战略官CharlesMcGarraugh提交给法庭的宣誓书显示,三箭资本在破产前的近四年时间里.
1900/1/1 0:00:00撰文:DavidCarlisle,Elliptic编译:白泽研究院6月30日,全球反和打击资助恐怖主义措施的标准制定者——金融行动特别工作组发布了一份关于其加密资产指南的应用情况报告.
1900/1/1 0:00:00链捕手消息,据官方推特,BitWell宣布任命前JPMorgan执行董事AndreyS.Johnson为CRO.
1900/1/1 0:00:00