原标题|方法论、工具与团队:如何成为一名Web3数据分析师?
作者|AndrewHong
译者|GaryMa吴说区块链
本文假设你是一个刚接触web3的数据分析师,开始组建你的web3分析团队,或者刚刚对web3数据产生兴趣。无论采用哪种方式,你都应该已经大致熟悉了APIs、数据库、转换和模型在web2中的工作方式。
在这本新指南中,我将尽量简明扼要地阐述我的三个观点:
思考:为什么开放的数据渠道会改变数据发挥效用的方式工具:web3数据栈中的工具概述,以及如何利用它们团队:web3数据团队的基本考虑和技能数据思考
让我们先总结一下如何在web2中构建、查询和访问数据。我们有四个步骤来简化数据渠道:
触发API事件更新到数据库特定产品/分析用例的数据转换模型训练和部署当数据是开源的时候,唯一需要的步骤是在转换完成之后。Kaggle和hugsFace等社区使用一些公开的数据子集来帮助企业构建更好的模型。有一些特定领域的情况,比如在前面的三个步骤中开放数据的开放街道地图,但是它们仍然有写权限的限制。
前SEC主席:Gary Gensle观点明显偏离了对政府职能的理解:金色财经报道,前SEC主席Jay Clayton表示,美国现任SEC主席Gary Gensle观点明显偏离了对政府职能的理解。除非政府确信自己会获胜,否则政府不应采取法律行动。Gemini交易所联合创始人Cameron Winklevoss同意这一观点,他称Gensler的行为完全滥用权力。[2023/6/30 22:10:15]
我想声明的是,我只是在这里谈论数据,我并不是说web2完全没有开源。像大多数其他的工程角色一样,web2数据有大量的开源工具来构建他们的管道。我们仍然在web3中使用所有这些工具。总之,他们的工具是开放的,但他们的数据是封闭的。
Web3也将数据开源,这意味着不再只有数据科学家在开放环境下工作,分析工程师和数据工程师也在开放环境下工作!每个人都参与到一个更连续的工作流程中,而不是一个几乎是黑盒的数据循环。
工作的形式已经从web2数据大坝到web3数据河流、三角洲和海洋。同样重要的是需要注意,生态系统中的所有产品都会同时受到这个循环的影响。
Uniswap将部署问责委员会,负责监督V3在其他链上部署的运营开发:4月21日消息,Tally投票页面显示,关于Uniswap部署问责委员会的提案已于昨日以99.98%的支持率获投票通过,并已进入待执行列表。根据该提案,部署问责委员会将负责监督UniswapV3在其他链上部署的运营开发,委员会的最初职责是与寻求部署Uniswap的项目联络;确保正确配置部署项目;并就是否批准某些部署向社区提供建议。
初始委员会将有5名成员,分别为StableLab首席运营官DooWanNam、Pennblockchain治理负责人JunSun、She256治理成员KendraLeong、Tally联合创始人RafSolari、StanfordBlockchainClub负责人Kydo,委员每6个月换届一次,连续任职不得超过2轮。[2023/4/21 14:17:48]
让我们看一个web3分析师如何一起工作的例子。有几十家交易所使用不同的交易机制和费用,允许你将代币A交换为代币B。如果这些是典型的交易所,如纳斯达克,每个交易所将报告自己的数据在10k或一些API,然后其他一些服务,比如capIQ,会把所有交换数据放在一起,然后收取费用,让你访问他们的API。也许有时候,他们会举办一次创新竞赛,这样他们就可以在未来收取额外的数据/图表功能。
CleanSpark在1月份挖出697枚比特币,出售624枚比特币:金色财经报道,比特币矿工CleanSpark在1月份挖矿697个比特币,产量比上个月翻了一番。该公司达到了6.6 EH/s的哈希率,环比增长7%,在去年以折扣价从陷入困境的矿工手中收购了多个站点和数千台机器后,该公司提高了产能。
该公司整个月售出624枚比特币(约1190万美元),为运营和增长提供资金。截至1月31日,它拥有 301 个比特币。[2023/2/3 11:44:11]
在web3交易所中,我们有这样的数据流:
dex.trades是Dune上的一个表格,所有的?DEX?交换数据都被聚合在一起,所以你可以很容易地在所有交易所中搜索单个代币的交易量。一名数据分析师通过社区开源查询创建了一个仪表盘,所以现在我们对整个DEX行业有了一个公开的概述。即使所有的查询看起来都是由一个人写的,你可以猜测这是在discord上经过大量的争论,才准确地将其拼凑在一起得。DAO?科学家查看仪表板,并开始在他们自己的查询中分割数据,查看特定的对,比如稳定币。他们会观察用户行为和商业模式,然后开始建立假设。由于科学家可以看到哪个DEX在交易量中占据了更大的份额,他们将提出一个新的模型,并提议改变治理参数,以便在链上进行投票和执行。之后,我们可以随时查看公众查询/仪表板,看看提案如何创造出更具竞争力的产品。在未来,如果另一个DEX出现,这个过程将重复。有人将创建插入查询来更新这个表。这将反过来反映在所有的仪表板和模型。任何其他分析师/科学家都可以以别人已经完成的工作为基础。由于共享的生态系统,讨论、协作和学习在一个更紧密的反馈循环中发生。我承认这有时会让人难以承受,我认识的分析师基本上都在轮换数据耗尽。然而,只要我们中的一个人继续推动数据向前,那么其他人都会受益。
Binance US在Tron、Solana、Avalanche和Polygon网络上允许USDC存款和提款:金色财经报道,Binance US在Tron、Solana、Avalanche和Polygon网络上允许USDC存款和提款。[2022/10/11 10:30:23]
它并不总是必须是复杂的抽象视图,有时它只是实用功能,如使它容易搜索ENS反向解析器或工具的改进,如自动生成大多数graphQL映射与一个CLI命令!所有这些都可以被每个人重用,并且可以在某些产品前端或您自己的个人交易模型中进行API的使用。
虽然这里开启的可能性是惊人的,我确实承认,轮子还没有平稳地运行。与数据工程相比,数据分析师/科学领域的生态系统仍然很不成熟。我认为有以下几个原因:
数据工程是web3多年来的核心焦点,从客户端RPCAPI的改进到基本的SQL/graphQL聚合。像theGraph和Dune这样的产品就是他们在这方面所付出努力的例证。
对于分析师来说,要理解web3独特的跨协议关系表是非常困难的。例如,分析人员可以理解如何只分析?Uniswap,但却很难在混合中添加聚合器、其他DEXs和不同的代币类型。最重要的是,实现这一切的工具直到去年才真正出现。数据科学家通常习惯于收集原始数据并独自完成所有的工作。我认为他们不习惯在开发初期与分析师和工程师进行如此密切和公开的合作。对我个人来说,这花了一段时间。
比特币的主导地位增至45%,达到自2021年10月以来的最高水平:5月27日消息,TradingView数据显示,尽管BTC的市值降至5520亿美元,但比特币的主导地位(比特币市值占加密货币总市值的百分比)已增加到45%,这是该指标自2021年10月以来的最高水平。Hashdex欧洲负责人Laurent Kssis表示,尽管如此,BTC仍未显示出复苏的迹象,他表示:我们可能会看到山寨币的进一步下跌趋势,因为仍有强烈迹象表明BTC将保持在30,000美元以下。[2022/5/27 3:44:47]
除了学习如何协同工作之外,web3数据社区还在学习如何跨这个新的数据堆栈工作。你不再需要控制基础设施,或者慢慢地从excel构建到数据池或数据仓库,只要你的产品上线,你的数据就会到处上线。你的团队基本上是被扔到了数据基础设施的最深处。
数据工具
以下是一些数据工具汇总:
下面我们看看每种类型以及用法:
交互+数据源:这主要用于前端、钱包和较低层次的数据摄取。1
客户端:虽然以太坊的底层实现是相同的,但每个客户端都有不同的额外特性。例如,Erigon对数据存储/同步进行了大量优化,Quorum支持隐私链。
节点即服务:你不必选择运行哪个客户端,但使用这些服务将为你节省维护节点和API正常运行的麻烦。节点的复杂性取决于你想要捕获多少数据。查询+数据映射:这一层中的数据要么作为URI在合约中引用,要么来自使用合约ABI将交易数据从字节映射到表模式。合约ABI告诉我们合约中包含哪些函数和事件,否则,我们只能看到部署的字节码。
交易数据:这些是最常用的,主要用于仪表板和报告。theGraph和FlipsideAPI也在前端中使用。有些表是合约的1:1映射,有些表允许模式中额外的转换。元数据“协议”:这些并不是真正的数据产品,而是用于存储DIDs或文件存储的。大多数NFT将使用其中的一个或多个数据源,我认为今年我们将开始越来越多地使用这些数据源来增强我们的查询。专业提供商:其中一些是非常健壮的数据流产品,Blocknative用于mempool数据,Parsec用于链上交易数据。其他的聚合链上和链外数据,比如DAO治理或国库数据。高维度数据提供商:你不能查询/转换他们的数据,但是他们已经帮你完成了所有繁重的工作。如果没有强大的、杰出的社区来配合这些工具,web3就不会出现!我们可以看到每种类型对应的杰出社区:
Flashbots:专注于MEV上,提供从保护交易的自定义RPC到专业白帽服务的所有事宜。MEV主要指的是跑问题,当有人支付比你更多的Gas,这样他们就可以抢先执行他们的交易。Dune数据精英:专注于为Dune的数据生态做贡献的数据分析精英。Flipside数据精英:专注于为Web3数据升天做贡献的数据分析精英。MetricsDAO:跨生态工作,处理多个链上的各种数据奖励。DiamondDAO:专注于Stellar的数据科学工作,主要在治理、财政库以及代币管理方面。IndexCoop:专注于代币等特定领域的分析,以制定加密货币行业最好的指数。OurNetwork:每周对各类协议以及Web3的数据覆盖。注:以上DAO的参与联系方式详看原文。
每个社区都做了大量的工作来改善web3的生态系统。毫无疑问,拥有社区的产品将以100倍的速度增长。这仍然是一个被严重低估的竞争优势,我认为除非人们在这些社区中建立了一些东西,否则他们不会获得这个优势。
数据团队
不用说,你也应该在这些社区中寻找可以加入你的团队的人。让我们进一步分析重要的web3数据技能和经验,这样你就能真正知道你在搜索什么。如果你想被雇佣,把这看作是你追求的技能和经验!
至少,分析师应该是Etherscan侦探,知道如何阅读Dune仪表盘。这可能需要1个月的时间来适应悠闲的学习,如果你真的要疯狂学习,则需要2周的时间。
除此之外,你还需要考虑更多的内容,特别是时间分配和技能转移。
时间方面:在web3中,数据分析师大约有30-40%的时间将花在与生态系统中的其他分析师和协议保持同步上。请确保你不会气晕他们,否则,这将成为对每个人的长期损害。与更大的数据社区一起学习、贡献和构建是必要的。可转移性方面:在这个领域,技能和领域都是高度可转移的。如果使用不同的协议,可能会减少上手时间,因为链上数据的表模式都是一样的。记住,知道如何使用这些工具并不重要,每个分析师或多或少都应该会写SQL或创建数据仪表盘。这一切都是关于如何做出贡献并与社区合作。如果你正在面试的人不是任何web3数据社区的一员,你可能要问问自己这是否是一个危险信号。
原文来自:bankless作者:WilliamM.Peaster编译:隔夜的粥当谈到优秀的NFT项目时,我们将才华横溢的创造者、创新机制以及充满活力的社区视为重要因素.
1900/1/1 0:00:00俄罗斯总统弗拉基米尔?普京(VladimirPutin)为加密货币爱好者带来了对该国数字资产未来的一线希望。最近,该国禁止加密货币和挖矿的努力对数字资产构成了威胁.
1900/1/1 0:00:00有个老人邀请一位小男孩去观看他的老旧磨石机,本以为会是个比较复杂的机器,没想到却只是由马达、咖啡罐和连接两者的皮带组成的一个简陋的架子.
1900/1/1 0:00:00虎符是如今加密市场里快速崛起的交易平台之一,一方面广泛布局各大赛道的优质潜力项目,另一方面通过不断创新和完善产品生态、提升其核心竞争力,俨然在向加密世界中的「顶流」发展.
1900/1/1 0:00:00区块链是一个存在于互连网中的大型分散式系统,存在于每一个网路参与者的电脑中。换句话说,一但区块链要进行版本更新或系统修改,所有网路参与都必须下载并运行新版本的区块链客户端,区块链系统才能完成版本.
1900/1/1 0:00:00点击蓝字关注我们SUBSCRIBE?toUS近日,国务院印发《“十四五”数字经济发展规划》,将区块链与大数据、人工智能等正式纳入战略性前瞻性领域.
1900/1/1 0:00:00