从2008年11月中本聪发表论文「Bitcoin:APeer-to-PeerElectronicCashSystem」算起,比特币即将迎来第一个十周年。这十年中,比特币与其背后的区块链技术蓬勃发展,以去中心化技术之名,大有变革整个在线数字世界的气势和雄心。
不过,雄心归雄心,正蓬勃发展的区块链技术,尤其是公链领域,有一个瓶颈却一直有待突破:以当今数字世界的规模和体量,任何一个在线系统,如果没有一个大容量、高吞吐的基础设施,就无法承载哪怕仅仅一个互联网级别的应用。
很可惜,中本聪的论文中完全没有考虑到这个问题,也许是走出这第一步实属不易,他也没想太多之后的事情,也许是这样的一个高性能的设计,在彻底去中心化的系统中难度太大。总之,近10年过去了,为了提高区块链系统的性能,前赴后继出现了大把项目,但到今天为止,并没有出现能够承载互联网级别应用的解决方案。
这是一个世界性的难题,全世界最聪明的学者、开发者都在尝试解决这个问题。我曾在微软工作多年,担任微软研究院主管研究员,很长一段时间专注于分布式系统方面的研究;离开微软之后,我又在创新工场担任负责区块链和人工智能投资方向的执行董事。多年在分布式系统方面的研究心得,以及在区块链投资领域评估多个公链项目的经验,让我深深明白,在彻底去中心化的系统中实现高性能设计,是一项难度极高、极具挑战的工作。
我看到行业内存在大量对于区块链公链性能瓶颈及解决方法的讨论,有些充满洞见,令人受益匪浅,但也有不少谬误,更有很多为了自身项目宣传而编造的似是而非的见解,颇有把讨论引入歧途的风险。在和多位该行业顶尖的学者、开发人员、投资人多次深入交流之后,他们都鼓励我把自己的看法分享出来。再三思索之后,我决定把自己对该话题的一些拙见记录下来,这样既可以让自己的一些思考能够沉淀,同时,也希望能和对该话题感兴趣的更多同仁进行一些探讨。
1不要只关注性能瓶颈,而忽略了容量瓶颈
先说一下我的一个结论:在当前以类金融为主流应用场景的情形下,区块链系统最首要的性能瓶颈是区块数据的广播延迟造成的,本质上受限于互联网的带宽和通讯延迟,这一点直接制约了吞吐量(TPS)。只要是「ChainofBlocks」的系统,无论具体采用了什么共识算法,无论是工作量证明、权益证明、拜占庭容错,还是委托权益证明,在出下一个区块之前,都需要保证前一个区块在全网有一定的同步率,从而约束了每个区块不能太大,出块频率也不能太高,然后,这个问题无解。
行情 | 美股区块链概念股普遍收跌:今日美股收盘,美股区块链概念股普遍收跌。柯达收涨4.81%,埃森哲收跌0.26%,Overstock.com收跌2.17%,Riot Blockchain收跌2.27%,Marathon Patent收跌5.26%,Square收涨1.35%。[2019/12/10]
请注意,这里说的区块链系统特指「ChainofBlocks」的系统,其特征是要保证系统能最终收敛到一条单一的链表结构,并只有这条链上面的区块才是被确认的,反例是「GraphofBlocks」系统,例如所采用的DAG结构IOTA。
假设物理网络的带宽和延迟可以被忽略,例如基于数据中心高速链路的EOS,系统第二个瓶颈是受限的账簿容量,本质上受限于单台全节点的内存容量,这一点直接制约了链上可以承载多少个用户以及多少个DApp。无论具体采用了什么共识算法,只要交易验证/执行过程随时可能涉及到任何一个用户,那么单台全节点就必须随时保持全网每一个用户、每一个DApp相关的状态在内存里面,以供交易验证实时访问。当前所有主流的「ChainofBlocks」的系统,包括比特币区块链、以太坊、EOS等,都有这个问题,并且同样的,这个问题也是无解的。多级缓存的数据库技术(例如RocksDB)可以稍微改善一下这个限制,使得只有活跃用户受到内存限制,而总用户基数受限于硬盘的容量。但是这并不从根本上解决问题。
「容量」这个问题的关注度远远少于吞吐量,原因很简单:因为吞吐量这个短板还没解决,所以容量问题被掩盖住了。请记住,一旦吞吐量实现了大幅提升,容量问题马上就会出现:在一个高吞吐的系统上,如果用户量上不去,很可能高性能根本跑不满。
一个典型的例子是EOS。当EOS以丧失去中心化特性为代价而解决了吞吐量问题之后,容量的问题马上就凸显出来了。然后,EOS把账簿容量瓶颈这个问题包装成了一个稀缺资源,并将其代币化,成了EOSRAM虚拟币。当然除了内存,单台全节点CPU也会成为容量的瓶颈,所以也被代币化,成了EOSCPU虚拟币。不过,在类金融应用场景中,通常计算复杂度非常低,所以,内存会是主要瓶颈。
动态 | 九江银行首笔“区块链金融”业务顺利落地:据九江新闻网消息,九江银行总行贸易金融部与中国建设银行江西省分行近日通过区块链系统顺利交易第一笔福费廷业务。本次业务的落地是对“数字九银”的积极探索和尝试,标志着该行在区块链技术方面从科技概念正式迈向实际运用。[2018/11/4]
另外,我的另外一个观点是:共识算法其实帮不了解决性能和容量的瓶颈,试图从标新立异的共识算法出发,提升「ChainofBlocks」系统性能的努力,基本上不会让系统性能有实质上的大幅提升。总之,解决上面所提及的两个瓶颈问题,需要的是分布式系统设计上的巧思妙想,这和共识算法相关,也和密码学相关,但是本质的出发点不是共识算法和密码学。
2性能瓶颈:一个出块节点在做什么
首先出块节点也是全节点,接受全网的已确认区块以及未确认交易,并构造成链,不断维护账簿的最新状态,然后抓紧机会试图在链尾追加新的区块。无论采用哪种共识算法,都会历经以下几个步骤:
-第一个步骤,根据账簿的最新状态,在未确认交易集合中选出若干验证合法的交易,然后构造一个新的区块;
-第二个步骤,为这个新的区块,参与出块的权力的竞争或者候选,在这个阶段,大概率会因为账簿状态更新了(其他节点成功出块了)而中断,回到第一步;
-第三个步骤,获得出块的权力之后,向全网广播这个新的区块,更新账簿状态,回到第一步。
不同的共识算法,其核心差异在于如何完成其中的第二个步骤的出块权的竞争或者候选。但是无论哪种共识算法,都有一个不可调和的性能矛盾,本质上由区块数据的广播延迟导致。这个矛盾使得如果每次出块比较大(可以包含更多的交易),就必须有比较长的出块间隔,以保障该区块在下一次出块之前,在全网被充分传播。
如果传播不充分,在PoW和PoS系统中,将表现为较高的分叉率,而在BFT系统中则表现为较高的失败率。
2.1Proof-of-Work和Proof-of-Stake
PoW通过设定一个HashTarget,要求Hash值必须小于一个特定的值。而Hash值必须根据新区块数据拼合一个Nonce数据计算而得。找到满足HashTarget对应Nonce的任何一个节点,便获得了出块的权力。由于只能通过随机穷举的方式找Nonce,所以这个竞争就转换成了计算Hash的算力的竞争。PoS是PoW的一个变种,引入了消耗CoinAge来增大HashTarget的机制,使得出块权力的竞争可以部分地被数字货币持有的时间和数量所代替。
动态 | 俄勒冈州多数领导人看好区块链技术:据Bitcoinist消息,俄勒冈州的许多领导人看好区块链,他们希望俄勒冈州能成为数字创新和企业精神的首选地。在各个领域的名人也希望看到俄勒冈州在区块链领域中起到主导作用。[2018/9/17]
可以看到,PoW机制最大的好处是用一个简洁的算法,实现了完全非许可的出块权随机指定,竞争节点之间完全不需要协同和通讯,可以轻松支持任意数量的出块节点共同竞争,具有极佳的去中心特性。也正是由于这一点,这个算法导致了区块广播延迟和出块间隔之间的矛盾。当出块间隔较短时,一个新的区块尚未充分全网广播之前,就有另一个矿工在同样的高度出了另一个新的区块,即发生了所谓的分叉(Fork)。这种情况下,最终其中一个区块会被抛弃掉(ophaned)。发生这种情况的概率不能太高,否则会显著降低原为51%的算力攻击基准(SelfishMining),极端情况甚至会导致分叉始终无法到达稳定收敛。
区块广播延迟主要由区块大小和全网各个节点间的带宽决定。当前的互联网环境,大致需要10秒可以广播到90%以上的节点。所以在比特币网络中,10分钟左右的出块间隔使得区块分叉的概率极其低。2018年整个上半年,仅出现两次分叉。而在以太坊网络中,15秒左右的出块间隔使得区块分叉的概率始终保持在10%左右,即使其区块远小于比特币的区块。要注意一点,PoW的出块间隔是统计意义上的,实际情况是出块间隔时大时小,而统计期望是10分钟。这个并不是全网算力波动造成的,而是因为搜索Nonce的过程是个随机刺探过程(撞大运),所以很多矿池都给出了自身的运气值曲线,(笑...)。
对于比特币网络来说,10分钟的出块间隔其实在现今的互联网环境中是有很大保留的,要知道,毕竟这是在10年前提出的方案,这使得扩大区块大小就可以实现简单的扩容方案,但是由于区块广播延迟这一根本矛盾的存在,这种提升只在一定程度上有效。
另外,值得提一下GHOST协议。该协议给出了一个新的准则来判定分叉的时候,哪个叉是被接受的。其将中本聪最初提出的最长链原则,改成了包含算力最多的子树。两个准则在分叉概率很低的时候是完全等价的,但是当概率比较高的时候(比如ETH的10%分叉率),GHOST协议可以规避SelfishMining,提高安全性。但是无论采用GHOST协议与否,对公链的性能无实质帮助。
动态 | 美国政府向区块链研究人员拨款80万美元:美国政府将资助加利福尼亚大学圣地亚哥分校的研究人员开发的分布式账本平台。研究员Subhashini Sivagnanam赢得了818433美元的美国国家科学基金会(NSF)的拨款,用于OSC链的开发。[2018/8/21]
PoW带来算力竞争,即所谓的挖矿,确实消耗了大量能源。不过这也为PoW系统发行的每一个币奠定了一个基础成本,使之价值有个底线。需要指出的是,PoW的算力和区块链系统的性能没有任何联系,任何加速hash算法的软件或者硬件都不会提高区块链系统单位时间的吞吐量。这就是为什么比特币区块链的全网hash算力提高了万亿倍,但是其吞吐量一直是7TPS左右。
另外,任何宣称节省挖矿能源的公开技术,都是不可能在实际上减少能源消耗的。因为投入挖矿的能源总量在一个个矿场建立的时候已经确定,当有更高能效的挖矿技术或者设备出现时,算力竞争将导致所有矿工都应用新的技术,最终哄抬了全网的挖矿难度罢了。所以实际的总能源消耗,在宏观上,只和币价、电价以及数字货币的投资信心相关,和挖矿效率无关。
2.2拜占庭容错
拜占庭容错类共识算法采用随机算法确定每一次出块的节点,根据账簿上的数字货币地址,而不是IP地址。所有参与出块候选的节点无须竞争。新的区块将被委员会(一组验证者)所有成员验证并签名(投票),然后广播全网,继而开始下一个出块的流程。
与PoW不同的是,BFT出块候选是一个协作的过程,期间至少涉及O(n^2)的通讯复杂度,而PoW在出块竞争过程中无须任何通讯代价。基于BFT的协作过程将不会导致分叉,也不需要消耗稀缺资源(算力或者CoinAge),但是由于这个协作的过程涉及到相当多的数据通讯,所以这个过程无法在全网候选,验证并签名的过程无法在全网展开。这就是为什么BFT类算法一定会涉及到一个委员会的构建过程,并且验证签名只在一个小范围里面发生,剩下的人相信他们就好了。最近出现的很多基于BFT的公链项目,比如Algorand,在如何安全公平的选出这个委员会方面做了很多工作,虽然这些工作对系统性能的提升没有直接关系。
声音 | 深圳市互金协会秘书长:区块链技术对现有的信任机制仅能起到一定优化作用:7月9日消息,深圳市互联网金融协会秘书长曾光认为,区块链技术对现有的信任机制仅能起到一定的优化作用。很多行业对区块链并不存在“刚需”,现在资本市场、舆论、产业界把区块链概念炒得这么热,是存在泡沫的,目前区块链唯一成熟的应用就只有带着投机属性的比特币。[2018/7/9]
BFT类算法的投票通常是有权重的,以规避女巫攻击(SybilAttack)。而这个权重多与参与者的权益相关,和PoS的精神类似,进而现在很多人将BFT的这类投票算法称为了PoS算法。而事实上,BFT类共识算法和一开始提出的PoS算法(例如Peercoin)是本质不同的机制。
上面我们提到,不同的BFT类算法其具体选定出块节点以及委员会成员的过程和系统的性能关系不大。和PoW/PoS类似,其吞吐性能同样决定于每次出块的大小,以及出块的周期。在BFT系统中,如果想要允许每次出块比较大,就需要出块的周期也比较大,从而大概率保证新出的块及其委员会的签名数据在委员会内部完全传播。如果这个传播不充分,将可能导致委员会成员无法达成2/3以上的投票,进而使得委员会内部验证并签名过程超时,最终在本出块的周期内出块失败。
理论上说,委员会的规模远小于全网,BFT类算法中的广播延迟会比同等规模的PoW/PoS网络小。事实上也确实如此,但是基于Gossip协议的广播延迟和网络规模的对数成正比而不是线性,所以广播延迟并没有小很多。加之BFT类算法依赖一些额外的周期性全局同步等安全措施,使得实际效果中,BFT类算法并没有比PoW/PoS系统有太多性能优势。
2.3小结
PoW/PoS系统每个出块周期需要充分传播一个区块(例如1MB),BFT类系统每个出块周期也需要充分传播一个区块,加上所有委员会成员的签名(例如128个成员节点,至少每人84*128B,总共1.3MB的样子)。但是PoW/PoS系统的广播范围是全网(例如几万个节点),而BFT系统的范围限于委员会成员,这一点使得后者充分传播的时间较短一些。
不过,基于Gossip协议实现充分传播的时间,和传播的数据量呈线性关系,和传播的节点数量呈对数关系,所以BFT在传播时延上也没有太大的优势。结果就是,无论哪种算法,都有不可调和的区块大小和出块间隔之间的矛盾,从而无法大幅提升性能。
3.容量瓶颈:一个不出块全节点在做什么
单链的「ChainofBlocks」的系统中,大致有三种角色的节点:出块的全节点,不出块的全节点和轻量节点。全节点无论出块与否,都会验证并接力广播新的区块和未确认交易,这里的广播工作占据了主要的通讯量以及磁盘I/O的负荷,对于TPS只有十几的以太坊(geth)来说,这个通讯量约为1.5Mbps。
为了可以实时完成对新区块和未确认交易的验证,所有用户的账簿以及所有智能合约状态都需要驻留在内存中,这个占据了主要的内存开销,当前规模的以太坊会占用将近4GB的内存。每一个全节点都会需要承担这样的一个负荷,如果要出块(PoW的挖矿节点或者PoS的验证节点)还需要做额外的事情。这些负荷的代价,换来的是安全的彻底去中心化,任何一个全节点不需要预先信任任何其他节点,任何全节点也没有能力去其他全节点。
普通全节点的价值体现在两个方面:接力广播合法的数据和维护全网账簿的最新状态以供用户或者轻量节点查询。例如手机钱包这样的轻量节点不验证也不接力广播区块数据或者未确认交易,它依赖并信任预先设定好的一个或者多个全节点,通过这些全节点来获取特定用户的状态,例如账户余额,以及发起转账交易。轻量节点自身完全没有验证信息真伪的能力,更像是区块链世界里的一个终端而已。
对于单链的「ChainofBlocks」的系统,如果系统的吞吐量(TPS)提升100倍,需要150Mbps的通讯量;或者用户规模都扩大100倍,需要400GB的内存,那么基本上大部分互联网上的普通服务器都无法顺利部署一个全节点了。全节点的参与门槛,是影响区块链系统去中心化程度重要因素。如果全节点只能由专业矿场操作,普通人无法独立部署一个全节点的话,那么整个系统就会退化成一个多地部署的中心化云服务了,而变得容易被攻击,也容易被封禁。所以,这两个瓶颈不仅仅对于出块节点需要解决,对于普通全节点也需要解决。
4.出路
前面已经说到性能瓶颈和容量瓶颈,在现在单链的「ChainofBlocks」的系统中,很难有大的提升,尤其是容量瓶颈。这就是所谓的区块链不可能三角的由来。纵观计算机技术发展史,大容量高吞吐的设计范式,屡获大规模成功的只有一个,横向扩展(Scale-Out)。
举个例子,GPU用了几千个性能普通的Core一起并行工作,实现超越CPU计算性能几个数量级的性能提升,而GPU所依赖的半导体技术并没有和CPU芯片有什么本质的不同。再如,现今的在线云服务系统,是用几千甚至上万台性能普通的服务器一起并行工作,来支持大容量高吞吐的在线服务。
我在这里不妨大胆设想:也许一个大容量高吞吐的区块链系统会是类似的方案,即,让成千上万个同质的单链实例一起并行工作,切分全网的工作量,以实现整体上的大容量和高吞吐。
这样的一个系统,可以在大幅提高TPS的同时,支持10亿以上级别的用户量,并且保持每一个参与到这个网络的中的全节点仅有一个合理的负荷,让大部分互联网上的普通服务器都可以轻松部署一个全节点,共同参与网络的维护和治理。
不过,在这样一个彻底去中心化的设定下,如何一起并行工作,如何切分工作量,又如何保证每个单链实例的安全,都是极具挑战的问题。这样的系统似乎并不容易实现,但也绝非不可能实现。我先抛出这个想法,也欢迎所有有兴趣的同仁共同思考,或批判,或贡献聪明的设想。就这个想法,我也会继续梳理,并继续通过文字分享我的一些思考。欢迎大家通过我的公众号「王嘉平」和知乎专栏「去中心化数字世界随想」就这个话题展开更多讨论。
免责声明:作为区块链信息平台,本站所发布文章仅代表作者个人观点,与链闻ChainNews立场无关。文章内的信息、意见等均仅供参考,并非作为或被视为实际投资建议。
本文来源于非小号媒体平台:
王嘉平
现已在非小号资讯平台发布10篇作品,
非小号开放平台欢迎币圈作者入驻
入驻指南:
/apply_guide/
本文网址:
/news/9558562.html
免责声明:
1.资讯内容不构成投资建议,投资者应独立决策并自行承担风险
2.本文版权归属原作所有,仅代表作者本人观点,不代表非小号的观点或立场
上一篇:
币安为何推出第三条链?这对BNB意味着什么?
简述流动性与吞吐量因素在加密货币游戏、交易、投机与投资场景的重要性。原文标题:《流动性和吞吐量在加密货币的用例》撰文:TonySheng,知名区块链博主,关注区块链产品开发、加密货币市场发展趋势.
1900/1/1 0:00:00大家早上好,我是玩币队长。贪婪、恐惧、犹豫、侥幸心理、过于自信等是投资者较为普遍的人性弱点,投资者对自己的弱点绝不能低估,对自己的能力绝不能高估,每一次失误几乎都是因为自己的弱点造成的.
1900/1/1 0:00:00在一切都明朗之前,往往是最混沌不清的时候,也是最充满机会的时候。一方面,在国际上,随着美元不断的增发,比特币、以太坊等新兴资产日益受到传统投资机构的青睐,币价一路高歌凯进.
1900/1/1 0:00:00撰文:712月19日,CFTC公布了最新一期的CME比特币期货周报,本期周报的统计周期结束节点恰好止于比特币正式完成历史性的20000美元整数关口突破的前夕.
1900/1/1 0:00:00GlobalCoinResearch每周发布两次亚洲区块链市场新闻Newsletter,该公司是一家专注于亚洲区块链市场及技术的投研公司.
1900/1/1 0:00:00币友们好!在今天的《推特大咖说》第118期中,你将看到:01TheBlock中国比特币矿工控制着全网65%的算力,比特大陆的市场份额持续下滑.
1900/1/1 0:00:00