CAS:区块链基于大数据 这观点你怎么看

也许你们还不知道，现在已经是一个用数据说话的年代了，那么区块链就是最好的例子，因为区块链基于大数据，这个观点你认同吗？区块链基于大数据1.区块链技术区块链角色更多关注全节点作为数据源提供方，依赖区块链技术的分布式、公开透明、可追溯、不可篡改等特征，同时结合数据分布式存储、点对点传输、共识机制、加密算法等多种技术融合形成的区块链创新应用模式。

在区块链浏览器的整体架构中，区块链作为数据源存在的挑战与传统大数据进行ETL比较。

多币种主链数据组织差异大，在众多主链数据持有能力上，需要思考如何在系统架构上提出能够保证通用结构复用，又要兼顾多主链个性化灵活支持的需求。同时，理解区块链全节点数据的业务特征、不同版本之间差异、分叉对不同高度的解析细节上在研发周期中占用较大比重。

吉林法院2020年区块链平台存证数据量达2.6亿:2月8日，记者从吉林高院了解到，截至2月5日，吉林高省司法链平台存证数据量达2.6亿，吉林高省区块链节点数2个，上链系统数13个，核验总数21万。

2019年5月，吉林法院作为最高法院首批区块链试点单位，率先接入最高法院司法链平台，积极开展吉林法院区块链创新业务应用场景建设工作，并对电子诉讼和全流程网上办案过程中生成的文书、电子卷宗、电子档案、业务数据、用户身份等信息，通过司法链平台加以固定，实现了互联网电子诉讼证据、微法院诉讼证据、诉服中心电子诉讼材料和法院文书的存证验证功能。（吉林日报）[2021/2/8 19:14:22]

以往大数据架构不需要太多的关注数据业务本身涵义，更多聚焦在数据流转、计算、存储，而区块链则需要对业务了解放在首位，起点较高。

动态 | 新加坡区块链公司MTO GLOBAL PTE推出利用加密货币的酒店预订服务:总部位于新加坡的区块链技术公司MTO GLOBAL PTE宣布，该公司已经推出了M2O预订服务，与全球60万家酒店合作，通过M2O Coin预订酒店。该公司还声称将于11月在韩国开设一个交易所，然后再另设立一个海外交易所。（Business Wire）[2019/9/11]

2.大数据技术

在OKLink区块链浏览器上，大数据聚焦在区块链数据源解析之后，推送到Kafka消息队列后续，对数据进行统计分析，实时计算和离线计算部分。

同时，在浏览器前端展示ToC提供线上检索服务和对不同的数据应用放提供ToB的API访问方式。

动态 | 建行运用区块链技术等金融手段化解农民工欠薪难题:据金融时报消息，建行运用区块链技术等金融手段化解农民工欠薪难题。建行有关负责人表示，通过运用区块链技术，连接政府部门、业主、总包企业、劳务公司、农民工和用工管理平台，通过对全产业链信息进行大数据分析和模型测算，向劳务公司发放用于农民工工资的专项融资款，解决农民工工资的资金来源难题，确保‘有钱发’；并通过电子围栏打卡等技术手段提供农民工考勤管理、用工明细等客观数据，锁定‘发给谁’；还将劳务公司融资款直接支付至农民工银行卡中，实现农民工工资实名制、零拖欠和精准到账。[2019/8/26]

当然，区块链浏览器中大数据的实践和传统互联网大数据有着较为明显区分特征，下面逐一说明：

A）数据中台

动态 | 卢森堡反对党成员要求总理提供电子政务区块链计划细节:据卢森堡时报5月24日报道，卢森堡议会中的反对党主要成员Laurent Mosar要求总理就拟议的电子政务计划提出具体要求。据报道，该计划的核心是政府管理中区块链技术以及人工智能（AI）的实施。数字化部长Marc Hansen表示将重点关注利用区块链技术改善政府的数据存储和传输。据报道，Mosar要求澄清私营部门中的谁将与政府合作开发技术，公共部门的哪些领域将受益，以及项目的实际截止日期。[2019/5/25]

区块链大数据更加侧重数据中台的角色，而不是传统的后台提供数据分析、离线计算的位置。之所以在数据中台委以重任，是需要更快、更为灵活的交付用户数据。

所以查询快是OKLink的一大亮点，要提供区块链数据的快速交付，需要在数据解析到流转、计算存储、查询4个方面整个链路做全方面的优化，整体协作来完成快速交付。

时效性在区块链对ToB方面至关重要，ms级别的先机会对类似量化交易及时做出预判，类似传统意义提到的时间就是金钱，唯快不破。

B）数据弱化分区特征

在互联网等传统大数据进行存储，一般会对数据按照日期进行一级分区，对于数据进行分布式存储和计算在MPP架构中应用非常娴熟，数据可以根据使用情况做热数据、温数据、冷数据处理分层Cache、归档等处理。

而区块链大数据存储在业务层面需要时刻准备交付，即数据可以理解均为热点数据，例如按照地址检索交易记录，即便较久交易也需要实时交付。

同时，时间维度在做区块链的业务场景应用中不重要，反而区块高度、交易Hash、地址等维度命中率在大部分场景下有较多应用。

在架构层面，满足弱化分区特征，需要实现索引和数据的异构引擎配合存储和计算，在服务层面需要做到数据一致性、检索过程业务透明、新增索引项灵活配置、热部署等工程方面挑战。

C）流批处理

流批处理指的是区块链计算指标需要结合历史的统计信息和当前的实时数据做更新，例如地址的累计交易金额=历史累计交易金额+当前交易金额。

前面提到如果大数据处于后台角色，可以完全通过离线计算批处理的方式进行统计，这样的方式即保证了准确性，又相对保险，但在时间上会有滞后。而作为数据中台能快速准确交付用户信息，这里需要历史聚合数据和当前变更数据做实时计算。

这种场景最大的挑战是数据指标的冷启动+实时计算结合，并且一个指标从定义到交付更为灵活，就需要在架构设计上支持配置化的指标定义，而非CasebyCase的定制开发。

OKLink实时计算平台“闪电”中采用Flink作为流批数据计算的架构选型，支持灵活定义Source数据源、ETL数据上下游衔接和灵活定义Sink输出。在存储方面借助HBase存储满足实时更新和按照Key检索，历史聚合信息计算结果存储在HBase，并且记录历史截止交易高度，闪电平台敏锐察觉数据变更并且延续后续实时计算过程。

D）数据补偿机制

即当线上数据出现问题之后，如何能够快速修正数据。一般来说，数据出现问题的原因包括：计算逻辑变更、数据解析bug、区块分叉、数据延迟交付等因素。

这些因素虽然在浏览器上线后出现的频率较低，但是每次出现人工处理成本较高，主要表现在处理时间、人工核验的质量参差不齐。

数据补偿机制是数据质量保证重要的途径，可以满足数据的最终一致性需求。数据补偿的处理步骤可以归纳为识别坏数据、定位数据源、清理目标写入、数据重计算四个部分，因为针对不同的数据源处理步骤大同小异，所以非常适合工程化方案解决。

当前这里面也存在一些挑战，比如坏数据出现位置监控与定位、已写入引擎数据识别和清楚、修正补丁热部署热加载避免停服、旁路数据修正等。

E）新数据频繁变更

数据变更在互联网场景更多体现在OLTP数据库中，而在OLAP场景下更多为沉淀数据，追加较多变更非常少。

频繁变更带来的问题是数据碎片化严重、标记删除和定期归档工程化较为复杂，目标存储引擎支持更新，同时如果支持幂等性业务操作，还需要识别已写入数据哪些是覆盖想，哪些是删除项。

所以说这个区块链基于大数据，这话不掺假吧。有一天你能成功的渗透区块链这个词语的意思，你离发达也就不远了。

标签：区块链INKLINKCAS区块链域名交易平台BBLINKOpen LinkXCASH币

XLM热门资讯