http://www.jianshu.com/p/7d88c4176d4c【原创】区块链测评概览（新）
http://www.jianshu.com/p/75263f47d745 【原创】区块链评测之争（旧）
https://www.jianshu.com/p/45e0eef2f34c 【银联】区块链成熟度评测报告
【转载】 2017-05-26 雷盈金融科技 【最全概览】区块链评测之争
【转载】 2017-05-26 微口网 【最全概览】区块链评测之争
【引用】2017-06-23 中国信息产业网 何宝宏：区块链“产业小，商业大”

1.背景

编者注：“在区块链联盟之争、区块链标准之争后，是区块链测评之争。”

区块链是一种战略性、颠覆性的新兴技术。世界各国政府、大型金融机构、企业集团、以及众多初创公司都纷纷投入了大量资源对区块链进行研究和开发。与此同时，各种区块链联盟、区块链协会、以及各大校企合作区块链实验室也纷纷成立。所有区块链行业的玩家都希望率先成为制定标准的一方，以争夺行业话语权的制高点，并从中抢占某些先机。

• 首先，是定义区块链标准，解决其是什么的问题。
• 紧接着就是依照标准，去测评区块链底层，给其评估打分。

2.区块链测试的难点

区块链测试与传统的软件测试有很大的不同。

• 系统边界模糊。传统的软件，不管是是独立的应用程序，还是客户端/服务器模式的应用程序，都有明显的系统边界，可以通过UI用户界面或者客户端去进行测试。区块链底层，则是一个完全去中心化的分布式网络。这个网络有可能跨越多个子网、多个数据中心、多个运营商、甚至多个国家，其边界是模糊的。对于区块链底层的测试，不仅仅是前端API与某个区块链节点之间的测试，还涉及大量区块链节点与节点之间的测试。
• 故障类型复杂。一般软件故障包括3类：1）宕机故障（Crash Failure）；2）宕机-恢复故障 （Crash-Recovery Failures）；3）拜占庭故障 （Byzantine Failures）。所谓拜占庭故障，来自一个著名的“拜占庭将军问题”，指系统存在某些恶意节点，用一个形象的比喻就是“叛变的Byzantine将军”。从不同观察者角度看这类节点，表现出不一致的症状，这在需要共识的系统中，往往会导致系统服务失效。一般软件最多只需要解决前两种故障，而区块链系统，则需要同时处理所有的故障，确保系统的可靠运行。
• 区块链类型不同。区块链本身包含公有链、私有链、联盟链等多种类型，不同类型在管理、用户身份、最大节点数等平台自身特征方面均有不同，测评需要考虑所有的模式，导致测试方案更加复杂。（如下表）

3.区块链测评的分类

根据目的的不同，区块链测评服务可分为：登记测试、鉴定测试、应用测试、对比测试、验收测试等。不同的服务，测试的内容和手段都有不同。

根据区块链测评内容，大体上可分为功能测试、性能测试、安全性测试、可靠性测试四大类。后三大类均属非功能性测试范畴。

编者注：在某些场景，将性能、安全、可靠等方面的一些测试点纳入了“技术指标测试”范畴。

4.国内区块链测评机构

目前，已经或将要对外提供测评服务的主要有以下一些机构。

4.1 工信部电子四院——中国区块链技术和产业发展论坛

工信部电子四院，即 中国电子技术标准化研究院 。在2016年10月，牵头成立了 中国区块链技术和产业发展论坛 ，并发布《区块链和分布式账本技术参考架构》（下载）。

2017年5月16日，在杭州举办的“区块链技术和应用峰会暨首届中国区块链开发大赛成果发布会”上，公布了符合《区块链参考架构》的首次测试结果，众安科技、乐视链服、瑞卓喜投、分布信息科技、趣链科技这5家公司成为首批通过测试的公司，并由中国电子技术标准化研究院授予“区块链系统功能测试证书”。

第一批2017.5
第二批2017.12
第三批2018

image.png
image.png

• https://github.com/annchain
• https://github.com/annchain/angine
• https://github.com/annchain/ann-evm
• https://github.com/annchain/ann-module
• https://github.com/bcosorg
• https://github.com/bcosorg/bcos
  https://github.com/bcosorg/whitepaper/blob/master/BCOS_Whitepaper.md 白皮书

北京瑞卓喜投科技发展有限公司 – “鑫链盟”区块链平台 V1.2 版

参考索引：
中国区块链技术和产业发展论坛 首届中国区块链开发大赛成果发布会揭幕
中国区块链技术和产业发展论坛 区块链标准《区块链 参考架构》正式发布2017-05-16 瑞卓喜投 瑞卓喜投成为首批通过工信部区块链标准测试的企业2017-05-16 众安科技 首个区块链标准发布 众安链首批通过测试
2017-12-29 中国区块链技术和产业发展论坛第二届开发大会隆重揭幕

据了解，这次的测试验证，主要是从功能性、安全性等维度，对智能合约、节点管理、拜占庭容错、数字加密和签名等69项功能进行了测试。

编者注：这批测试更多的是功能性测试方面，采用“指标现场鉴证”的方式完成。

4.2 工信部电子五所——贵阳区块链测试中心

工信部电子五所，即 中国电子产品可靠性与环境试验研究所，又称为中国赛宝实验室，是中国最早从事可靠性研究的权威机构。

可靠性测试则是区块链测试中很重要的一环。正因于此，电子五所在区块链测评的广度和深度，比一般的评测机构由于更专业，也更具针对性由于。如果将区块链测评分三个维度来比的话，由于辨真伪（标准符合），评优劣，能跨链由于。据了解，他们已经做完前两级，目前深入第三级的研究了。

据了解，他们早在四月就已完成布比、井通、天德、PDX等四家单位的5个产品的测评，并发布区块链比对测评报告、国内外主流区块链产品的测评对比研究报告。

2017年5月，贵州市大数据发展工作领导小组办公室对贵阳区块链测试中心正式授牌。依托于贵阳区块链测试中心建设的区块链测试平台，现已开展试运行。该中心，主要由电子五所提供技术和人员的支持，并对外提供区块链测评服务。

其区块链测试平台包括几部分：

• 区块链产品测试子平台：以辨识区块链产品特性为导向，从分布式账本结构、网络结构、密码学应用、共识机制、智能合约以及跨链机制等方面开展测评，识别产品使用的区块链技术及优势。
• 区块链场景符合性/场景特性测试子平台——以推进区块链应用场景落地，保障区块链应用场景质量为导向，从场景质量特性，探索政务、民生、商业多场景交织的区块链应用模式。
• 区块链沙箱测试子平台——以仿真环境帮助企业选择区块链技术与产品为导向，从等质方面，众创众包众扶众筹，服务小微企业更好的使用区块链技术创新。

定义了6大类的区块链测试指标，包括：

1. 分布式账本结构、

• 网络结构
• 密码学应用
• 共识机制
• 智能合约
• 跨链机制

此外，还针对2016年12月发布的《贵阳区块链发展和应用》白皮书，定义了基于主权区块链的区块链相关测试标准，包括四大类“主权区块链测试指标”：

1. 国密算法测试指标和CA认证测试指标

• 自主可控的共识算法（PBFT）测试指标
• 自主可控的智能合约测试指标
• 自主可控的跨链技术测试指标

编者注：虽然尚未看到更多的测试细节，但其在可靠性测试方面确有其独到之处，更具专业性和针对性。

4.3 工信部信通院——可信区块链推进计划

2017-05-02 专家视野 | 石霖：解读可信区块链标准（多图）
2017-03-29 数据中心联盟可信区块链工作组副组长石霖解读可信区块链标准
参考 2017-05-24 太一云 太一超导网络首家通过中国信通院实测 【注：委托测试，而非标准测试。】

工信部信通院，即 中国信息通信研究院，是权威的技术与标准研究机构，拥有CNAS认可的测试资质和一流的实验室环境。其牵头成立的 数据中心联盟DCA，下设有“可信区块链工作组”，已牵头组织编写并发布了《可信区块链认证：第1部分 区块链技术参考框架》、《可信区块链认证：第2部分 总体要求和评价指标》两个联盟标准，其第三个标准《可信区块链认证：第3部分 评测方法》也正在制定当中。联动优势作为工作组成员之一，参与了该系列标准的编写和修订。

标准起草单位

同时，信通院还初步建立了完善的区块链测试验证平台。2017年5月11日，中国信息通信研究院开始对外提供测评服务，并 接受外部机构报名。

区块链测试平台建设

在2017年5月16日至17日期间，信通院对北京太一云科技有限公司的区块链超导交易网络进行了测试，验证了超导网络产品的完整性、扩展性与高频交易性能等能力。

注1：《可信区块链 第3部分 测试方案》尚在编写中，因而此次测试仅仅是一次委托测试，而非标准测试。
注2：太一云超导交易网络的性能指标为链外交易性能，而非链上交易性能。

太一云超导网络通过信通院的“委托测试”（非可信区块链标准测试）

本次中国信息通信研究院的测试包含功能测试和性能测试两个部分。

• 在功能测试中，基于实验室测试环境测试了连接、交易、结算等常见基本功能，并对各种边界条件进行了测试。同时对超导网络的扩展性进行了测试，包含任意节点的加入、离开、跨多个节点的穿透交易等。
• 在性能测试中，基于信通院实验室的物理环境，在10台物理服务器上进行了小规模的性能测试。在基于公有云环境的大规模测性能试中，超导网络持续运行1小时，完成了4亿笔交易，每秒链外交易数接近11万笔。

2017-09-20 信通院 2017可信区块链峰会在京举办 可信区块链标准和测评结果公布

9月19日，由中国信息通信研究院主办、数据中心联盟承办、中国支付清算协会金融科技专业委员会和中国物流与采购联合会区块链应用分会支持的“2017可信区块链峰会”在北京召开。来自工业和信息化部信息化和软件服务业司、人民银行数字货币研究所、中国支付清算协会和中国信息通信研究院的相关领导，与业界知名专家、产业链各环节厂商高管、学术及研究机构人员、数十家媒体等在内的300多人次出席了本次峰会。

中国信息通信研究院院长刘多与中国通信标准化协会副秘书长潘峰共同为可信区块链联盟筹备启动仪式和可信区块链开放实验室成立揭牌。

• 可信区块链联盟是在工业和信息化部信息化与软件服务业司的指导下、在中国通信标准化协会的支持下成立的，定位于联合推动区块链技术发展，促进区块链技术在各行各业的应用。
• 可信区块链实验室定位于开展区块链底层核心技术和监管技术研究，联合解决区块链发展的共性问题。

中国信息通信研究院技术与标准研究所移动互联网与大数据部副主任魏凯就可信区块链预评测的背景、评测的主要内容与过程、评测标准的不足与改进等进行了阐述。据了解，可信区块链预测试基于数据中心联盟可信区块链标准，该标准是国内首个可信区块链标准，设立了涵盖功能、技术、安全、性能等14个评价指标和54项评测点。腾讯财付通、复杂美、布比、博晨、太一云、杭州趣链、智链ChainNova、中兴、联动优势等九家企业的产品通过了本轮预评测，相关测试结果将在数据中心联盟网站上公开。魏主任表示，希望通过可信区块链标准的建立和测评为业界选取值得信赖的区块链产品和服务提供指导。

2017通过首轮预测试的企业名单（排名不分先后）：

编者注：总的来说，信能院的测试，偏重于性能测试，并在着手建立基准平台来实现自动化测试。

2018通过首轮功能测试的20家企业集产品：

可信区块链功能评测结果统计1

可信区块链功能评测结果统计2

• 在可选项里，私钥管理措施（第22，23，24项）和共识算法种类（第42，43项）等5个可选项几乎都通过。主要结论是：测试厂商高度重视私钥的安全管理能力和共识算法的数据一致性能力，有效防范篡改交易数据。
• 共识算法可切换和自动调整（第36，37，38，39项）和数据归档性（第91，92，94，95项）8个可选项几乎都没通过。主要原因是：目前厂商不支持动态的共识算法调整，在数据归档方面，还需进一步提升技术研发能力。

2018通过首轮性能测试的7家企业及产品：

• 类fabric产品4个，其中包含平台产品4个，BaaS产品1个。类fabric产品性能集中在1,000~3,000TPS，不支持关联交易。
• 自研平台3个，其中分层共识1个，可自动切换共识1个，参与方个数可周期性调整共识1个。自研平台性能差距较大，普遍性能好于类fabric产品，最高超过40,000TPS。
• 全部参评厂商 无确定的交易确认时间。交易确认时间依赖超时时间设定等参数控制。
• 对于单链的性能，在使用高配置机器和万兆网络的前提下，最高峰值TPS达到50487（4个节点）、50030（8个节点）和48774（16个节点）。平均峰值TPS是11051（4个节点）、10343（8个节点）和9745（16个节点）。【PS：均由腾讯TrustSQL贡献】
• 平台的性能与共识算法的选择强相关。网络规模越大，实用拜占庭容错类算法的性能会越低，但是，权益证明类算法的性能会越来越高。
• 提供的万兆网络能够让平台的性能得到充分展示，对应的CPU和网络IO都有显著消耗，但是与实际网络有较大差距。【PS：通过一些设置模拟复杂广域网的网络抖动情况后，所有“类Fabric”和“采用BFT共识”的链，其性能指标急剧下降，因此后来没有采用该场景的测试结果。】

2018可信区块链性能测试结果展示

4.5 赛迪研究院——中国区块链生态联盟

2018-10-12 赛迪区块链生态联盟 区块链标准制定和质量测评将有据可依

2018年10月11日下午，为推进区块链团体标准研制，加速区块链应用落地与质量保障，在中国区块链生态联盟指导下，由青岛市崂山区人民政府主办，赛迪（青岛）区块链研究院承办，中国软件行业协会协办的“区块链团体标准及许可链质量发展研讨会”在青岛举行。

• 研讨会第一项内容——是通报《区块链平台基础技术要求》团体标准制定情况。
• 研讨会第二项成果——发布第一批许可链测评证书及典型案例。
• 研讨会第三项成果——发布《区块链+供应链金融白皮书》。

目前包括数据操作、账户管理、共识机制、加密算法、智能合约、性能效率、节点管理、运维管理等 8个领域、32个检测项，以此指标为基础双方联合启动了许可链测评工作。

首批通过测评的许可链，如下表。

4.5 同济苏州区块链研究院

同济大学联合中国银联电子支付研究院、上海51testing、北京好扑信息科技、雷盈科技等单位，早在2017年2月22日，就完成了《区块链成熟度评测方案》。并于6月8日，在“区块链金融高峰论坛（苏州）暨第二届金融科技－同济论坛”上，成立“同济苏州区块链研究院”，对外提供金融科技-区块链测评、研发、人才培养及产业孵化等服务。

2017-02-23 中国第一套区块链测评标准方案进入实测阶段

2017年2月22日，“中国银联&同济大学—区块链测评项目发布会”在同济大学顺利召开。同济大学数据与网络安全研究中心副主任马小峰教授与电子商务与电子支付国家工程实验室（中国银联）区块链负责人周钰共同主持了发布会。此次电子商务与电子支付国家工程实验室（中国银联）与同济大学联合推出的区块链测评标准方案，是由双方共同研发，由两大部分组成，包括：

• 通用区块链测评体系——主要包括验证测试、性能测试和安全测试三个主要方面和36个具体测试项，适用于各行业领域；
• 面向金融行业的区块链评测体系——主要从功能性、安全性、可扩展性、互操作性等9个方面、设置了34个测试项、114个评测指标进行区块链软件成熟度的评测，并设计了一个金融行业评测业务场景。

该方案部署环境主要依托区块链基础设施云平台搭建，利用云平台实现审查、调试、测评一体化。目前，整套区块链测评标准方案已经完成制定，开始对上海区块链创新沙箱内的相关项目进行测评工作。

上海博为峰软件技术股份有限公司（51testing）、北京好扑信息科技有限公司、雷盈科技（上海）有限公司为测评标准方案的研发和建设提供了技术支持。

2017-06-13 同济大学 苏州同济金融科技研究院揭牌
2017-06-13 苏州同济金融科技研究院推出区块链测评服务并联合发布自主链白皮书（附白皮书）
2017-06-16 好扑区块链为同济区块链技术测试平台提供技术支持

6月8日，2017区块链金融高峰论坛（苏州）暨第二届金融科技－同济论坛在苏州相城区会议中心举行。会上，正式成立“苏州同济金融科技研究院”。该研究院，是由同济大学与苏州政府联手打造，落户在苏州高铁新城，提供金融科技-区块链测评、研发、人才培养及产业孵化等多方面综合性研发服务平台，依托于同济大学人才、研发和品牌优势，并结合苏州的区域经济与产业优势，建设有国际影响力的、国内领先的金融科技研究院。

在本次论坛的成果展示环节，苏州同济金融科技研究院院长马小峰教授演示了自主开发的区块链技术测试平台的功能及一个实际区块链项目的测试结果，同时宣布6月8日，苏州同济金融科技研究院正式推出区块链测评服务。

图1-2 测评方案组件关系图

5.国外区块链测评方案

5.1 日本政府

由于比特币在日本主流支付业务中的突出表现，2017年4月初，由日本内阁签署的《支付服务修正法案》生效，正式承认比特币在日本的合法支付地位。

暨修法承认比特币支付的合法性之后，日本当局出台“针对区块链平台的评估细则（Evaluation Forms for Blockchain-based Systems）”。该方案由日本经济产业省（METI）下属商务信息政策局制定，经过2016年11月至2017年3月期间召开五次委员会会议，最终订定整体框架。

众享比特团队第一时间对BlockBench白皮书进行了翻译

新闻：Japanese Government Unveils Evaluation Process for Blockchain Platforms
下载：Evaluation Forms for Blockchain-based Systems ver. 1.0 Released
下载：http://www.meti.go.jp/english/press/2017/pdf/0329_004a.pdf 英文
下载：http://www.meti.go.jp/english/press/2017/pdf/0329_004b.pdf 日文
参考：2017-04-21 比特大陆 区块链发展之路：日本推出区块链平台评价细则

该方案还特别补充道：

“如果不尽快建立一套针对这项新技术特点的合适的评价体系，以及新技术对现存系统的对比指标，这会导致公众对区块链技术产生焦虑、误解，或是不切实际的空想，最终导致公众心理对这项技术产生抵触。”

日本当局表示，因为区块链系统的结构会引起许多特殊的交易约定（多个节点之间存在共识协议），套用由国际标准化组织（ISO）建立的系统标准是不完备的。

该区块链平台评价细则包含32个与区块链技术特点紧密切合的方针，评价指标包括可扩展性，可移植性，可靠性，吞吐量，节点数量，性能效率和互操作性等等。区块链平台将依照公有链或私有链的性质进行分类，基于瑞波币（Ripple）及超级帐本（Hyperledger fabric）等联盟链的区块链平台也将被进行区分。

提出区块链平台评估细则后的下个阶段，是要巩固这项标准的可靠性。日本当局将尝试在真实社会体系下运作这项新的评价标准，观察其评价效果，并期待区块链系统评价标准朝向国际化前进。

5.2 新加坡国立大学

新闻： 新加坡国立大学联合浙江大学推出BlockBench
新加坡国立大学：blockbench | Github | 白皮书英文版
peersafe下载（已失效）：白皮书英文版 | 白皮书中文版 |

（浙江大学陈刚）

编者注：作者之一陈刚为浙江大学教授。
http://jsxy.zucc.edu.cn/art/2015/12/9/art_265_120802.html 陈刚 教授/博士
http://www.cs.zju.edu.cn/english/redir.php?catalog_id=103927&object_id=104506 陈刚 教授/博士
陈刚，男，1973年10月出生，博士，教授，博士生导师，现任浙江大学计算机学院副院长、浙江大学城市学院大数据与电子服务研究院院长。1995年6月获浙江大学计算机应用专业硕士学位，1998年6月获浙江大学计算机应用专业博士学位，1999年破格晋升为副教授，2003年破格晋升为教授，2005年3月聘为博士生导师。一直从事数据库、信息安全、协同设计等方向的研究开发工作。近年来在研和完成国家863计划项目四项、国防预研项目四项，国家计委产业化前期项目一项，发表30余篇科研论文，获国家科技进步二等奖一项、国家科技进步三等奖一项、浙江省科技进步一等奖一项、教育部科技进步二等奖一项，1994年度浙江省科技进步三等奖一项。入选2007年度“教育部新世纪人才支持计划”，获2012年度“中创软件人才奖”，2005年度浙江省英才奖。中国计算机学会数据库专委会委员，网易杭州研究院院长。

编者注：超级账本Fabric-0.6在超过16个节点后，无法正常工作。

2017年5月初，新加坡国立大学和浙江大学联合推出了一个私有区块链的评估框架（BlockBench）及相关白皮书和源代码。通过对目前最成熟的能够支持智能合约功能的三个区块链平台——Hyperledger Fabric,、Ethereum 、Parity 开展对BlockBench的设计，该框架将能广泛地支持未来的区块链平台。

在发布的BlockBench白皮书中，通过对现有问题的分析，强调区块链与智能合约的必要性，希望设计一种通用的基准架构来测试区块链处理数据的工作范围，该框架能帮助区块链应用开发者评估区块链的能力，以满足应用设计的需要，同时可帮助区块链开发者识别并改进性能瓶颈。

搭建这套评估框架，首先要面临目前存在的三个主要挑战：

1. 细节差异：区块链系统中包括许多部分，我们观察到，不同平台之间的每一个细节上都存在各种各样的设计选择。
2. 尚不成熟：目前有多种区块链平台供大家选择，然而并不是所有平台都达到了成熟设计、实施以及建立用户群基础的程度。
3. 缺少负载：目前的区块链平台中缺少面向数据库的工作负载结构。

同时，白皮书也给出了五个建议：

1. 在区块链中加入数据库设计：将存储、执行引擎和共识层彼此分离，然后独立优化和扩展。 我们的系统UStore表明，针对区块链数据结构设计的存储能够比现有的实现方式获得更好的性能。
2. 拥抱新的硬件：对于区块链，使用可信硬件可以修改底层的拜占庭容错协议，从而减少网络消息。
3. 利用硬件：Parity和Ethereum这样的系统可以利用多核CPU和大内存来改善合约执行和I/O性能。
4. 分片：在拜占庭故障中，数据库系统中使用的现有一致性协议不再起作用。尽管如此，分片数据库系统的设计可以为实现更可扩展的区块链分片协议提供参照。分片的主要挑战是确保多个分片之间的一致性。
5. 支持声明语言：拥有一套可以以声明方式组合的高级操作，便于定义复杂的智能合约。声明式语言也开辟了低级优化的机会，加快合约执行的可能。

6.小结

区块链还是一种新兴的技术方案，还处在早期。

• 实现一个优秀的区块链底层，是一个很艰难的事情。
• 全面测试和评估这个区块链底层，也不是一个简单的事情。

目前的区块链技术标准，更多的是“建议标准”，而非“强制标准”。
测试内容上，短期还会出现针对不同行业的差异性，但最终会走向融合和统一。
测试手段上，也将逐步由人工测试，转向自动化测试。