测试依据
- 《区块链技术参考框架》
- 《总体要求和评价指标》
- 《功能测试方法》
- 《性能基准测试方法》
- 《Baas测试方法》
- 《安全测试方法》
- 《溯源应用规范》
- 《供应链金融应用规范》
测评体系
性能测试
测出底层链的性能极值，以此为不同规模应用场景提供参考依据。
原则
- 单链
- 单通道
- 单片
- 每笔交易进行有效签名
- 交易类型构造需统一
性能测试类别
条件
- 类别按照每秒发送交易量与每秒上链交易量的比值区分
- 所有类别对4节点、16节点的规模分别展开性能测试
类别
- 压力测试 比值在1上下浮动， 95%以上的成功率
- 尖峰冲击测试 比值在2上下浮动， 75%以上的成功率
- 稳定性测试 发送交易量取压力测试场景下的20%，且保持长时间运行，超过95%的成功率
性能测试结果
资源监控指标
反映压测下各个节点占用资源情况
- 节点所在机器的CPU负载与使用率
- 磁盘IO
- 网络带宽利用率
- 内存使用率
性能数据指标
性能测试工具TrustedBench测后生成
- 数据包括交易每秒接收量，代表底层链节点每秒接受的经过有效检验且返回交易标识的全部交易数量
- 交易每秒上链量，代表底层链每秒达成共识且上链成功的交易数量
- 交易上链成功率，在性能测试结束后，使用总上链交易数量除以总交易发送数量计算得出；
- 交易上链平均延迟，计算全部交易从交易发送开始至上链成功对应的链上时间戳之间的平均延迟时间，
工具 https://github.com/TrustedBlockchain/TrustedBench
TrustBench适配接口
安全测试
安全测试具体项
