[系统运维]全闪SDS 2.0小观察廿问

1 定义篇：什么是SDS 2.0？

SDS 2.0业界还没有严格一致的定义，按目前存储界的共识，SDS 1.0是指第一代基于HDD机械硬盘的软件定义存储，解决存储扩展性、大容量和低成本问题；SDS 2.0特指第二代基于NVMe SSD的全闪软件定义存储，满足弹性扩展、高性能/低延迟、高效率痛点需求。SDS 2.0的显著特性是NVMe全闪分布式、端到端NVMeoF、裸金属高效率。以block块存储为例，可基于IB/TCP高速网络构建大规模NVMe全闪存储集群、支持NVMeoF/RDMA和NVMeoF/TCP、千万IOPS/百微秒级高性能、发挥裸金属90%以上的高效率。

2 对标篇：真正的对标产品有哪些？

按照上面的SDS 2.0定义，符合这个标准的对标产品其实是很少的，主要都来自硅谷，代表对标产品有Pure Storage、E8、Excelero、VAST Data、Qumulo、WekaIO、Cohesity、DAOS，这其中E8和Excelero已经分别被AWS和NVIDIA收购。国内几乎没有对标产品，基于开源的Ceph/Gluster/BeeGFS/Minio都只能划入SDS 1.0的范畴，大道云行从0到1全新打造的全闪块存储FASS，是一款真全闪SDS 2.0产品，直接对标E8/Excelero。

3 市场篇：如何看待全闪存储市场？

IDC报告显示，2021年中国外部存储市场整体规模约430亿，SDS+HCI占比高达47.9%，其中SDS存储约140亿，另外AFA全闪阵列约84亿。预测到2026年，SDS存储和AFA存储将分别达到300亿和200亿市场规模，全闪SDS将占据40%以上的市场份额。新兴市场驱动、SSD成本不断降低、再有信创存储加持，全闪存储是市场发展必由之路，未来前景非常可期。

4 成本篇：全闪存储真的贵吗？

面上简单来看，的确成本有点高。我们换个角度来看，一是对于高性能应用场景，现有存储方案可能满足不了，那成本本身就不是敏感的；二是从单位成本来看，全闪存储完全发挥了裸金属硬件的物理性能，容量和性能得到充分利用，每IO单位成本可能反而要低很多；三是从SSD价格趋势来看，2021年闪存价格达到HDD机械硬盘的4.2倍，SSD全面替换HDD的市场拐点已经到来，预计2026年两者价格将会持平，全闪存储将从性能应用场景普及到全面应用场景；四是从信创市场来看，全闪是信创发展必由之路，价格可能也是一个伪命题。

5 优势篇：SSD还有什么另类优势？

闪存性能优势太大了，以至于SSD其他优势被忽略了，诸如稳定性、存储效能、空间能耗、静音抗震、智能运维。全闪存不再只针对特定的应用和工作负载，而会被普遍的采用，承载核心业务和增值业务等多种业务场景。

6 应用篇：典型应用有哪些？

全闪SDS 2.0最大优势是弹性扩展的高性能/低延迟，典型应用集中在新兴技术领域，云计算、大数据、人工智能、自动驾驶、HPC/HDPA、金融科技、生命信息、高速数据采集、4K/8K视频编辑等。

7 他用篇：非典型应用有哪些？

高性能/低延迟不是第一需求的应用场景，比如移动数据中心（空间能耗更小）、NVMe SSD软RAID（单机或网络RAID，聚合容量和性能）、云计算弹性EBS（比SSD物理容量更小或更大的盘，降本提效）、数据库存算分离（安全性，提升能效）、数据中心网络IP化（高速ROCE网络支持NVMeoF/RDMA，万兆以太网支持NVMeoF/TCP），国产信创存储（安全可控，全自主研发）。

8 类型篇：存储类型有哪几种？

SDS存储分为块、文件、对象三种类型，全闪SDS 2.0同样有全闪块、全闪文件、全闪对象三种类型。从全闪存储发展史来看，全闪块最先出现，然后是全闪文件，近两年才有全闪对象面世，这也符合技术趋势和市场需求的演变。全闪存储对性能追求极致，在系统架构和工程实现有诸多变革创新，三种存储类型的差异较大，不太建议全闪SDS 2.0统一存储。

9 协议篇：选择何种存储协议？

这里以全闪块存储为例，支持iSCSI、iSER、NVMeoF/TCP、NVMeoF/RDMA，它们分属SCSI和NVMe两种体系架构，并各自提供了纯软件或者基于RDMA硬件的设计。在使用RDMA硬件加速的情况下，iSER和NVMe/RDMA都能提供很高的性能，而纯软件的方案iSCSI和NVMe/TCP其性能相对硬件版本略低但无须付出任何硬件成本。我们建议，高性能需求配置IB/ROCE网络采用NVMeoF/RDMA，考虑IP网络化和兼容性的采用NVMeoF/TCP，其他则选择iSCSI，iSER协议不太建议使用。

10 网络篇：如何配置存储网络？

当前主要有三种主流网络，一是Infiniband，天然支持RDMA，带宽有25/40/56/100/200G；二是支持ROCE的以太网，通常是25G以上网络；三是标准以太网，不支持ROCE。我们建议，对延迟敏感的数据库应用推荐上Infiniband，对于云计算等高性能场景采用支持ROCE的高速以太网，其他选择标准以太网即可。

11 SSD篇：SSD选择NVMe还是SATA？

首选当然是NVMe SSD，配合高性能网络可实现端到端NVMe，获得最佳裸金属性能和效率。另外，NVMe 和SATA SSD两者的价格已经相关无几。当性能要求不太极致，或者服务器及网络配置不太高，则可以配置SATA SSD，获得硬件匹配和降低整体成本。相对，服务器硬件配置也要低不少。

12 趋势篇：NVMeoF是大势所趋吗？

Gartner报告显示，NVMeoF全闪存储处于技术发展趋势浪潮之巅，NVMe将取代SCSI成为存储协议的主流。基于以太网的NVMeoF全闪是信创必由之路，特别是金融信创为代表的2+8行业信创。NVMeoF全闪分为全闪阵列AFA和全闪SDS两种形态，因为弹性扩展和软件定义存储的开放性，全闪SDS将占据更多的NVMeoF市场份额。

13 JBOF篇：全闪SDS需要JBOF吗？

JBOF和JBOD类似，区别在于柜子装SSD还是HDD。对于需要超大容量高密度SSD的场景，JBOF是很合适的，灵活并且易扩展。目前主流全闪存储服务器是24个NVMe盘位，主流NVMe SSD容量可达8T/7.68T，单节点200TB再加上全闪SDS的弹性扩展性轻松达到数十PB级，而且具有更高的性能和高可用性。因此，对于大多数的场景，建议直接采用全闪服务器部署，对于大规模的数据中心或超算中心可考虑采用JBOF方案。

14 数据库篇：分布式数据库需要存算分离吗？

数据库界有一个普遍的说法，分布式数据库不需要分布式存储。简单来看的确是这样，数据库自己来管理硬盘、分库分表分区和调度。如果从整个系统的角度看，架构复杂性、I/O负载均衡、系统稳定性、扩容灵活性、降本提效等方面，存算分离架构优势就明显了，计算的问题交给数据库，存储的问题交给分布式存储，1+1>2的效果就出来了。

15 混闪篇：HFA混闪的未来在哪里？

混闪存储的由来大家可能都清楚，就是在性能和成本之间做一个折中平衡，毕竟全HDD性能满足不了，全SSD当前价格还比较高。不管是SSD Cache/Tier/ Hierarchical，调度算法都会遵循某个分布模型，意味着SSD层很可能会被击穿，存储性能、一致性、稳定性会面临很大的挑战，因此适用场景会有很大的限制。SSD成本在不断降低，全HDD都在不断被替换，何况混闪呢？

16 HCI篇：HCI超融合适用全闪存吗？

HCI超融合刚提出来的时候，业界认为它无所不能。十年之后情况如何呢？2021年中国市场HCI占比达到20.6%，还是很不错的。不过，市场和客户也趋于理性，HCI更适合中小型企业或IT系统，大规模云计算和高性能IT环境，普通更倾向于存算分离架构，甚至回归到裸金属部署方式。就全闪SDS而言，HCI超融合部署肯定是可行的，但因为虚拟机或容器对高性能硬件透传和兼容性无法做到和裸金属一致，高性能会大打折扣。我们认为，HCI超融合适用全闪存，但高性能场景不建议。

17 全闪篇：AFA全闪阵列 vs 全闪SDS 2.0？

NVMeoF全闪存分为AFA全闪阵列和全闪SDS 2.0两种形态，两者共同承担着替换传统SAN存储和全HDD存储的重任，均有着超高性能和低延迟的卓越表现。AFA全闪阵列在低延迟、性能一致性、易维护性方面表现更好，全闪SDS在弹性扩展、高可用性、开放灵活性、TCO成本方面优势更大。AFA全闪阵列主要是替换FC SAN存储，而全闪SDS是全面替换传统存储和SDS 1.0存储，更加适合云计算和新兴应用工作负载。

18 对象篇：对象存储是否需要全闪存？

事实标准的对象存储源自AWS S3，基于HTTP/RESTful设计，原本就不是面向高性能应用场景，主要应用包括网盘、APP、WEB、云视频、备份、归档。时至今日，新应用新业务日新月异，SSD呈现全面普及应用的态势，高性能对象存储的需求日益凸显，特别是AI/HPC/HDPA场景。全闪存的对象存储需要变革，一是全新的高性能API/SDK标准接口，当然为了兼容需要同时支持S3，二是面向高性能硬件的底层分布式存储架构设计。Intel DAOS是一个很好的参考。

19 Ceph篇：Ceph全闪会是什么样？

前面我们给出了全闪SDS定义和标准，根据这个标准，Ceph跑在全闪硬件平台上并不能称为真正的全闪SDS 2.0。不少团队试图通过系统优化和局部重构来突破单节点30万IOPS和毫秒级延迟的天花板，效果似乎都不太好。Ceph有其优势和适用场景，对于全闪不太友好，与其基于Ceph重构，不如从0到1全新构建一个全闪SDS，难度和收益可能会更好。

20 产品篇：国内全闪SDS为啥很少见？

最关键的原因是全闪SDS没有开源的，开个玩笑哈。事实的确是没有开源的全闪SDS系统，基于开源二次开发和从0到1打造一个全新的系统，难度系数和成熟周期完全不是一个数量级的。其一，大多数团队都想图快，快速基于开源搭一个出来；其二，很多团队没有从0到1构建的能力，只能基于开源二次开发；其三，少数团队有能力全新研发，但又被研发周期长和投入大吓退了。另外，国内分布式存储研发人才非常缺乏，尤其是具备从0到1能力的存储架构大拿更是凤毛麟角。