PCIe 5 - 数据中心的“5G新标准”将带来存储基础设施哪些变化

PCIE5存储时代关键趋势：EDSSF、QLC、SCM、CXL、云定义存储

数据中心通讯的“5G新标准”

根据IDC数据显示，到2025年，全球数据圈总量将激增至175ZB，而根据二八法则，到2025年全球数据圈中将有35ZB的高价值热数据，会一刻不停的处于运转状态中，能否支撑起这些海量最热化的高价值数据，将决定了全球数字经济的发展效率。

在5G、元宇宙、高频线上交易等低延时海量实时数据处场景的背后是以服务器、网络、存储等ICT 设备不间断管理和运营的基础设施。而PCIe 5.0正是数据中心高频海量低延时海量实时数据通讯的新标准。

PCI-SIG此前给出PCIe的带宽增长趋势。2020-2021期间，PCIe4.0-5.0作为PCIe3.0的更新版本陆续出现并量产。在从 PCIe 4.0 到 PCIe 5.0 的过渡中，速度翻倍、向后兼容和加速发布周期是构建实施策略的三个基本支柱。

数据中心的核心包括网络通信(网卡等)、计算(CPU)与存储(SSD与HDD)。

在网络层面，目前在网络IO已有400G的解决方案，然而自PCIe 5.0 标准2019年发布至今，仍未得以大规模商用推广，关键为缺乏PCIe 5.0 CPU及存储硬件方案生态，尤其是以PCIe 5.0 CPU为核心的服务器平台。

数据中心CPU行业龙头AMD及Intel都计划将于2022年下半年发布支持PCIe 5.0的Sapphire Rapids和Zen4服务器级别主控平台，预计2023年，其他CPU厂商将陆续跟随，2023年下半年PCIe5的服务器应用将开始逐步成为主流。

PCIe 5.0时代的数据中心存储基础设施-SSD

PCIe 5.0.0对于存储与计算之间的意义是，算得快需要存得及时，才可以真正满足海量实时数据处理/存储的需求。与现在的PCIe 4.0相比，PCIe 5.0单通道速率翻倍到了32GT/s，大约是4GB/s，SSD硬盘主控通常是PCIe 5.0 x4，速度理论上可达16GB/s，相比现在的PCIe 4.0硬盘提升一倍。固态硬盘是否支持PCIe 5.0，与SSD主控芯片及固件直接相关。

SSD(固态硬盘)通过SSD 主控PCIe接口将I/O命令和响应映射到主机的共享内存，支持多核CPU处理器并行I/O，以促进高吞吐量，缓解CPU的压力。同时，利用并行数据路径，在加速方面提供更好的性能，通过与PCIe接口的结合，使得数据通过NVMe协议直接与CPU相连，从而达到低延时性。

全球最早发布PCIe 5.0 SSD主控方案为2021年5月末发布的Marvell Bravera SC5，最高 14 GB/s 的传输速度，高达 200 万 IOPS 的随机性能。官方表示，SC5 系列主控可以满足云数据中心的需求，为实时应用实现超低延迟运行。2021年12月，三星宣布成功研发新一代用于企业服务器的PM1743固态硬盘，采用最新的PCIe 5.0接口和三星第六代V-NAND闪存技术，PM1743的顺序读写速度达到13GB/s，随机读取速度达到2500K IOPS，铠侠最近也展示过PCIe 5.0硬盘的性能，下代硬盘的读取速度达到了14GB/s，写入也有7GB/s。

国内厂商亦纷纷发布PCIe 5.0 SSD主控方案，包括江苏华存、英韧科技、库瀚科技等，其中库瀚科技发布的Aurora为全球首款基于RISC-V架构的PCIe 5.0企业级SSD主控。从各家发布信息汇总整理来看，可见以下行业发展趋势：

PCIe 5.0 SSD 企业级将先于消费级实现大规模商用

SSD业内人士的看法认为，目前消费级SSD还在处于PCIe 3.0向PCIe 4.0升级的阶段，PCIe 5.0普及要晚上一两年到，要到2024年才会在消费级市场上出货。而在企业级高性能场景可承受新技术标准相对较高的基础设施成本，PCIe 5.0 企业级SSD有望2023年开始得以全面应用普及。

目前，英特尔、三星、库瀚科技、英韧科技等，明确已发布的PCIe5 SSD主控是面向企业级服务器场景，而群联的PCIe5方案从发布信息来看，应主要聚焦高端消费级SSD市场。

无论消费级还是企业级，从各家发布的测试数据来看，标称性能几乎都可接近14GB/s的读写速度，但这是由PCIe 5.0的通讯标准决定的，单从最高性能上，并不能完全体现各家产品性能优劣。企业级与消费级最大的分别在于，需要更复杂的主控系统架构实现在企业级高性能荷载场景下(如触发垃圾回收策略等)能保证高稳态的性能。

目前各家发布的产品都未见商业化供应，未见PCIe 5.0 企业级SSD相关稳态性能数据的第三方测试数据，在库瀚Aurora主控的相关发布信息上，有透露了部分PCIe4平台测试场景下数据，其稳态性能已可实现500K IOPS，这对目前主流的PCIe4 SSD而言，已有25%以上的性能提升。

大容量密度存储时代到临，GB/W将大幅降低

PCIE 5.0时代传统U.2/AIC 规格的SSD已无法满足技术需求，要实现大容量、更低的每GB能耗以及TCO，必须在硬盘规格上进行创新设计。EDSFF工业界新标准的推动，将带来存储基础设施物理形态重构。从各家发布的方案来看，无论是头部企业三星、铠侠，还是国内方案厂商英韧、库瀚，都明确表示将支持EDSSF规格高密度SSD设计。随着PCIe 5.0 SSD主控的普及，单盘容量将从U.2规格主流的4/8TB，跃升到EDSFF可支持的16/32 TB。

在PCIe 4.0阶段之所以服务器OEM厂商仍青睐U.2，主要就是机箱的驱动器槽位、连接器部分能够与2.5英寸SATA、SAS乃至HDD机械盘兼容。但Hyperscale大型互联网和云服务提供商相对没有这个包袱，针对应用划分出的全闪存服务器机型早前已经试水E1.S。而最终过渡到PCIe 5.0.0的时候，U.2和M.2电气上较难达到相应技术要求。可预见到2U服务器可能会普遍采用E1.S/E3.S;用于服务器扩展的存储/JBOF使用E1.L。

PCIe 5.0时代将加速更低延时速度的存储介质SCM的商用

SCM(Storage Class Memory)内存级存储介质，是同时兼具内存的微秒级延时以及闪存的容量、掉电保护等方面优势的新型存储介质。存储硬件方案的延时核心由主控以及闪存介质的物理特性延时决定，PCIe5意味着更快的速率，更快的速率将推动更低延时的SCM存储介质的商用。

目前业内主要有三家国际厂商可提供相关商业化的SCM方案，包括英特尔傲腾、三星Z-NAND、铠侠XL-FLASH(XLF)。英特尔采取了极其封闭的市场策略，并不开放傲腾的SCM介质颗粒3D Xpiont(3DXP)，且其傲腾持久内存仅可在英特尔X86服务器主板上适配使用，而铠侠的XLF目前是秉承开放策略，可单独出售。

值得一提的是，英特尔在近日发布的2022年第二季度季报时，已正式宣布收缩并逐步关停傲腾业务，而秉承开放供应SCM颗粒策略的铠侠，在英特尔宣布关停傲腾业务的差不多时间正式发布了第二代XL-FLASH方案，第二代XLF在容量上大幅提升，伴随着PCIe5低延时时代的到临，XLF有望将成为市场主流的SCM SSD选择。目前发布的众多的PCIe5 SSD主控方案厂商来看，包括Marvell及国内的库瀚、英韧等，均明确其主控方案将支持XLF。

但XLF受物理特性局限，只可应用于超高性能的SCM SSD，而无法应用在目前已得以真正大规模商用的持久内存形态。SCM持久内存应用广于SCM硬盘，主要原因是SCM介质颗粒的定价在乎内存与闪存之间，SCM SSD硬盘相比于以TLC闪存为核心的企业级SSD成本劣势明显，且现有的PCIe3/4系统无法充分释放SCM SSD性能，但傲腾SCM持久内存形态因相比于内存具备成本及掉电保护等的优势，在高性能场景，已成为众多厂商的主流选择。

英特尔已投入多年培育起SCM持久内存的应用生态，在其宣布退出SCM持久内存市场后，相关头部介质、主控厂商将有望加速研发填补空白。国际上，SK海力士在其发布论文信息中显示了其XPOINT技术与英特尔3D XPoint技术具有强烈的相似性，是最有可能可应用在持久内存的介质;在国内，库瀚科技创始人为美国海力士存储解决方案公司CTO背景，但目前未知其发布的第一款PCIe5 主控方案是否可支持SCM持久内存设计。华中科大、中科院上海技术物理研究所等均有发布SCM介质研究的相关论文，目前产业化进展未知;从招聘信息可见，长江存储亦在招聘具备SCM主控经验的工程师，但也仍未见正式发布相关SCM产品。

PCIe 5.0时代的CXL技术将重塑数据中心基础设施

2019年3月，在InterconNECt Day 上，英特尔公布了服务于下一代高性能计算与数据中心的CXL(Compute Express Link)开放互连技术及其CXL 1.0规范。该技术建立在完善的PCIe 5.0的物理和电气实现上，因为无需通过专门设计的接口，简化了服务器硬件的设计难度，也消除了CPU与设备、CPU与存储之间的计算密集型工作负载的传输瓶颈，显著提升性能、整体成本也大大降低。

CXL为英特尔发起的行业技术标准，阿里巴巴、华为、谷歌、微软等均为CXL联盟会员。CXL技术推广也是英特尔的一种自我革命，传统以高成本、超高性能通用架构X86 CPU为唯一核心的数据存储基础设施格局可能将发生改变 - 虽然通用计算依然无法撼动X86 CPU的主导局面，但是不同的加速、专用系统级芯片将有望得以更快普及，超异构计算的XPU时代将加速到临。

CXL技术的引入将是一个改变行业架构的技术，它解绑了计算和内存，突破了内存带宽和容量的限制。CXL让系统可以用异构处理和内存进行扩展，所有设备都通过一致的机制来使用共享的内存空间。如此一来，未来可能会出现集群规模的内存层，一个可字节寻址的PB级存储池，而这个存储池，不一定必须依赖以通用CPU为单一核心。

国际存储厂商Marvell在今年五月宣布收购CXL技术公司Tanzanite信息可见，在 Marvell 的完整愿景中，XPU 上会有一些本地内存，而 PCIe 上的 CXLink将连接到内存模块它已在其上集成计算以执行专门的功能。Marvell 希望使用其定制处理器设计团队来帮助超大规模、云构建者和其他任何拥有合理容量的客户将计算放在内存上并将其链接到 XPU。在国内，库瀚科技基于RISC-V架构的存储基础设施芯片SPU(Storage ProCESsing Unit)，具有计算能力，可以进行压缩、加密、搜索或向量处理，它们将配备用于数据移动的DMA引擎，也可以使用诸如NVMe之类的PCIe服务。

PCIe 5.0时代的NVMe 2.0 ZNS技术将加速更低成本的QLC闪存商用

闪存介质颗粒根据每个单元存储的容量不同，可分为SLC、MLC、TLC、QLC等，SLC的存储容量最低，但是支持读写次数最多，使用寿命最长。QLC的存储容量最高，但是使用寿命最短，写入速度相对较慢。

对于用户来说，采用QLC首先有助于降低大容量闪存的成本，也有助于提高存储的密度，当QLC替代磁盘存储，也就减少了存储层级，架构得以简化。但目前QLC主要应用为消费级，在现PCIe 4.0阶段的企业级大规模热数据场景上，因QLC使用寿命短、写入速度慢等原因，仍无法挑战TLC在企业级存储上的主流地位地位。

伴随PCIe 5.0 时代到临的NVME2.0 ZNS技术为QLC的大规模商用提供了可行性，QLC比较适合顺序写、随机读和顺序读的场景，适合读取密集型场景。采用ZNS技术的中国电子云PCIe 5.0 CeaFlash平台已明确表示将对QLC提供支持。基于ZNS技术，通过系统层过软硬件融合设计，基于数据热度使用场景，实现数据智能放置分层，这将使得QLC可以应用在云存储和CDN等的核心场景。

云厂商自研或定制硬件的趋势将加速PCIe 5.0存储时代到临

正如5G的商用，离不开电信运营商。PCIe 5.0数据基础设施的普及，核心在于云厂商的应用推广。艾瑞咨询指出，企业级固态硬盘下游客户主要来自云计算，占总市场规模的份额达到67%，企业级SSD将充分受益云基础设施增量。

云存储的主要商业模式为出租虚拟存储资源，存储硬件SSD为云基础设施的主要成本支出，伴随PCIe 5.0标准而来的NVME 2.0 ZNS、CXL等新行业技术规范，使得掌握核心场景的云厂商，围绕自研系统架构自研软硬件融合的整体解决方案成为可能。而华为、浪潮等云厂商基础设施投资的主要供应商，亦通过软硬件融合创新，纷纷切入云服务市场与云厂商构成直接竞争，这也加速了相关头部云厂商采用最新技术自研或定制云定义存储方案的速度。

近日，中国电子云发布全球首个PCIe 5.0云定义固态存储解决方案CeaFlash，这是继亚马逊云发布Nitro SSD平台、阿里云发布AliFlash平台之后，最新宣布软硬件融合设计自研云定义全闪存储的云厂商，也是首家发布PCIe 5.0全闪存储技术平台的云厂商。

据IDC预测，中国将在2025年成为全球最大数据圈(48.6ZB)，未来全球云厂商的头部企业有望将诞生在中国。据Canalys测算，中国云市场的平均增长率达到60%，超过世界其他地区。中国在5G商业化普及上已经领先全球，随着国内云厂商的崛起，数字经济存储基础设施的“5G新标准”-PCIe 5.0的应用普及将有望在中国最早实现大规模商用推广，赋能中国数字新经济发展。