AI算力不止GPU!高速互联芯片市场有望翻番
AI浪潮来袭,算力需求爆发。国内AI服务器厂商和各类芯片企业无不积极拥抱这场巨大变革。
“单个GPU已经无法跑Transformer、BERT、GPT这些大模型,需要几百个甚至上千个GPU连在一起才能跑起来。”国数集联创始人兼首席执行官巍骛在接受第一财经采访时称,目前内存容量快速增长,GPU性能呈指数级增长,但I/O(输入/输出)却没有跟上,成为AI算力提升瓶颈,导致GPU等未充分利用,造成资源浪费,业界正试图解决这一问题。
(资料图片)
中金公司也认为,除了依靠单个GPU性能升级外,还需要高速的芯片互联技术、系统互联技术作为支撑,从而提升GPU算力的可扩展性,形成强大的集群算力。
互联接口芯片市场预计增至250亿美元
随着AIGC浪潮兴起,AI服务器需求增长,服务器内部之间或与其他设备的数据传输、控制和管理等接口功能的要求也随之增加。
市场调研机构650 Group报告显示,从2022年到2027年,全球数据中心的互联接口芯片市场规模将翻番,达到250亿美元。主要的驱动力除了AI、机器学习 (ML),还包括数据分析、富媒体应用和其他高性能分布式计算,以及不断激增的边缘侧和物联网设备向云端传输数据、使用云端服务。
中金公司表示,在高性能服务器强增长的趋势下,内存接口芯片和PCIe接口芯片作为核心数据传输环节,有望加速升级迭代,量价齐升推动市场显著增长。
内存接口芯片是服务器内存模组的核心逻辑器件,其连接CPU和DRAM,集成在内存模组内,能够提升内存数据访问的速度及稳定性。美光预计到2025年,服务器DRAM需求相较2021年将实现2倍提升,而AI服务器DRAM容量将是普通服务器的8倍。
内存模组市场正在由DDR4世代向DDR5世代迭代升级。目前DDR5内存接口芯片的竞争格局与DDR4世代类似,全球由澜起科技(688008.SH)、瑞萨电子和Rambus三家供应商提供DDR5第一子代的量产产品。
其中,澜起科技2022年牵头制定DDR5第二子代、第三子代内存接口芯片及第一子代高带宽内存接口芯片MDB等产品的国际标准,并积极参与DDR5第一子代CKD和DDR5内存模组配套芯片标准制定。
PCIe是一种高速串行计算机扩展总线标准,可实现高速串行点对点双通道高带宽传输。PCIe产业链主要以IP(DPU、GPU)接口、PCIe Retimer/Redriver、PCIe Switch形态存在,以及各种PCIe Bridge(比如NVME控制器)。
PCIe Switch芯片兼具连接和交换功能,可以提供扩展能力,帮助CPU连接更多设备,实现PCIe设备互联。华安证券表示,AI服务器内日益增加的PCIe节点和复杂的网络架构需要更多PCIe Switch。市场调研机构Transparency预测,2027年PCIe Switch全球市场规模将达到92亿美元,2019-2027年复合增长率(CAGR)达15% 中金公司认为,在AI大算力需求下,PCIe Switch是数据中心低功耗、高性能解决方案核心一环。
由于技术壁垒极高,PCIe Switch芯片市场主要由博通、微芯科技和祥硕科技供应,中国大陆在该领域还是空白。不过,除了这些传统芯片厂商,AI行业巨头英伟达,硅谷新兴硬科技公司Astera Labs、Enfabrica以及中国大陆的国数集联等也都将加入这一近百亿美元的市场。据悉,Enfabrica创始团队主要来自博通、思科和谷歌,国数集联创始团队来自阿里和思科。
下一代芯片互联标准CXL或带来新的可能性
由于AI和高性能计算需求激增,为了突破传统PCIe带宽限制造成的通信瓶颈,英伟达首创NVLink + NVSwitch技术,为多GPU系统提供更加快速的系统内互联解决方案。
2016年,英伟达发布了搭载NVLink的第一款产品Pascal GP100 GPU。NVLink主要用于GPU与GPU之间以及GPU与CPU之间的信息传输。借助NVSwitch,NVLink连接可在节点间扩展以创建多节点GPU集群。通过NVLink + NVSwitch + InfiniBand和GPU,英伟达在高端的互联市场筑牢竞争壁垒,并牢牢掌握AI产业的话语权。
随着技术迭代升级,CXL(Compute Express Link)的出现让单一巨头强大的生态控制出现了裂痕,芯片厂商、服务器厂商有机会借此进入这一市场,提供扩展性更好、性价比更有优势、功耗更低的硬件产品。
CXL标准2019年初由英特尔公司牵头,多家国际知名公司共同推出,旨在提供CPU和专用加速器、高性能存储系统之间的高效、高速、低延时接口,以满足资源共享、内存池化和高效运算调度的需求。
作为下一代芯片互联的标准,CXL主要解决服务器内部芯片间高速互联问题。与二十年前PCIe总线标准发布创立模块化和分工明确的服务器和个人电脑产业一样,CXL标准的颁布将开创连接为中心的异构集群计算时代。
“传统的PCIe相当于高速公路,在上面走的是小轿车。随着PCIe标准逐渐升级迭代,路的通道从两车道到四车道到八车道。然而GPU算力越来越高,小车相当于变成了大卡车。为了更快地运输,CXL相当于在通道上铺了国际标准的铁轨,专门跑高铁(GPU、内存和其他高速芯片)。高铁越来越多,就需要引入红绿灯机制(Switch),防止相撞。如果红绿灯算法拥有城市大脑能力,交换效率就会很高。”巍骛对第一财经解释称。
与英伟达采用NVLink专有接口解决方案不同,CXL是行业共同推出的标准。基于这一“国标铁轨”,博通、微芯科技跃跃欲试,希望复制“高速公路”时期的成功。Astera Labs、Enfabrica以及国数集联也正利用CXL协议,基于传统PCIe技术构建下一代“红绿灯”调度系统。此外,澜起科技也是CXL联盟的成员单位之一。
关键词: