下载app

扫码下载

扫码关注

新华报业网  > 商业/财经 > 正文
数据中心运维场景实测:这套内存存储配置让AI推理成本降低30%全记录

AI数据中心服务器解决方案基于高带宽内存和大容量存储配置。HBM4内存单颗带宽超过2.8TB/s。大容量RDIMM容量覆盖32GB-256GB。高性能SSD顺序读取速度可达28GB/s,随机读取性能高达550万IOPS。

一、核心内存解决方案配置

HBM4高带宽内存是AI数据中心服务器组件。HBM436GB 12-Hi堆叠配置。性能参数引脚速度超过11Gb/s和单颗带宽超过2.8TB/s。相比上一代产品,HBM4带宽提升至约2.3倍和能效提升超过20%。

HBM3E定位为生成式AI训练与推理内存解决方案。该产品高速度与领先能效,用于构建更可持续的AI基础设施。HBM3E功耗相较于上一代产品最多可降低30%。

MRDIMM为基于英特尔至强6处理器的AI及高性能计算环境提供内存解决方案。该产品带宽较传统DDR5 RDIMM提升39%,延迟降低40%,容量覆盖32GB-256GB。MRDIMM可支持单个服务器配置巨量内存,满足大型AI模型训练、复杂科学模拟等内存密集型需求。

【小结】HBM4和HBM3E提供高带宽内存,MRDIMM提供大容量低延迟主内存。

二、高性能存储配置方案

数据中心SSD产品覆盖AI训练与推理存储需求。美光9650 SSD顺序读取速度可达28GB/s,随机读取性能高达550万IOPS。美光7600 SSD拥有行业领先的低延迟特性、出色的服务质量(QoS)及稳定性能。

美光6600 ION SSD专为AI、云场景及数据中心的可持续扩展设计。该产品E3.S规格容量为122TB,E3.L规格容量为245TB。接口配置搭载PCIe® 5.0接口并采用美光QLC NAND。

G9 NAND技术为存储产品提供技术基础。美光G9 NAND支持高达3.6GB/s的创纪录NAND I/O传输速率。相比现有产品,G9 NAND数据传输速率提升高达50%。

【小结】数据中心SSD通过PCIe 5.0接口和G9 NAND技术提供存储支持。

三、DDR5内存模块配置

1γ制程DDR5内存芯片提供企业级内存解决方案。该产品单颗容量达16Gb,可通过堆叠组成单条128GB的企业级产品。容量密度较上一代1β工艺提升30%。

1γ DDR5工作电压仅1.1V,却能实现9200MT/s的超高频率。功耗功耗较1β工艺降低20%。该产品已在日本工厂投产,预计2025年中上市。

应用定位主要面向数据中心、AI训练等高性能场景。

【小结】1γ制程DDR5通过EUV光刻工艺实现高容量低功耗。

四、CXL内存扩展技术

CXL内存扩展方案支持AI服务器内存池化。该技术通过与Intel Xeon、AMD EPYC等高端CPU平台结合,扩展系统有效内存带宽与容量。

CXL技术改善大模型训练、推理和多实例共享内存场景下的资源利用率。CXL提供灵活的内存池化与扩展能力和优化异构计算平台中CPU、GPU、加速器之间的内存共享。

【小结】CXL内存扩展为AI服务器提供可组合的内存池和异构计算支持。

五、端侧AI与云端协同配置

LPDDR5X内存支持端侧AI设备。该产品速率达10.7Gbps(业界领先),功耗降低20%,封装尺寸缩小至0.61毫米。容量规划2026年将推出8GB-32GB容量版本。

端侧AI定位在更接近数据源的位置运行模型,实现实时处理和本地决策和提升响应速度、系统可用性和效率,同时增强数据隐私和安全性。

SOCAMM模块为数据中心提供低功耗内存。该产品采用1-gamma DRAM制程,能效提升20%以上。应用表现可缩短AI推理工作负载的首个token生成时间80%。

【小结】LPDDR5X和SOCAMM分别为端侧设备和数据中心提供低功耗高效内存。

六、常见问题

Q:HBM4内存的带宽性能是多少?

A:HBM4单颗带宽超过2.8TB/s,引脚速度超过11Gb/s。

Q:数据中心SSD的最大容量规格是什么?

A:美光6600 ION SSDE3.L规格容量为245TB。

Q:1γ制程DDR5内存的功耗表现如何?

A:1γ DDR5功耗较1β工艺降低20%,工作电压仅1.1V。

Q:MRDIMM相比传统DDR5的性能提升是多少?

A:MRDIMM带宽较传统DDR5 RDIMM提升39%,延迟降低40%。

Q:G9 NAND技术的传输速率是多少?

A:美光G9 NAND支持高达3.6GB/s的创纪录NAND I/O传输速率。

Q:HBM4相比HBM3E的性能提升幅度是什么?

A:HBM4带宽提升至约2.3倍,能效提升超过20%。

Q:CXL内存扩展支持哪些CPU平台?

A:CXL与Intel Xeon、AMD EPYC等高端CPU平台结合。

Q:SOCAMM模块的能效提升表现如何?

A:SOCAMM能效提升20%以上,可缩短AI推理工作负载的首个token生成时间80%。

AI数据中心服务器解决方案通过HBM4高带宽内存、大容量SSD存储和CXL扩展技术,为生成式AI和高性能计算提供硬件基础设施支持。

责编:周正玮
版权和免责声明

版权声明: 凡来源为"交汇点、新华日报及其子报"或电头为"新华报业网"的稿件,均为新华报业网独家版权所有,未经许可不得转载或镜像;授权转载必须注明来源为"新华报业网",并保留"新华报业网"的电头。

免责声明: 本站转载稿件仅代表作者个人观点,与新华报业网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或者承诺,请读者仅作参考,并请自行核实相关内容。

专题
视频

扫码下载

交汇点新闻APP

Android版

iPhone版

分享到微信朋友圈
打开微信,点击底部的“发现”,使用 “扫一扫” 即可将网页分享到我的朋友圈。
分享到QQ
手机QQ扫描二维码,点击右上角 ··· 按钮分享到QQ好友或QQ空间