英伟达推出采用H200 的新计算平台

英伟达宣布推出一款名为 Nvidia HGX H200 的全新人工智能计算平台,该平台是公司 Nvidia Hopper 架构的增强版本,由其最新的 GPU 产品 Nvidia H200 Tensor Core提供支持。
硬件设备 英伟达 GPU
2023-11-17 18:29:01  |   作者:开源爱好者  |   来源:

英伟达推出采用H200 的新计算平台

英伟达宣布推出一款名为 Nvidia HGX H200 的全新人工智能计算平台,该平台是公司 Nvidia Hopper 架构的增强版本,由其最新的 GPU 产品 Nvidia H200 Tensor Core提供支持。
硬件设备 英伟达 GPU
2023-11-17 18:29:01
作者:开源爱好者
来源:

图片3.jpg

英伟达宣布推出一款名为 Nvidia HGX H200 的全新人工智能计算平台,该平台是公司 Nvidia Hopper 架构的增强版本,由其最新的 GPU 产品 Nvidia H200 Tensor Core提供支持。新型 Nvidia HGX H200 专用于支持训练生成式人工智能模型所需的高性能计算工作负载。

该公司还与 HPE 合作,提供基于 Nvidia Grace Hopper GH200 超级芯片的超级计算系统,专门用于生成式人工智能培训。

企业对人工智能的兴趣激增,推动了对处理生成式人工智能和高性能计算工作负载的 Nvidia GPU 的需求。其最新的 GPU Nvidia H200 是首款提供 HBM3e 的高带宽内存,比当前的 HBM3 快 50%,能够以每秒 4.8 TB 的速度提供 141GB 的内存,与前代产品 Nvidia A100 相比,容量增加了一倍,带宽增加了 2.4 倍。

Nvidia 创始人兼首席执行官黄仁勋表示,Nvidia 于今年 8 月发布首款 HBM3e 处理器,即GH200 Grace Hopper 超级芯片平台,以满足对生成式人工智能的激增需求。

该公司在一份声明中说,Nvidia H200 的推出将带来进一步的性能飞跃,与 H100 产品相比,新架构将使 Meta 的 700 亿参数 LLM Llama-2 的推理速度提高近一倍。

Nvidia公司超大规模和HPC副总裁Ian Buck在共同发布的声明中表示:“要通过生成式人工智能和HPC应用创造智能,必须使用大型、快速的GPU内存来高速、高效地处理海量数据。有了Nvidia H200,业界领先的端到端人工智能超级计算平台的速度更快了,可以解决一些世界上最重要的挑战。”

搭载H200的系统预计将于2024年第二季度开始出货,Nvidia H200 Tensor Core GPU可用于四路和八路配置的HGX H200服务器板卡。

Nvidia 表示,八路 HGX H200 可提供超过 32 petaflops 的 FP8 深度学习计算能力和 1.1TB 的聚合高带宽内存,为生成式 AI 和 HPC 应用提供最高性能。

Petaflop是一种衡量计算机性能的标准,每秒至少可以进行1千万亿次浮点运算。FP8是一种八位浮点格式规范,旨在方便硬件平台之间共享深度学习网络。

H200 可部署在任何类型的数据中心,包括本地、云、混合云和边缘,英伟达还将为客户提供 GH200 Grace Hopper 超级芯片平台。

Nvidia携手HPE 推出超级计算交钥匙系统

在透露英国的 Isambard-AI 超级计算机将采用 HPE 的 Cray EX 超级计算机技术并由 Nvidia GH200 Grace Hopper 超级芯片提供动力两周后,两家公司再次联手提供新的超级计算交钥匙系统,以支持生成式人工智能的开发。

新系统包括预配置和预测试的人工智能和机器学习软件,还包括液冷超级计算机、加速计算、网络、存储和服务。该解决方案基于与Isambard-AI相同的架构,将与HPE Cray超级计算技术集成,并由Nvidia Grace Hopper GH200超级芯片提供支持,使人工智能研究中心和大型企业能够将模型的训练速度提高2-3倍。

HPE 在新闻稿中表示:“这一解决方案共同为企业提供了大型人工智能工作负载,如大型语言模型(LLM)和深度学习推荐模型(DLRM)训练,所需的前所未有的规模和性能。”

该系统将于 12 月通过 HPE 在 30 多个国家推向市场。