英特尔发布Gaudi 3加速器,能效比英伟达H100 芯片高40%

在Intel Vision 2024 活动上,英特尔发布了 Gaudi 3 以及 AI 优化的以太网网络设备,包括 AI 网络接口卡和 AI 连接芯片。
2024-04-11 16:52:14  |   作者:开源爱好者  |   来源:

英特尔发布Gaudi 3加速器,能效比英伟达H100 芯片高40%

在Intel Vision 2024 活动上,英特尔发布了 Gaudi 3 以及 AI 优化的以太网网络设备,包括 AI 网络接口卡和 AI 连接芯片。
2024-04-11 16:52:14
作者:开源爱好者
来源:

图片1.jpg

英特尔 CEO Pat Gelsinger在英特尔视觉活动上发布 Gaudi 3

 

英特尔正在加大力度将人工智能融入企业边缘和数据中心网络、服务器以及其他设备中。在Intel Vision 2024 活动上,这家芯片巨头宣布了基于即将发布的超以太网联盟(UEC)规范的以太网网卡(NIC)、高性能的Xeon 6 处理器以及 Gaudi 3 AI 加速器。Gaudi 3 AI 加速器可以处理大规模生成式 AI 环境中的 AI 训练和推理工作负载。

“我们的最终目标是提供从 API 到企业物联网和边缘到数据中心的 AI 系统,并让企业更容易采用和有效使用 AI。”英特尔网络和边缘部门高级副总裁兼总经理Sachin Katti表示。

Katti说,英特尔准备了一系列基于以太网的 AI 网卡 和 AI 连接芯片,用于集成到 XPU、基于 Gaudi 的加速器系统以及一系列软硬一体的 AI 互连设计中,用于英特尔工厂。

基于以太网的系统将遵循 UEC 开放网络结构标准,该标准将于今年晚些时候发布。英特尔是 UEC 的发起者之一,现在已有超过 50 家供应商加入其中,他们正在开发旨在提高以太网的网络规模、稳定性和可靠性的技术,以满足 AI 对高性能网络的需求。UEC 规范将重点关注各种可扩展以太网改进,包括更好的多路径和数据包传输选项,以及最新的拥塞和遥测功能。

除了 UEC 支持外,英特尔还宣布了与 SAP、红帽、VMware 等公司共同创建一个开放平台,以加速企业安全生成式 AI 系统的部署。Katti表示,这一想法旨在确保企业在构建 AI 系统时拥有开放、基于标准的网络连接,从而能够大规模安全地部署 AI 模型。

英特尔还推出了 Xeon 6 处理器,据称该处理器将非常节能,并为企业提供支持 AI 训练和诸如检索增强生成(RAG)等能力的动力,RAG 用于从外部知识库和大语言模型中检索数据并生成所需内容。

英特尔表示,与第二代英特尔 Xeon 处理器相比,Xeon 6 处理器提供了 4 倍的性能提升和近 3 倍的机架密度提升。

针对英伟达以及大型 AI 处理需求,英特尔宣布了 Gaudi 3 AI 加速器芯片,据称该芯片的平均能效比英伟达同类芯片H100芯片高出 40%。

英特尔表示:“通过以太网通用标准最多可以实现数万个Gaudi 3 AI 加速器互联,为 AI 系统提供动力。”例如,每个英特尔 Gaudi 3 加速器都集成了 24 个 200 千兆以太网端口,提供灵活且符合开放标准的网络连接。

英特尔表示,与上一代产品 Gaudi 2 相比,Gaudi 3 承诺提供 4 倍的 AI 计算能力和 1.5 倍的内存带宽增长,以支持大型计算集群的高效扩展,并消除专有网络结构中的供应商锁定问题。

英特尔 Gaudi 3 加速器将于 2024 年第二季度以通用基板(Universal Baseboard)和开放加速器模块(OAM)的行业标准配置提供给OEM。戴尔、HPC、联想和 Supermicro 等供应商将在服务器和其他硬件中开始使用 Gaudi 3。英特尔 Gaudi 3 加速器的全面上市时间为 2024 年第三季度。