为了Grok,马斯克的 xAI 准备建造超级计算机

马斯克的 xAI 公司最近宣布完成 60 亿美元 B 轮融资,部分资金将用于构建超级计算机。
2024-05-30 16:53:25  |   作者:开源爱好者  |   来源:

为了Grok,马斯克的 xAI 准备建造超级计算机

马斯克的 xAI 公司最近宣布完成 60 亿美元 B 轮融资,部分资金将用于构建超级计算机。
2024-05-30 16:53:25
作者:开源爱好者
来源:

据 The Information 报道,埃隆·马斯克的人工智能初创公司 xAI 正计划建造一台超级计算机,专门为其人工智能聊天机器人 Grok 提供动力。

马斯克希望这台超级计算机能在2025年秋季投入使用,并“将对按时交付超级计算机负责”。

图片2.jpg

据报道,这台拟议中的超级计算机将使用10万个英伟达H100 GPU,比目前最大的GPU集群至少大四倍,例如Meta公司用来训练其人工智能模型的GPU集群。这种巨大的算力是训练和运行不断迭代的 Grok 大模型所必需的。

报道还补充说,马斯克的公司正与甲骨文公司合作建造这台超级计算机。

目前,该公司并未对此类询问进行答复。

报道中的超级计算机项目与 xAI 最近宣布的 60 亿美元 B 轮融资不谋而合。

该公司在一份声明中表示:”xAI 很高兴地宣布我们的 B 轮融资达到 60 亿美元,主要投资者包括 Valor Equity Partners、Vy Capital、Andreessen Horowitz、红杉资本、Fidelity Management & Research Company、Prince Alwaleed Bin Talal 和 Kingdom Holding 等。“

声明补充说,本轮融资的资金用于将xAI的首批产品推向市场、建设先进的基础设施以及加速未来技术的研发。xAI还表示,“它将在未来几个月内继续沿着这条陡峭的轨迹前进,并很快就会宣布多项激动人心的技术更新和产品。”

这笔资金有望推动xAI的产品开发、基础设施的升级和未来的人工智能研究。

Grok对超级计算能力的需求

受《银河系漫游指南》的启发,xAI于2023年11月推出了Grok,声称它“不仅仅是一个传统的聊天机器人”。它努力以信息丰富甚至诙谐的方式回答用户的询问,同时还向用户提示他们可能没有考虑过的相关问题。

然而,随着Grok的迭代计算要求也急剧增加,如具有长语境理解功能的Grok 1.5和具有视觉信息处理功能的Grok 1.5V。报告补充说,训练Grok 2模型需要2万个Nvidia H100 GPU,而Grok 3及以后版本则需要10万个Nvidia H100 GPU。

计算需求的超常增长需要超级计算机的支持。目前,HPC的领跑者包括Frontier(美国)、Aurora(美国)、Eagle(美国)和 Fugaku(日本)。虽然 xAI 计划中的超级计算机的具体配置尚不得而知,但如果 xAI 的超级计算机能满足上述要求,它将属于超级计算机范畴,并有可能挑战现有HPC的主导地位。