微软开源的DeepSpeed Chat，让开发者实现了人手一个ChatGPT的梦想！

人手一个ChatGPT的梦想，就要实现了？

刚刚，微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架——DeepSpeed Chat。

也就是说，各种规模的高质量类ChatGPT模型，现在都唾手可得了！

一键解锁千亿级ChatGPT，轻松省钱15倍。

众所周知，由于OpenAI太不Open，开源社区为了让更多人能用上类ChatGPT模型，相继推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等模型。

但由于缺乏一个支持端到端的RLHF规模化系统，目前类ChatGPT模型的训练仍然十分困难。而DeepSpeed Chat的出现，正好补全了这个「bug」。

更亮的是，DeepSpeed Chat把成本大大地打了下来。

此前，昂贵的多GPU设置超出了许多研究者的能力范围，并且，即使能访问多GPU集群，现有的方法也无力负担数千亿参数ChatGPT模型的训练。

现在，只要花1620美元，就可以通过混合引擎DeepSpeed-HE，在2.1天内训练一个OPT-66B模型。

而如果使用多节点、多GPU系统，DeepSpeed-HE可以花320美元，在1.25小时内训练一个OPT-13B模型，花5120美元，就能在不到一天的时间内训练一个OPT-175B模型。

前Meta AI专家Elvis激动转发，称这是一件大事，并表示好奇DeepSpeed Chat和ColossalChat相比起来如何。

下面，我们就来看看效果如何。

经过DeepSpeed-Chat的训练，13亿参数版「ChatGPT」在问答环节上的表现非常亮眼。不仅能get到问题的上下文关系，而且给出的答案也有模有样。

在多轮对话中，这个13亿参数版「ChatGPT」所展示出的性能，也完全超越了这个规模的固有印象。

DeepSpeed Chat是一种通用系统框架，能够实现类似ChatGPT模型的端到端RLHF训练，从而帮助我们生成自己的高质量类ChatGPT模型。

DeepSpeed Chat具有以下三大核心功能：

1. 简化ChatGPT类型模型的训练和强化推理体验

开发者只需一个脚本，就能实现多个训练步骤，并且在完成后还可以利用推理API进行对话式交互测试。

2. DeepSpeed-RLHF模块

DeepSpeed-RLHF复刻了InstructGPT论文中的训练模式，并提供了数据抽象和混合功能，支持开发者使用多个不同来源的数据源进行训练。

3. DeepSpeed-RLHF系统

团队将DeepSpeed的训练（training engine）和推理能力（inference engine) 整合成了一个统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中，用于RLHF训练。由于，DeepSpeed-HE能够无缝地在推理和训练模式之间切换，因此可以利用来自DeepSpeed-Inference的各种优化。

DeepSpeed-RLHF系统在大规模训练中具有无与伦比的效率，使复杂的RLHF训练变得快速、经济并且易于大规模推广：

高效且经济：

DeepSpeed-HE比现有系统快15倍以上，使RLHF训练快速且经济实惠。

例如，DeepSpeed-HE在Azure云上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个OPT-30B模型。这两种训练分别花费不到300美元和600美元。

卓越的扩展性：

DeepSpeed-HE能够支持训练拥有数千亿参数的模型，并在多节点多GPU系统上展现出卓越的扩展性。

因此，即使是一个拥有130亿参数的模型，也只需1.25小时就能完成训练。而对于拥有1750 亿参数的模型，使用DeepSpeed-HE进行训练也只需不到一天的时间。

实现RLHF训练的普及化：

仅凭单个GPU，DeepSpeed-HE就能支持训练超过130亿参数的模型。这使得那些无法使用多GPU系统的数据科学家和研究者不仅能够轻松创建轻量级的RLHF模型，还能创建大型且功能强大的模型，以应对不同的使用场景。