AI 设备供应商 NeuReality 宣布其 NR1-S 解决方案通过接管通常由 CPU 完成的工作，显著提高了基于 CPU 和 GPU 的系统的输出，降低了能耗，提高了能效。

该消息来自一篇博客，其中公布了多次测试的结果。NeuReality 将其 NR1-S 推理设备与高通 Cloud AI 100 Ultra 和 Pro 加速器配对，并与传统的以 CPU 为中心的、配备英伟达 H100 或 L40S GPU 卡的推理服务器进行了比较。与运行标准 AI 应用的以 CPU 为中心的标准系统相比，NR1-S 显著降低了成本，提高了能效。这些测试采用了现实世界中的场景，包括常用于医学成像、欺诈检测、客户呼叫中心、在线助手等领域的自然语言处理（NLP）、自动语音识别（ASR）和计算机视觉（CV）。

NeuReality 首席技术官 Iddo Kadim 表示，NR1-S 接管了系统中通常由 CPU 完成的工作，因为 CPU 的速度不足以处理 GPU 产生的所有数据移动。

“用 CPU 构建的系统根本无法支持和扩展系统中安装的加速器数量，”他说。“CPU 变成了数据移动机器，而不幸的是，CPU 是为了计算而构建的，而不是为了来回移动大量数据。CPU 架构成为瓶颈的原因有多个。”

该设备接管了 CPU 的工作，极大地提高了 GPU 的吞吐能力和可扩展性。这使得 GPU 能够比与 CPU 一起工作时运行得更快且利用率更高。当与高通 AI 100 Ultra 配对时，NR1-S 在各种 AI 数据类型（如图像、音频和文本）上节约90% 的成本。除了节省成本外，与传统以 CPU 为中心的系统相比，NR1-S 的能效提高了 15 倍。与传统的以 CPU 为中心的系统不同，NR1-S 可以确保集成 AI 加速器的 100% 利用率，而不会出现在当今依赖 CPU 的系统中可观察到的性能下降或延迟。

测试还测量了每瓦音频处理的能耗。在语音转文本测试中，NR1-S 使用与传统以 CPU 为中心的系统处理 0.7 秒音频相同的电量，能够转换 7 秒的音频。据 NeuReality 介绍，这意味着在使用的能量上，性能提高了 10 倍。另一项音频测试显示，NR1-S 将处理 100 万秒音频的成本从 43 美分降低到了仅 5 美分。

只要它们是基于 PCI Express 的，NR1-S 就可以与现有的加速器、GPU 或其他设备一起工作。该设备是一种异构计算设备，具有网络和数据移动优化功能，以及一些计算引擎，基本上可以接管 CPU 负责的功能。

该设备附带了一个 SDK，使其能够自动转换处理管道，从而实现了即插即用的部署，无需对硬件环境或软件环境进行任何修改。