近日，VMware与Nvidia宣布合作推出VMware Private AI Foundation with Nvidia平台，这将使企业能够在自己的数据中心、边缘设备和云基础设施上定制模型并运行生成式AI工作负载。 

如今，试图部署生成式人工智能的公司普遍面临一个重大问题：如果他们使用像OpenAI这样的商业平台，他们必须将数据发送到云端，这可能与合规要求相冲突，而且成本高昂。如果他们下载并在本地运行像Llama 2这样的模型，他们需要了解如何对其进行微调（Fine-tune）、如何设置向量数据库以提供实时数据，以及如何操作它。

VMware与英伟达的新合作旨在通过提供一个全集成、随时可用的生成式人工智能平台来解决这些问题，企业可以在本地、托管设施或私有云上运行该平台。这就是VMware Private AI Foundation with Nvidia，该平台将包括Llama 2或其他大型语言模型，还包括向LLM提供企业最新信息的向量数据库。

VMware Private AI Foundation with Nvidia平台将采用Nvidia的生成式人工智能软件和加速计算，基于VMware Cloud Foundation进行构建，并针对人工智能应用进行优化。

对这样一个平台的需求是巨大的。Lucidworks本月发布的全球生成式人工智能基准研究显示，参与人工智能决策过程的高管和经理中，96%的人优先考虑生成式人工智能投资，93%的公司计划在未来一年增加人工智能支出。

但风险管理也是大家关心的一个严重的问题。在毕马威(KPMG)最近的一项调查中，77%的受访首席执行官表示，不确定和不断变化的监管环境严重影响了生成式人工智能的投资决策。毕马威(KPMG)报告称，过去几个月，有效风险管理的优先级全面提高，其中保护个人数据和隐私的优先级最高，占63%，其次是网络安全，占62%。如果是在本地或者在其他企业控制的环境中运行大型语言模型，则可显著减轻对这些问题的担心。

研究公司Omdia的人工智能平台、分析和数据管理首席分析师Bradley Shimmin表示：对于那些被禁止使用公共托管模型的公司来说，如果能在本地运行大语言模型，可以为他们打开多扇大门，即使他们是运行在托管的虚拟公有云上，这对于金融等受到严格监管的行业和政府用户尤为重要。另外，本地运行大语言模型还可以解决数据驻留的问题。

“能够在一个完全隔离的系统中运行最先进的模型是非常吸引人的，它让模型贴近数据，数据重力正在引领整个行业的发展。”Shimmin说。

如果本地运行的模型也是免费和开源的，那么用户将不必再为OpenAI API调用而付费，这将为其节省大量成本。IBM咨询公司全球人工智能和分析主管Manish Goyal对平台的评价是:“延迟更低，成本更低，而且用户对它有更多的控制。”

VMware的新产品正是要顺应这一潮流。在近日的VMware Explore 2023大会上，Nvidia和VMware展示了企业如何使用他们的工具下载免费的开源LLMs、如何定制，并在VMware环境中部署生产级的生成式AI。

据悉，VMware Private AI Foundation with Nvidia平台将于明年年初正式推出。