用心打造
VPS知识分享网站

SambaNova和英特尔的异构x86 AI架构

据新闻稿称,SambaNova 和 Intel 扩展了合作,推出了一种异构硬件解决方案,该方案“结合了用于预填充的 GPU、作为主机和‘操作’CPU 的 Intel Xeon 6 处理器以及用于解码的 SambaNova RDU(可重配置数据流单元)”。

SambaNova和英特尔的异构x86 AI架构

通过为每个步骤分配合适的硬件,这些公司声称能够提供更高质量、更快的 AI 响应,足以应对大规模的代理工作负载。

SambaNova Systems 首席执行官兼联合创始人 Rodrigo Liang 表示:“智能体 AI 正在走向生产环境——我们看到的成功模式是:使用 GPU 启动任务,使用 Intel Xeon 6 处理器运行任务,最后使用 SambaNova RDU 快速完成任务。我们与 Intel 携手,为客户提供了一套可部署在现有风冷数据中心的蓝图,并支持他们目前使用的编码代理和工具的 x86 架构。”

英特尔数据中心事业部执行副总裁兼总经理凯沃尔克·凯奇奇安表示,未来的工作负载将“需要异构计算的组合。数据中心软件生态系统构建于 x86 架构之上,并运行在至强处理器上。”

人工智能基础设施初创公司 RadixArk 的联合创始人兼首席技术官朱邦华表示:“生产推理正在向异构硬件发展——没有一种芯片类型能够完美适用于智能体工作流程的每个阶段。”

该架构由两家公司联合设计,基于英特尔至强6处理器和SambaNova RDU。SambaNova第五代AI推理处理器SN50 RDU旨在“革新推理的代币经济”,实现“大型语言模型的高吞吐量、低延迟解码”,该公司表示。至强6芯片则提供内存带宽、片上加速器和PCIe通道密度。

SambaNova 的测试发现,英特尔至强 6 处理器的性能比基于 Arm 的服务器 CPU 快 50%,并且在向量数据库操作中性能提升高达 70%。

Xeon 6 作为主机 CPU 和系统控制平面,负责管理代理任务协调、工具和 API 执行、系统级行为以及工作负载分配。它还负责收集和执行代码,并确认所提议的操作是否可信。

目前仅使用GPU的架构需要专用数据中心、液冷系统和定制电源基础设施。这些设施会产生大量热量并消耗巨额电力。相比之下,SambaNova和英特尔的解决方案可以在“标准”数据中心运行,无需升级基础设施。

赞(0)
未经允许不得转载;国外VPS测评网 » SambaNova和英特尔的异构x86 AI架构
分享到