生成式人工智能在企业应用的早期阶段以实验为主：构建模型、搭建演示系统以验证用例，以及进行测试以确定新工具是否能够执行有效工作。Akamai 的 Joseph Glover 表示，下一阶段需要考虑并应对将人工智能部署到边缘环境所面临的限制，在这些环境中，延迟、弹性、安全性和数据位置将成为决定性因素。
Akamai 的现场首席技术官 Joseph 将在下周于圣何塞麦克恩利会议中心举行的边缘计算博览会上深入探讨这一领域。他的演讲“从 AI 工厂到边缘：构建分布式推理架构以释放企业投资回报率”（5 月 18 日，星期一）将着眼于许多组织仍在混淆的 AI 的两个要素：训练和推理，以及它们如何对支持基础设施提出不同的要求。
GPU集群和集中式云架构对于训练大型模型仍然至关重要，Glover认为这项工作应该继续在云端进行。问题在于，模型训练完成后，当它需要在生产环境中为用户、应用程序、代理、工厂、零售系统或媒体工作流程提供服务时，应该如何处理。
现实生活中的洗礼
约瑟夫在活动前的一次独家采访中告诉我们，人工智能在实际应用中的表现与实验室演示截然不同。应用程序可能需要快速、低延迟的响应，或者智能体可能需要在完成任务前调用多个工具。多模态平台（视频、音频、文本输入）可能只是价值数百万美元的工作流程中的一个环节。此外，对于在多个地点运营的企业而言，一个地点的临时故障不会导致其他所有地点的运营流程中断。
对于 Glover 来说，这意味着企业不应该将推理视为模型托管在哪里的问题，而应该将智能部署在哪里才能最好地确保业务流程在任何地方都能正常运行的问题。
他告诉我们，这是一个分布式系统问题。在生产环境中进行推理意味着企业需要在同一讨论中考虑路由、可观测性、GPU 利用率、安全性、弹性、故障转移和成本控制等问题。
他说：“成功的组织会将推理功能融入到应用程序架构的设计中，他们不会仅仅问‘我可以在哪里运行这个模型？’，而是会问‘这种智能应该存在于哪里，才能使业务流程真正更好地运作？’”
例如，选定的集中式工厂可以训练模型，但日常决策通常在其他地点进行。决策可能需要在零售点、媒体工作流程中或工厂内做出，因为响应时间会对运营产生影响。
借鉴历史经验
Akamai 的历史使其在边缘人工智能的讨论中占据着特殊的地位。毕竟，它数十年来致力于解决分布式基础设施问题，并为互联网提供了最知名的数据分发和故障转移系统之一。Akamai 赖以建立业务的许多经验教训在边缘计算和工业物联网 (IIoT) 领域同样适用：例如，如何在全球范围内优化流量路由、执行策略以及维护性能。他表示，人工智能推理是这一熟悉问题的新版本。
“分布式推理将智能应用到实际发生业务的关键时刻，”他说道。“这就是我们今天带给业界的。”
三十年前，正是连接性和可靠的路由使互联网从静态信息源转变为如今充满活力的力量。经验教训依然适用——拥有工具固然重要，但如果无法为企业创造价值，那么任何好处都将付之东流。
因此，Glover 的主题演讲将聚焦于工作负载部署；但这并无硬性规定。有些工作需要集中部署，有些则必须更靠近用户、数据或机器。大规模生产环境的 AI 部署需要集中式云、分布式云、GPU、容器、边缘路由和编排等多种技术的组合。正确的架构设计取决于具体的工作负载，而不是基于对云或边缘的一般偏好，或者二者之间的特定比例。
他说：“我们的目标不是争论所有数据最终都会迁移到边缘还是全部留在云端。更重要的是，我们要讨论工作负载的部署位置以及围绕这一点需要考虑的所有问题。”
边缘智能体人工智能
这一点对于智能体人工智能尤为重要。在以机器为中心的工作流程中，基础设施需要支持那些能够执行操作、调用工具、检索数据并在产生最终结果之前做出多个中间决策的系统。这些工作流程本身会造成新的延迟，并带来自身的成本。此外，由于请求和响应之间的路径并非确定性的代码调用，因此它们也对可观测性和控制提出了更高的要求。
数据主权增添了另一层含义，在中东和欧洲等地区尤为重要。不同司法管辖区、行业和具体政策的要求各不相同。对于全球任何受监管行业的企业或公共部门而言，数据和计算资源的所在地都可能成为架构设计的决定性因素。
约瑟夫还指出，即使在同一国家甚至同一县内，不同地点之间也存在差异。例如，偏远地区的设施可能无法达到与人口密集的都市区相同的性能。“毕竟，速度不可能超过光速，”他说道。由于不同地点之间的延迟和网络速度差异，所有工作都必须从当地业务预期和可承受的风险水平出发，并且要考虑到每次部署（有时相距仅几英里）的结果未必相同。
格洛弗并非主张将人工智能迁移到边缘，也并非否定集中式人工智能计算和资源。Akamai 的观点是，传统物联网环境中的企业级人工智能需要更精心设计的架构，训练、微调、后训练和推理等环节应根据工作负载的需求进行合理安排。
他将这种一丝不苟的态度称为“计算连续体”。在任何合理的规模下，应用程序、用户、工厂和设备都是分布式的，而构建的架构必须反映这种分布。
对于边缘计算博览会的与会者来说，最实际的收获是：随着人工智能部署从训练模型转向大规模生产环境中实现真正的投资回报率，地理位置的重要性正在超过电力。格洛弗希望企业领导者能够更深入地思考生产环境中实时人工智能的基础设施。
规划方面的考量固然不如最新本地部署模式的强大功能那样引人注目，但它们却更贴近大型企业的实际运营。在性能、成本和弹性方面，这些因素对业务的影响可能更为显著。
