自主人工智能系统正逐渐走出软件环境,进入仓库、配送网络和公共空间。这一发展引发了人们的关注:现有的人工智能规则是否涵盖在物理环境中运行的系统?
现有的大多数人工智能治理框架都侧重于网络危害和模型输出,包括偏见、虚假信息和有害内容。而具身人工智能系统在物理环境中则存在风险,其故障可能影响基础设施、财产或人身安全。
新加坡资讯通信媒体发展局于5月20日发布了其人工智能代理治理框架1.5版。该框架为部署人工智能代理的组织提供了指导,这些代理可以规划、做出决策并在多个步骤中采取行动,以完成用户定义的目标。
该框架指出,代理可以与工具、外部系统和其他代理进行交互,包括更新数据库、写入文件、控制设备或执行交易的系统。它将访问控制、监控和人工审批列为部署治理措施。

人工智能进入物理系统
在上周于新加坡举行的人工智能峰会上,围绕机器人和具身人工智能的讨论主要集中在运营安全问题上,这些问题通常与航空、工业系统和关键基础设施监管相关,而不是传统的软件监管。
发言者还讨论了自主系统能否在不可预测的现实世界环境中长时间安全可靠地运行。
清华大学人工智能产业研究院创始院长张亚勤博士表示,具身人工智能系统会加剧自主软件本身存在的风险。他指出,一旦发生故障,可能会直接影响交通系统、无人机、物流网络和关键基础设施。
张在峰会间隙告诉MLex : “数字领域的任何风险都会在物理领域被放大,而物理领域也会产生物理后果。”
他还补充说,随着人工智能系统更深入地嵌入到物理操作中,车辆、无人机、智能电网和其他基础设施可能会面临风险。
与会者探讨了可靠性、运行监控和部署后保障等治理问题。峰会讨论指出,应构建基于部署的治理模型,该模型围绕仿真、遥测和迭代测试展开,而非仅仅依赖一次性认证。
新加坡资讯通信媒体发展局(IMDA)的框架还建议分阶段推广、持续监控,并在部署后进行进一步测试。该框架指出,代理程序会与其环境动态交互,并非所有风险都能在发布前预见。
监控成为一个部署问题
Grab公司正在新加坡榜鹅区试行自动驾驶汽车和送货机器人,该公司表示,部署管理很大程度上取决于模拟、测试和持续监控。
Grab 首席技术官 Suthen Thomas Paradatheth 在峰会的一个小组讨论会上表示:“我们进行了大量的模拟,在封闭场地和开放场地进行了大量的测试,以确保我们的机器人是可靠的。”
“在将规模扩大到数百个机器人之前,我们会确保先在模拟环境中用少量机器人进行测试并取得成功,”他补充道。
Grab 还指出,监控系统旨在跟踪机器人性能并在部署后检测意外故障。
“可能会出现一系列连锁问题,”帕拉达特斯说。
新加坡资讯通信媒体发展局(IMDA)的框架指出,机构应基于数据访问权限、外部系统访问权限、自主性和任务复杂性来评估智能体人工智能的应用案例。该框架还强调了智能体行为的范围和可逆性、第三方参与以及整体系统复杂性等因素。
报告还建议限制代理对工具和系统的访问权限,应用最小权限原则,并为代理工作流程制定标准操作规程。此外,组织还应建立机制,在代理出现故障时将其离线。
问责制涵盖更多参与者
MLex报告指出,具身人工智能系统可能涉及开发、制造和部署等多个环节,包括人工智能开发商、机器人制造商、半导体供应商和基础设施运营商。
MLex还指出,当系统在部署后通过软件更新、遥测和运行数据不断适应变化时,责任分配可能会变得更加困难。
新加坡资讯通信媒体发展局(IMDA)表示,即使智能体自主运行,组织和人员仍需对其行为负责。该框架要求在智能体人工智能价值链的各个环节明确责任,涵盖模型和平台提供商、部署者、工具提供商以及最终用户。
应用材料公司表示,大规模机器人部署也与半导体经济性和系统集成息息相关。该公司首席技术官奥姆·纳拉马苏表示,机器人系统将依赖于更先进的传感器、更高的能源效率、更先进的封装和计算架构。
纳拉马苏表示,机器人系统需要针对特定工业生态系统进行专门设计,而不是针对所有环境的单一解决方案。
中国机器人初创公司高博的首席战略官赵玉丽表示,北京正在通过政府支持的试验平台、产业合作和长期融资计划,优先考虑部署规模和产业商业化。
Galbot已在中国零售、仓储和制药行业部署了人形机器人系统,其中包括全天候运营的自主商店。赵表示,半结构化的工业环境可能成为早期商业化路径,因为它们提供了更可控的运行条件。
日本正更加重视标准制定、机器人数据集和安全治理。东京大学工学研究生院的松尾裕教授指出,一项名为“人工智能协会”的项目旨在收集10万小时的机器人数据,以支持机器人基础模型的构建。
松尾还提到了日本人工智能安全研究所和广岛人工智能进程,这是与新加坡和其他亚洲国家共同努力,为具身人工智能系统制定治理标准的更广泛举措的一部分。
新加坡制定了代理人管制措施
新加坡的框架为智能体人工智能设定了四个治理领域,涵盖前期风险评估、人为责任、技术控制和最终用户责任。该框架将这些领域描述为一个迭代过程,而非一次性评估。
该框架指出,由于大规模持续审查所有工作流程变得不切实际,因此必须对智能体系统进行人工监督。它建议在关键节点进行人工审批,包括高风险操作、不可逆操作和异常行为。
新加坡资讯通信媒体发展局(IMDA)还指出,当人工监督功能强大的智能体时,自动化偏差和警报疲劳也是潜在的风险。IMDA建议通过人工干预率和响应时间等指标来审核监督工作,并利用自动化实时监控来标记异常行为。
该框架指出,应告知用户代理可以执行哪些操作、可以访问哪些数据以及用户仍需承担哪些责任。此外,该框架还建议对员工进行人机交互、监督以及评估代理输出所需专业技能方面的培训。
企业在受监管的工作流程中测试人工智能
摩根大通亚太区投资银行主管保罗·尤伦告诉路透社,该行正在其全球投资银行业务中部署人工智能工具。摩根大通表示,这些工具可以帮助银行家获取更多信息,并将其与内部系统整合。此外,这些工具还被用于准备内容和支持客户互动。
摩根大通首席执行官杰米·戴蒙告诉彭博新闻社,该行将招聘更多人工智能专家,减少传统银行家的数量。路透社报道称,全球各大银行正在加大对人工智能的投资,重塑员工队伍,并改变工作角色。
该银行也是Anthropic公司授权使用其Mythos网络安全模型的少数几家机构之一,该项目隶属于一项名为“玻璃之翼计划”(Project Glasswing)的受控计划。据Anthropic公司称,Mythos可以检测浏览器、基础设施和软件中存在的旧漏洞。
路透社援引消息人士和公司高管的话报道称,高盛、花旗集团、美国银行和摩根士丹利也已获得 Mythos 的使用权,或者正在测试 Mythos。
新加坡资讯通信媒体发展局(IMDA)的框架包含新加坡华侨银行(OCBC Bank of Singapore)关于财富来源分析的案例研究。该系统解析与收入相关的文档并生成财富来源备忘录。它不会自主做出信贷、客户准入或风险决策。
在这种情况下,工作流程仅限于任务级自主运行,并且仅在预定义工作流程触发时才会运行。关键决策点需要人工审核,最终验证仍由指定的审核人员完成。
机器人进入工业领域
根据路透社委托日经研究公司于 5 月 1 日至 15 日进行的一项调查,在日本,三分之一的公司已经在使用或考虑使用人工智能机器人。该调查联系了 492 家公司,其中 220 家公司在匿名的情况下作出了回应。
约4%的受访者表示他们已经在使用人工智能机器人,5%计划部署,25%正在考虑部署。其余66%表示他们没有此类计划。
在本次调查中,运输设备制造商最为活跃,80%的受访者表示已经在使用人工智能机器人或正在考虑部署。相比之下,94%的批发行业受访者表示没有部署人工智能机器人的计划。
在使用、计划使用或正在考虑使用人工智能机器人的公司中,71%选择制造业作为应用案例。另有19%选择危险任务,11%选择面向客户的服务。
日本政府期望人工智能机器人能够帮助解决该国长期存在的劳动力短缺问题,并巩固其在工业机器人领域的地位。日本拥有包括发那科(Fanuc)、安川电机(Yaskawa Electric)和川崎重工(Kawasaki Heavy Industries)在内的多家机器人公司,但在人工智能机器人领域面临着来自中国和美国的竞争。
零售代理商的业务范围已扩展到搜索之外
沃尔玛已制定计划,将在购物、员工、供应商和开发人员的工作流程中使用智能体人工智能。
2025年7月,沃尔玛宣布计划推出四款人工智能“超级代理”。这些代理分别面向顾客、门店员工、供应商、销售人员和软件开发人员。沃尔玛表示,这些代理将成为上述群体进行人工智能交互的主要入口。
其中一款名为 Sparky 的工具已经集成到沃尔玛的应用程序中,它是一款基于人工智能的生成式购物助手。沃尔玛美国首席技术官 Hari Vasudev 表示,Sparky 的扩展版本将能够重新订购商品和规划活动。它还将利用计算机视觉技术,根据顾客冰箱里的食材推荐食谱。
沃尔玛正在为门店员工和公司职员开发一款名为“员工超级代理”(Associate super agent)的智能助手。此外,他们还在为卖家、供应商和广告商打造一款名为“Marty”的独立智能助手。这家零售巨头还在开发一款名为“开发者超级代理”(Developer super agent)的智能助手,用于测试、构建和发布未来的人工智能工具。
该公司拒绝透露这些代理是否会取代现有工作岗位。企业业务系统高级副总裁戴夫·格里克表示,这些工具将会创造新的就业机会,但未透露更多细节。

