Google Cloud在2026年9月29日宣布，API Gateway开始以公开预览形式支持流式请求与响应。网关不再只能等待后端生成完整结果后一次性返回，而是能够持续传递数据块，LLM按Token输出、实时事件推送和双向通信都获得了更直接的接入路径。
这次更新支持HTTP/2 DATA帧、HTTP/1.1分块传输、Server-Sent Events、WebSocket以及gRPC双向流。它解决的是网关层缓冲问题，但后端协议、超时和客户端处理方式仍必须同时匹配，否则开启流式模式也无法形成稳定的端到端数据流。
网关现在可以持续转发请求和响应
启用流式模式后，API Gateway能够为长时间保持的连接分块传输数据。单向的SSE适合持续推送生成结果或事件，WebSocket和gRPC双向流则适合客户端与服务端都需要连续交换消息的场景。
LLM是最直观的应用：模型生成一部分内容，网关就向客户端继续传递，前端无需等待完整回答。除了AI推理，日志尾随、进度通知、实时控制和持续数据处理也可使用相同能力。
不同协议需要匹配正确的后端连接
gRPC后端必须使用HTTP/2，WebSocket需要HTTP/1.1的Connection Upgrade握手；SSE与普通分块响应可以使用HTTP/1.1或HTTP/2，官方更建议后者。OpenAPI配置中的后端协议如果填写错误，网关无法替后端自动完成协议转换。
配置前应先确认后端本身能够流式输出，而不是在应用层继续缓存整个响应。客户端也要关闭自身缓冲，并正确处理断线、重连、半开连接与消息边界。
超时默认值可能让长响应提前中断
对SSE和HTTP分块传输而言，请求默认超时仍是15秒，流式网关可以把deadline提高到3600秒。WebSocket与gRPC流的默认空闲超时为300秒，总连接时长上限为3600秒，具体行为与普通HTTP流不同。
网关deadline不会覆盖后端自己的超时。以Cloud Run为后端时，服务端超时如果仍为300秒，连接会在五分钟后结束，即便网关设置得更长。上线前必须同时核对网关、后端、负载链路与客户端的超时。
流式模式创建后不能原地修改
创建网关时需要使用enable-streaming参数，流式模式一经确定便不可更改。已有网关不能原地打开或关闭该能力，需要创建新网关；新流式网关的主机名格式也与非流式网关不同，客户端或DNS记录可能需要同步调整。
当前预览阶段还不支持通过Terraform启用流式模式，也不能把这类网关放在API Gateway的HTTP负载均衡、Serverless NEG或外部应用负载均衡器之后，因此依赖这些组件实现自定义域名的架构暂时不适用。
生产迁移应先验证身份控制和回退路径
建议用新网关承载少量测试流量，检查首字节时间、持续吞吐、断线比例、连接时长和后端资源占用，再逐步迁移客户端。身份令牌只能确认调用者身份，面向昂贵推理资源时还应配置API密钥、配额或更细的访问控制。
流式网关不会自动让MCP端点改为流式响应，MCP仍返回单个JSON消息体。正式切换前要保留旧网关与DNS回退方案，并针对超时、客户端重连和后端扩容不足进行故障演练。
