托管 LLM 平台:Bedrock、Vertex AI 与 Azure OpenAI

托管 LLM 平台:Bedrock、Vertex AI 与 Azure OpenAI

本节摘要:三大云厂商,三种截然不同的策略。AWS Bedrock 是模型大卖场——Claude、Llama、Titan、Stability、Cohere 都藏在一套 API 后面;Azure OpenAI 是与 OpenAI 的独家合作,外加预置吞吐单元(Provisioned Throughput Units, PTU)来锁定专属算力;Vertex AI 则以 Gemini 为先,长上下文与多模态是它的杀手锏。Artificial Analysis 在 2026 年的持续基准上测得:在 Llama 3.1 405B 同等规模下,Azure OpenAI 中位首 token 延迟约 50 ms,Bedrock 约 75 ms——这 25 ms 的差距不是 AWS 不行,而是 Azure 卖的是 PTU 专属算力,而多数 Bedrock 客户跑在共享按需容量上。所以决策规则不是「谁最快」,而是「哪个模型目录和 FinOps 表面与我的产品匹配」。本节就教你把权衡写下来,而不是靠感觉拍板。

对应原课程:Phase 17 · Lesson 01 · 01-managed-llm-platforms(原英文 phases/17-infrastructure-and-production/01-managed-llm-platforms/docs/en.md)。

学习目标

阅读完本节,你应当能够:

1. 说出三大平台的策略差异(卖场型 vs 独家合作 vs Gemini 优先),并把每种策略对应到具体的产品用例。
2. 解释 Azure OpenAI 的 PTU 买到的是什么,以及为什么按需 Bedrock 在 405B 规模上通常慢约 25 ms。
3. 画出每个平台的 FinOps 归因表面(Bedrock Application Inference Profiles、Vertex 按团队分项目、Azure 作用域 + PTU 预留)。
4. 落地一条「至少双供应商」策略,并解释为什么单厂商锁定是 2026 年最贵的技术债。
5. 针对受监管行业(医疗/金融)评估三大平台的合规与数据驻留能力。

一、问题与直觉

你为产品选了 Claude 3.7 Sonnet,现在要把它跑起来。你有三条路:

1. 直连 Anthropic API——最简单,一个 HTTP 调用就完事。
2. 走 AWS Bedrock——多一层业务协议(BAA)、VPC 端点、IAM 鉴权、CloudWatch 计费归因。
3. 走网关——多一层故障转移、统一计费、跨厂商限流。

真正的问题不在「怎么调」,而在目录。如果你的产品同时需要 Claude、Llama、Gemini,你没法从一家买到全部——除非这家同时是 Bedrock + Vertex + Azure OpenAI。三大云对「模型层归谁」下了三笔不同的赌注:

本节就把这三笔赌注、那个延迟差距、FinOps 差距和锁定风险一一摊开。

💡 在 2026 年,「用一个云扛所有 LLM 调用」已经不是省钱,是赌命——前沿模型每个季度都在换主人,锁定一家就等于主动放弃另外三分之二的前沿。

二、核心概念

三种策略详解

AWS Bedrock —— 大卖场。 Claude(Anthropic)、Llama(Meta)、Titan(AWS 自家)、Stability(图像)、Cohere(embedding)、Mistral,外加图像和 embedding 子目录。一套 API、一套 IAM、一个 CloudWatch 导出。Bedrock 押注的是:客户要「可选」胜过要「单一模型」。

Azure OpenAI —— 独家合作。 你拿到 GPT-4 / 4o / 5 / o 系列、DALL·E、Whisper,以及在 Azure 数据中心对 OpenAI 模型做微调。「Azure OpenAI Service」目录里没有非 OpenAI 模型——那些归到 Azure AI Foundry(独立产品)。Azure 押注的是:OpenAI 仍是前沿,客户想对这层关系加上企业级管控。

Vertex AI —— Gemini 优先,其余次之。 Gemini 1.5 / 2.0 / 2.5 Flash 与 Pro,加上 Model Garden(第三方)。Vertex 押注的是多模态长上下文——百万级 token 的 Gemini 上下文就是它的差异化。

规模化下的延迟差距

Artificial Analysis 跑的是持续基准。在等效的 Llama 3.1 405B 部署(共享按需)上,Azure OpenAI 的中位首 token 延迟约 50 ms,Bedrock 约 75 ms。这 25 ms 的差距不是 AWS 失误,而是容量模型不同:Azure 卖 PTU(预置吞吐单元),为你的租户预留 GPU;Bedrock 也有同名产品(Provisioned Throughput),但起步约 21 美元/小时/单元,多数客户仍跑在共享按需上。

共享按需容量要和所有其他客户的流量抢资源;专属容量不用。如果你的产品 SLA 是「P99 首 token 延迟 < 100 ms」,你要么在 Azure 上买 PTU,要么在 Bedrock 上买 Provisioned Throughput,要么就接受默认的方差。

预置吞吐的经济学

• Azure PTU:一块预留的推理算力。对可预测的工作负载,相比按需可省最高约 70%。每小时固定计费,空闲也得付钱——你买的是预留。盈亏平衡点通常在 40%~60% 的持续利用率。
• Bedrock Provisioned Throughput:21~50 美元/小时,依模型和区域而定。算法类似——盈亏平衡约在峰值利用率的一半。需要按月承诺。
• Vertex 预留容量:按 Gemini SKU 出售,价格随模型和区域浮动,公开披露较少。

⚠️ PTU 不是「更便宜」,是「在固定利用率下更便宜」。如果你流量像过山车(白天爆、夜里零),按需 + 自动伸缩反而更省钱;PTU 适合基线负载稳定的场景。

FinOps 表面 —— 真正的差异化

这是三家的真分水岭:

一句话:Bedrock 原生最干净,Vertex 经 BigQuery 最灵活,Azure 不插桩最不透明。

锁定是 2026 年的风险

当一家模型独霸时,单云承诺没问题。到了 2026 年,前沿每月都在换——一个季度是 Claude 3.7,下个季度是 Gemini 2.5,再下个是 GPT-5。锁死一家,就锁死了另外三分之二的前沿。

成熟团队采用的模式是:对任何产品关键 LLM 调用,至少双供应商。常见组合是 Bedrock + Azure OpenAI——一边出 Claude,一边出 GPT,中间同一个网关做故障转移。成本上扬几乎可忽略(网关路由最优),但在故障期间(比如 2025 年 1 月的 Azure OpenAI 事件、AWS us-east-1 宕机)的可用性提升是决定性的。

数据驻留、BAA 与受监管行业

• Bedrock:多数区域有 BAA,VPC 端点,护栏(guardrails)。金融科技常见默认。
• Azure OpenAI:HIPAA、SOC 2、ISO 27001,EU 数据驻留。企业受监管场景的默认选项。
• Vertex:HIPAA、GDPR,按区域的数据驻留,Google Cloud 的合规栈。

三家都能勾选基本合规框。差异在数据留存策略、日志处理,以及滥用监控是否读你的流量(多数默认开启,企业版可关闭)。

你该记住的数字

• Azure OpenAI 在 Llama 3.1 405B 等效上的中位 TTFT:约 50 ms(配 PTU)。
• Bedrock 按需中位 TTFT:约 75 ms。
• Bedrock Provisioned Throughput:21~50 美元/小时/单元。
• Azure PTU 盈亏平衡:约 40%~60% 持续利用率。
• PTU 在高利用率下相对按需的节省:最高 70%。

三、从零实现:成本与延迟对比器

原课程 code/main.py 在一份合成工作负载上对比三家平台,建模了按需 vs PTU 的经济性、TTFT 方差,以及成本归因保真度。下面给出关键骨架——一个最简的 PTU 盈亏平衡计算器。

def ptu_break_even(ptu_hourly_cost, on_demand_per_1m_tokens,
                   tokens_per_hour, utilization_window_hours=24*30):
    """估算 Azure PTU 相对按需的盈亏平衡利用率。

    参数:
      ptu_hourly_cost:           PTU 每小时固定价(美元)
      on_demand_per_1m_tokens:   按需每百万 token 价格(美元)
      tokens_per_hour:           满负载时每小时处理的 token 数(百万)
      utilization_window_hours:  计算窗口(默认一个月)
    返回:
      (break_even_util, monthly_ptu_cost, monthly_od_at_full)
    """
    monthly_ptu = ptu_hourly_cost * utilization_window_hours
    monthly_od_full = on_demand_per_1m_tokens * tokens_per_hour * utilization_window_hours
    # 盈亏平衡:util * monthly_od_full == monthly_ptu
    break_even = monthly_ptu / monthly_od_full if monthly_od_full else float("inf")
    return round(break_even, 3), monthly_ptu, monthly_od_full


# 示例:一个 70B 级模型,PTU 100 美元/小时,按需 1.2 美元/百万 token
# 满负载每小时吃 50 百万 token
util, ptu_cost, od_full = ptu_break_even(100, 1.2, 50)
print(f"PTU 盈亏平衡利用率 ≈ {util*100:.1f}%")
print(f"  PTU 月固定成本 = ${ptu_cost:,.0f}")
print(f"  按需满负载月成本 = ${od_full:,.0f}")
# 若落在 40%~60% 区间,说明 PTU 对可预测基线负载划算
​

把 tokens_per_hour 换成你产品的真实流量曲线,你就能立刻看出是该买 PTU 还是继续按需。同理可改写 on_demand_per_1m_tokens 为 Bedrock 的费率,横向对比两家。

💡 真正能回答「该买不买 PTU」的,不是厂商的标杆,而是你自己的利用率分布。把过去 30 天的 QPS 与 token 吞吐画成直方图,看 P50 落在峰值的多少比例——这就是 PTU 是否划算的直接信号。

四、框架对比:三大平台横向对照

选型心法:

• 目录驱动 → Bedrock(你要 Claude + Llama + Mistral)。
• 单一 OpenAI 关系 + 企业管控 → Azure OpenAI。
• 百万级长上下文 / 多模态 → Vertex。
• 三者都不是单选——至少双供应商是 2026 年的标配。

五、可复用产物

本节产出 outputs/skill-managed-platform-picker.md(原课程目录下)。给定一个工作负载画像(所需模型、TTFT SLA、日调用量、合规要求),它会给出:

1. 主平台推荐(及理由:目录匹配度、延迟达标、合规覆盖)。
2. 备用平台推荐(用于故障转移,与主平台错开厂商)。
3. FinOps 插桩计划(在主平台上如何打标签/配 Profile/做按请求归因)。
4. 盈亏平衡提示(基于你的利用率分布,该走按需还是预置)。

直接套用到你的产品技术决策会上,把「拍脑袋选云」变成「对照清单选云」。

六、练习

1. 跑通对比器:运行 code/main.py。对一个 70B 级模型,Azure PTU 在多高的持续利用率上击败按需?算出盈亏平衡点,与厂商宣传的 40%~60% 区间比较。

2. 双供应商部署:你的产品同时要 Claude 3.7 Sonnet 和 GPT-4o。设计一套双供应商部署——哪个走哪个云、前面放什么网关、故障转移策略是什么?画出调用链与切换阈值。

3. 受监管客户:某医疗客户要求 BAA、美国东部数据驻留、P99 TTFT < 100 ms。选一个平台,用三个具体特性论证你的选择。

4. 账单排查:你的 Bedrock 账单这个月翻了 4 倍,但流量没变。没有 Application Inference Profiles 时,你会怎么定位元凶?有了 Profile 后,定位要多久?写出两种排查路径的步骤差。

5. 价格对比:读 Azure OpenAI 与 Bedrock 的定价页。对一个 1 亿 token/月的 Claude 工作负载,直连 Anthropic API、Bedrock 按需、Bedrock Provisioned Throughput,哪个最便宜?列出各自的隐含成本(锁定、最小承诺、空闲付费)。

本节要点回顾

1. 三大平台三种策略:Bedrock 是模型卖场(可选性优先)、Azure OpenAI 是独家合作(OpenAI 前沿 + 企业管控)、Vertex 是 Gemini 优先(长上下文/多模态差异化)。
2. 延迟差距来自容量模型:Azure PTU 的 50 ms vs Bedrock 按需的 75 ms,差的是专属 vs 共享,不是厂商能力。
3. PTU 不总是更便宜:它是「在固定利用率下更便宜」,盈亏平衡约 40%~60% 持续利用率;流量波动大反而该用按需。
4. FinOps 表面是真分水岭:Bedrock 原生最细(Profile)、Vertex 经 BigQuery 最灵活、Azure 不插桩最不透明。
5. 2026 年单厂商锁定是技术债:前沿月月在变,锁一家等于放弃三分之二前沿;至少双供应商是标配。
6. 受监管行业看合规 + 数据驻留:三家都能勾基本框,差异在留存策略、日志处理、滥用监控默认开关。
7. 决策规则不是「谁最快」而是「目录 + FinOps + 合规」与产品是否匹配:把权衡写下来,而不是靠感觉。

下一节,我们把视角从「买哪家云」转到「自托管 vs 托管平台」的经济学——看 Fireworks、Together、Baseten、Modal、Replicate、Anyscale 这些推理平台各自的计价模型与隐藏成本。