LLM 基础架构
设计模型路由、AI 闸道、备援策略、负载平衡与速率限制控制，打造可靠的 LLM 应用。
依照开发者的实作顺序学习。
从决策开始，进入实作，最后完成上线检查。
结构化学习路径
统一请求
1
标准化身份验证、模型与回应合约。
路由工作负载
2
依能力、成本、延迟与可用性选择模型。
保护流量
3
套用速率限制、伫列、预算与断路器。
观察结果
4
追踪路由决策、备援原因与任务成功率。
创建主题权威，而不是零散文章。
核心指南
5 个引导起点
保护正式环境聊天工作流程
将正常流量路由到默认模型，并且只有在请求仍符合预算与质量约束时才进行故障转移。
能力兼容的路由
请求层级成本预算
逾时与重试策略
备援质量监控
将指南转成请求。
先在 Playground 试用模型，再用 Quickstart 把同样的模式带到 Python 或 Node.js。
探索每个成长主题。
常见问题
AEO 就绪解答
什么是 LLM 闸道？
LLM 闸道会集中处理模型请求的身份验证、路由、可观测性、限制与供应商抽象化。
模型路由器和备援是一样的吗？
不是。路由会选择最佳的初始路径；备援则是在预先定义的失败或质量条件之后，选择另一条兼容路径。