LLM 基礎架構
設計模型路由、AI 閘道、備援策略、負載平衡與速率限制控制，打造可靠的 LLM 應用。
依照開發者的實作順序學習。
從決策開始，進入實作，最後完成上線檢查。
結構化學習路徑
統一請求
1
標準化身份驗證、模型與回應合約。
路由工作負載
2
依能力、成本、延遲與可用性選擇模型。
保護流量
3
套用速率限制、佇列、預算與斷路器。
觀察結果
4
追蹤路由決策、備援原因與任務成功率。
建立主題權威，而不是零散文章。
核心指南
5 個引導起點
保護正式環境聊天工作流程
將正常流量路由到預設模型，並且只有在請求仍符合預算與品質約束時才進行故障轉移。
能力相容的路由
請求層級成本預算
逾時與重試策略
備援品質監控
將指南轉成請求。
先在 Playground 試用模型，再用 Quickstart 把同樣的模式帶到 Python 或 Node.js。
探索每個成長主題。
常見問題
AEO 就緒解答
什麼是 LLM 閘道？
LLM 閘道會集中處理模型請求的身份驗證、路由、可觀測性、限制與供應商抽象化。
模型路由器和備援是一樣的嗎？
不是。路由會選擇最佳的初始路徑；備援則是在預先定義的失敗或品質條件之後，選擇另一條相容路徑。