โครงสร้างพื้นฐาน LLM
ออกแบบการกำหนดเส้นทางของโมเดล, AI gateway, กลยุทธ์ fallback, load balancing และการควบคุม rate limit สำหรับแอปพลิเคชัน LLM ที่เชื่อถือได้
เรียนรู้ตามลำดับที่นักพัฒนาใช้สร้างระบบ
เริ่มจากการตัดสินใจ ลงมือใช้งาน และจบด้วยการตรวจสอบระบบจริง
รวมคำขอให้เป็นหนึ่ง
ทำให้การยืนยันตัวตน, โมเดล และสัญญาการตอบกลับเป็นมาตรฐานเดียวกัน
กำหนดเส้นทางเวิร์กโหลด
เลือกโมเดลตามความสามารถ, ต้นทุน, ความหน่วง และความพร้อมใช้งาน
ปกป้องทราฟฟิก
ใช้ rate limit, คิว, งบประมาณ และ circuit breaker
ติดตามผลลัพธ์
ติดตามการตัดสินใจของเส้นทาง, เหตุผลของ fallback และความสำเร็จของงาน
สร้างความเชี่ยวชาญในหัวข้อ ไม่ใช่แค่บทความแยกส่วน
คู่มือหลัก
LLM Gateway คืออะไร?
เลเยอร์ควบคุมระหว่างแอปพลิเคชันกับผู้ให้บริการโมเดล
เปิดคู่มือสถาปัตยกรรม Model Router
นโยบายการกำหนดเส้นทางที่รับรู้ความสามารถสำหรับแอปพลิเคชันหลายโมเดล
เปิดคู่มือการออกแบบ API แบบหลายโมเดล
สัญญาการขอใช้งานเดียวครอบคลุมหลายผู้ให้บริการและหลายโมเดล
เปิดคู่มือกลยุทธ์ Fallback
แยก retries, provider failover และ quality fallback ออกจากกัน
เปิดคู่มือRate Limits และ Load Balancing
ปกป้อง throughput โดยไม่ก่อให้เกิดความล้มเหลวแบบลูกโซ่
เปิดคู่มือปกป้องเวิร์กโฟลว์แชตในระบบ production
กำหนดเส้นทางทราฟฟิกปกติไปยังโมเดลเริ่มต้น และ fail over เฉพาะเมื่อคำขอยังอยู่ภายในขีดจำกัดงบประมาณและเงื่อนไขคุณภาพ
เปลี่ยนคู่มือให้เป็นคำขอ
ลองใช้โมเดลใน Playground แล้วใช้ Quickstart เพื่อย้ายรูปแบบเดียวกันไปยัง Python หรือ Node.js
สำรวจทุกหัวข้อด้านการเติบโต
คำถามที่พบบ่อย
คำตอบพร้อม AEO
LLM gateway คืออะไร?
LLM gateway รวมการยืนยันตัวตน, การกำหนดเส้นทาง, observability, ขีดจำกัด และการ abstraction ของผู้ให้บริการไว้ส่วนกลางสำหรับคำขอโมเดล
Model router เหมือนกับ fallback หรือไม่?
ไม่ใช่ การกำหนดเส้นทางเลือกเส้นทางเริ่มต้นที่ดีที่สุด ส่วน fallback จะเลือกเส้นทางที่เข้ากันได้อื่นหลังจากเกิดความล้มเหลวหรือมีเงื่อนไขด้านคุณภาพตามที่กำหนด