303 โมเดล · 40 ผู้ให้บริการโมเดลเรียนรู้เพิ่มเติม
บล็อก / การทดสอบประสิทธิภาพและรายงาน
งานวิจัยประสิทธิภาพที่โปร่งใส

การทดสอบประสิทธิภาพและรายงาน

วิธีการที่ทำซ้ำได้สำหรับเปรียบเทียบคุณภาพโมเดล เวลาแฝง ปริมาณงาน ราคา และความน่าเชื่อถือของผู้ให้บริการ

เครื่องมือทดสอบประสิทธิภาพ AI API ที่วัดสัญญาณเวลาแฝงและปริมาณงาน
เนื้อหาในส่วนนี้
ใช้เวิร์กโหลด ช่วงเวลาการวัด และกฎการให้คะแนนเดียวกัน เพื่อให้ข้ออ้างด้านประสิทธิภาพยังคงเปรียบเทียบและตรวจสอบได้

บทความตัวอย่าง

บทความแรกแสดงโครงสร้างเนื้อหาที่ส่วนนี้จะใช้ ได้แก่ คำตอบโดยตรง ขั้นตอนเชิงปฏิบัติ ข้อจำกัด และ FAQ

เครื่องมือทดสอบประสิทธิภาพ AI API ที่วัดสัญญาณเวลาแฝงและปริมาณงาน
การทดสอบประสิทธิภาพและรายงาน / ตัวอย่าง

การทดสอบเวลาแฝงของ AI API: TTFT ปริมาณงาน และความน่าเชื่อถือ

ระเบียบวิธีที่โปร่งใสสำหรับวัดเวลาแฝงของ AI API โดยไม่ทำให้สับสนระหว่าง time-to-first-token ความเร็วในการสร้างผลลัพธ์ และเวลาตอบสนองทั้งหมด

TTFT ใช้วัดการตอบสนอง ส่วนโทเคนต่อวินาทีใช้วัดความเร็วในการสร้างผลลัพธ์
ใช้เวอร์ชันโมเดล พรอมต์ เป้าหมายเอาต์พุต และโหมดสตรีมมิงเดียวกันสำหรับทุกเส้นทาง
รายงานค่ามัธยฐานและค่า p95 แทนการรายงานคำขอที่เร็วที่สุดเพียงรายการเดียว
เผยแพร่ข้อผิดพลาด หมดเวลา ภูมิภาค และช่วงเวลาทดสอบควบคู่กับตัวเลขประสิทธิภาพ
อ่านบทความตัวอย่าง
สำรวจศูนย์ความรู้ CoreAPI ทั้งหมด
คู่มือโมเดล ราคา การเปรียบเทียบ และเวิร์กโฟลว์สำหรับระบบจริง
เปิดคู่มือ Open AI API
การทดสอบประสิทธิภาพและรายงาน คู่มือ | บล็อก CoreAPI