Gateway API สำหรับการอนุมาน AI: การกำหนดเส้นทางการรับส่งข้อมูล LLM บน Kubernetes

เนื่องจากการอนุมาน LLM ย้ายไปยัง Kubernetes ทีมจำเป็นต้องมีมากกว่ากฎ Ingress พื้นฐาน Gateway API มอบการกำหนดเส้นทางที่ชัดเจน การเลือกโมเดลตามส่วนหัว และจุดบูรณาการสำหรับการบังคับใช้นโยบาย ซึ่งเหมาะสำหรับแพลตฟอร์มที่มีหลายโมเดลและการเปิดตัวโมเดลแบบค่อยเป็นค่อยไป

รูปแบบทั่วไป ได้แก่ การแบ่งการรับส่งข้อมูลแบบถ่วงน้ำหนักสำหรับการทดสอบ A/B โมเดลใหม่ การจำกัดอัตราระดับคำขอเพื่อปกป้องพูล GPU และ mTLS ระหว่างเกตเวย์และพ็อดการอนุมาน เมื่อใช้ร่วมกับการปรับขนาดอัตโนมัติของพ็อดแนวนอนและ KEDA องค์กรต่างๆ จะสามารถปรับขนาดบริการการอนุมานตามความลึกของคิวหรือปริมาณการประมวลผลของโทเค็นได้

cloudstrata ใช้เลเยอร์การอนุมานตาม Gateway API บน OpenShift และ vanilla Kubernetes ซึ่งเชื่อมต่อกับความสามารถในการสังเกต การติดตามต้นทุน และระบบการระบุตัวตนขององค์กร ดังนั้นการรับส่งข้อมูล AI จึงปลอดภัย วัดผลได้ และพร้อมสำหรับการผลิต