واجهة برمجة تطبيقات البوابة لاستدلال الذكاء الاصطناعي: توجيه حركة مرور LLM على Kubernetes

مع انتقال استدلال LLM إلى Kubernetes، تحتاج الفرق إلى أكثر من مجرد قواعد الدخول الأساسية. توفر Gateway API توجيهًا معبرًا واختيار نموذج قائم على الرأس ونقاط تكامل لإنفاذ السياسات، وهي مثالية للمنصات متعددة النماذج وعمليات طرح النماذج التدريجية.

تتضمن الأنماط الشائعة تقسيمات حركة المرور الموزونة لنماذج اختبار A/B الجديدة، وحدود معدل مستوى الطلب لحماية مجمعات GPU، وmTLS بين البوابة ووحدات الاستدلال. ومن خلال الجمع بين Horizontal Pod Autoscaling وKEDA، يمكن للمؤسسات توسيع نطاق خدمات الاستدلال بناءً على عمق قائمة الانتظار أو إنتاجية الرمز المميز.

تطبق Cloudstrata طبقات الاستدلال المستندة إلى Gateway API على OpenShift وVilla Kubernetes، وتربطها بأنظمة المراقبة وتتبع التكلفة وأنظمة هوية المؤسسة بحيث تكون حركة مرور الذكاء الاصطناعي آمنة وقابلة للقياس وجاهزة للإنتاج.