Gateway API за AI Inference: Маршрутизиране на LLM трафик на Kubernetes

Тъй като LLM изводите преминават към Kubernetes, екипите се нуждаят от повече от основни правила на Ingress. Gateway API осигурява експресивно маршрутизиране, избор на модел, базиран на заглавка, и точки за интегриране за прилагане на политики – идеален за платформи с множество модели и постепенно внедряване на модели.

Общите модели включват претеглено разделяне на трафика за A/B тестване на нови модели, ограничения на скоростта на ниво заявка за защита на GPU пулове и mTLS между шлюз и блокове за изводи. В комбинация с Horizontal Pod Autoscaling и KEDA, организациите могат да мащабират услугите за извод въз основа на дълбочината на опашката или пропускателната способност на токена.

cloudstrata внедрява базирани на Gateway API слоеве за изводи на OpenShift и Vanilla Kubernetes, свързвайки ги със системи за наблюдение, проследяване на разходите и корпоративна идентичност, така че AI трафикът да е сигурен, измерим и готов за производство.