Gateway API for AI Inference: Usmerjanje LLM prometa na Kubernetes

Ko se LLM sklepanje seli na Kubernetes, ekipe potrebujejo več kot osnovna pravila Ingress. Gateway API zagotavlja ekspresivno usmerjanje, izbiro modela na podlagi glave in integracijske točke za uveljavljanje politik – idealno za platforme z več modeli in postopno uvajanje modelov.

Pogosti vzorci vključujejo tehtane delitve prometa za A/B testiranje novih modelov, omejitve hitrosti na ravni zahtev za zaščito skupin GPU in mTLS med prehodom in sklopi za sklepanje. V kombinaciji s Horizontal Pod Autoscaling in KEDA lahko organizacije skalirajo storitve sklepanja na podlagi globine čakalne vrste ali prepustnosti žetonov.

cloudstrata implementira inferenčne plasti, ki temeljijo na vmesniku Gateway API, na OpenShift in vanilla Kubernetes ter ju povezuje z opazljivostjo, sledenjem stroškov in sistemi identitete podjetja, tako da je promet AI varen, merljiv in pripravljen za proizvodnjo.