Gateway API za AI Inference: Usmjeravanje LLM prometa na Kubernetesu
Kako LLM zaključivanje prelazi na Kubernetes, timovi trebaju više od osnovnih Ingress pravila. Gateway API pruža ekspresivno usmjeravanje, odabir modela temeljen na zaglavlju i integracijske točke za provedbu pravila—idealno za platforme s više modela i postupno uvođenje modela.
Uobičajeni obrasci uključuju ponderirane podjele prometa za A/B testiranje novih modela, ograničenja stope na razini zahtjeva za zaštitu skupova GPU-a i mTLS između pristupnika i modula za zaključivanje. U kombinaciji s Horizontal Pod Autoscaling i KEDA, organizacije mogu skalirati usluge zaključivanja na temelju dubine reda čekanja ili protoka tokena.
cloudstrata implementira slojeve zaključivanja temeljene na Gateway API-ju na OpenShift i Vanilla Kubernetes, povezujući ih s mogućnošću promatranja, praćenjem troškova i sustavima identiteta poduzeća tako da je AI promet siguran, mjerljiv i spreman za proizvodnju.
Istražite više
KONTAKT
Javite se
Recite nam nešto o svom slučaju upotrebe — mi ćemo odgovoriti prilagođenim sljedećim korakom.
Cilj nam je odgovoriti u roku od jednog radnog dana.
Pratite Cloudstratu na LinkedInu i Instagramu kako biste bili u tijeku s našim radom i otvaranjima.
Otvara se u novoj kartici