OpenShift AI 2.5: Distributed Inference a Model Serving Updates
OpenShift AI 2.5 sa zameriava na operačnú vyspelosť pre pracovné zaťaženia LLM: lepšie využitie GPU naprieč uzlami, zjednodušené trasy obsluhy modelov a užšiu integráciu s OpenShift GitOps a bezpečnostnými politikami.
Tímy platforiem môžu teraz štandardizovať koncové body odvodenia pre viaceré modely, izolovať priestory názvov nájomníkov a aplikovať konzistentné sieťové politiky – zatiaľ čo tímy pre vedu údajov poznajú pracovné postupy notebookov a kanálov. Pre hybridné prostredia aktualizácia tiež zjednodušuje pripojenie vlastných GPU klastrov k centrálnemu riadeniu.
cloudstrata navrhuje architektúry OpenShift AI pre regulované odvetvia, vrátane scenárov so vzduchovou medzerou a suverénnych cloudových scenárov. Pomôžeme vám prejsť od pilotných verzií jedného modelu k viactímovým inferenčným platformám so zabudovaným monitorovaním, správou kvót a kontrolou nákladov.
Preskúmajte viac
KONTAKT
Ozvite sa
Povedzte nám o svojom prípade použitia – odpovieme vám prispôsobeným ďalším krokom.
Naším cieľom je odpovedať do jedného pracovného dňa.
Sledujte Cloudstrata na LinkedIn a Instagrame a zostaňte informovaní o našej práci a otvorených pozíciách.
Otvorí sa na novej karte