OpenShift AI 2.5: Distributed Inference a Model Serving Updates
OpenShift AI 2.5 sa zameriava na operačnú vyspelosť pre pracovné zaťaženia LLM: lepšie využitie GPU naprieč uzlami, zjednodušené trasy obsluhy modelov a užšiu integráciu s OpenShift GitOps a bezpečnostnými politikami.
Tímy platforiem môžu teraz štandardizovať koncové body odvodenia pre viaceré modely, izolovať priestory názvov nájomníkov a aplikovať konzistentné sieťové politiky – zatiaľ čo tímy pre vedu údajov poznajú pracovné postupy notebookov a kanálov. Pre hybridné prostredia aktualizácia tiež zjednodušuje pripojenie vlastných GPU klastrov k centrálnemu riadeniu.
cloudstrata navrhuje architektúry OpenShift AI pre regulované odvetvia, vrátane scenárov so vzduchovou medzerou a suverénnych cloudových scenárov. Pomôžeme vám prejsť od pilotných verzií jedného modelu k viactímovým inferenčným platformám so zabudovaným monitorovaním, správou kvót a kontrolou nákladov.
Preskúmajte viac
KONTAKT
Poďme hovoriť o vašom projekte
Opíšte svoj prípad použitia. Dostanete konkrétny ďalší krok — žiadnu predajnú prezentáciu.
Odpovedáme do jedného pracovného dňa.
Sledujte Cloudstrata na LinkedIn a Instagrame a zostaňte informovaní o našej práci a otvorených pozíciách.