OpenShift AI 2.5: aktualizacje dotyczące wnioskowania rozproszonego i obsługi modelu

OpenShift AI 2.5 koncentruje się na dojrzałości operacyjnej obciążeń LLM: lepsze wykorzystanie procesora graficznego w węzłach, usprawnione trasy obsługi modeli i ściślejsza integracja z OpenShift GitOps i zasadami bezpieczeństwa.

Zespoły ds. platform mogą teraz standaryzować punkty końcowe wnioskowania dla wielu modeli, izolować przestrzenie nazw dzierżawców i stosować spójne zasady sieciowe, podczas gdy zespoły zajmujące się analizą danych zapewniają znajomość przepływów pracy w notatnikach i potokach. W przypadku środowisk hybrydowych aktualizacja upraszcza także podłączanie lokalnych klastrów GPU do centralnego zarządzania.

cloudstrata projektuje architektury OpenShift AI dla branż regulowanych, w tym scenariusze chmur typu air-gap i suwerennych. Pomagamy Ci przejść od projektów pilotażowych obejmujących jeden model do wielozespołowych platform wnioskowania z wbudowanym monitorowaniem, zarządzaniem przydziałami i kontrolą kosztów.