OpenShift AI 2.5: Разпределени изводи и актуализации за обслужване на модели

OpenShift AI 2.5 се фокусира върху оперативната зрялост за LLM работни натоварвания: по-добро използване на GPU между възли, рационализирани маршрути за обслужване на модели и по-тясна интеграция с OpenShift GitOps и политики за сигурност.

Екипите на платформите вече могат да стандартизират крайни точки за извод за множество модели, да изолират пространства от имена на клиенти и да прилагат последователни мрежови политики – докато екипите за наука за данни поддържат работните потоци на бележника и конвейера познати. За хибридни среди, актуализацията също така опростява прикачването на премиум GPU клъстери към централното управление.

cloudstrata проектира OpenShift AI архитектури за регулирани индустрии, включително сценарии с въздушна междина и суверенен облак. Ние ви помагаме да преминете от пилотни проекти с единичен модел към платформи за многоекипни изводи с вграден мониторинг, управление на квоти и контрол на разходите.