OpenShift AI 2.5: Elosztott következtetések és modellkiszolgáló frissítések

Az OpenShift AI 2.5 az LLM-munkaterhelések működési érettségére összpontosít: jobb GPU-kihasználtság a csomópontok között, áramvonalasabb modellszolgáltatási útvonalak, valamint szorosabb integráció az OpenShift GitOps-szal és biztonsági szabályzatokkal.

A platformcsoportok mostantól szabványosíthatják a következtetési végpontokat több modellhez, elkülöníthetik a bérlői névtereket, és következetes hálózati házirendeket alkalmazhatnak – miközben az adattudományi csoportok jól ismerik a notebook- és folyamatfolyamatokat. A hibrid környezetek esetében a frissítés leegyszerűsíti az on-prem GPU-fürtök központi irányításhoz való csatlakoztatását is.

A cloudstrata OpenShift AI architektúrákat tervez szabályozott iparágak számára, beleértve a légrés és szuverén felhő forgatókönyveket. Beépített megfigyeléssel, kvótakezeléssel és költségellenőrzéssel segítünk áttérni az egymodellt pilótákról a többcsapatos következtetési platformokra.