OpenShift AI 2.5: Actualizări distribuite de inferență și de servire a modelelor

OpenShift AI 2.5 se concentrează pe maturitatea operațională pentru sarcinile de lucru LLM: o mai bună utilizare a GPU-ului între noduri, rute simplificate de servire a modelelor și o integrare mai strânsă cu OpenShift GitOps și politicile de securitate.

Echipele de platformă pot standardiza acum punctele finale de inferență pentru mai multe modele, izola spațiile de nume ale chiriașilor și pot aplica politici de rețea consecvente, în timp ce echipele de știință a datelor păstrează familiare fluxurile de lucru notebook-uri și pipeline. Pentru mediile hibride, actualizarea simplifică, de asemenea, atașarea clusterelor GPU locale la guvernanța centrală.

cloudstrata proiectează arhitecturi OpenShift AI pentru industriile reglementate, inclusiv scenarii cu deficiențe de aer și cloud suveran. Vă ajutăm să treceți de la piloți cu un singur model la platforme de inferență cu mai multe echipe, cu monitorizare, management al cotelor și control al costurilor încorporate.