OpenShift AI 2.5: Dağıtılmış Çıkarım ve Model Sunma Güncellemeleri

OpenShift AI 2.5, LLM iş yükleri için operasyonel olgunluğa odaklanır: düğümler arasında daha iyi GPU kullanımı, kolaylaştırılmış model sunma yolları ve OpenShift GitOps ve güvenlik politikalarıyla daha sıkı entegrasyon.

Platform ekipleri artık birden çok model için çıkarım uç noktalarını standartlaştırabilir, kiracı ad alanlarını izole edebilir ve tutarlı ağ ilkeleri uygulayabilir; bu arada veri bilimi ekipleri not defteri ve ardışık düzen iş akışlarını tanıdık tutabilir. Hibrit ortamlar için güncelleme aynı zamanda şirket içi GPU kümelerinin merkezi yönetime bağlanmasını da basitleştirir.

cloudstrata, hava boşluklu ve egemen bulut senaryoları da dahil olmak üzere, düzenlemeye tabi endüstriler için OpenShift AI mimarileri tasarlar. Tek modelli pilot uygulamalardan yerleşik izleme, kota yönetimi ve maliyet kontrollerine sahip çok ekipli çıkarım platformlarına geçmenize yardımcı oluyoruz.