OpenShift AI 2.5: 분산 추론 및 모델 제공 업데이트

OpenShift AI 2.5는 LLM 워크로드의 운영 성숙도에 중점을 둡니다. 즉, 노드 전체의 GPU 활용도 향상, 모델 제공 경로 간소화, OpenShift GitOps 및 보안 정책과의 긴밀한 통합 등이 있습니다.

이제 플랫폼 팀은 여러 모델에 대한 추론 엔드포인트를 표준화하고, 테넌트 네임스페이스를 격리하고, 일관된 네트워크 정책을 적용할 수 있으며, 데이터 과학 팀은 노트북 및 파이프라인 워크플로를 친숙하게 유지할 수 있습니다. 하이브리드 환경의 경우 업데이트는 온프레미스 GPU 클러스터를 중앙 거버넌스에 연결하는 것도 단순화합니다.

cloudstrata는 에어 갭 및 독립형 클라우드 시나리오를 포함하여 규제 대상 산업을 위한 OpenShift AI 아키텍처를 설계합니다. 모니터링, 할당량 관리, 비용 제어 기능이 내장되어 단일 모델 파일럿에서 다중 팀 추론 플랫폼으로 전환할 수 있도록 지원합니다.