OpenShift AI 2.5: Cập nhật suy luận phân tán và cung cấp mô hình

OpenShift AI 2.5 tập trung vào việc hoàn thiện hoạt động cho khối lượng công việc LLM: sử dụng GPU tốt hơn trên các nút, các tuyến phục vụ mô hình được hợp lý hóa và tích hợp chặt chẽ hơn với OpenShift GitOps và các chính sách bảo mật.

Giờ đây, các nhóm nền tảng có thể chuẩn hóa các điểm cuối suy luận cho nhiều mô hình, tách biệt các vùng tên của đối tượng thuê và áp dụng các chính sách mạng nhất quán—trong khi các nhóm khoa học dữ liệu vẫn duy trì quy trình công việc trong sổ ghi chép và quy trình quen thuộc. Đối với môi trường kết hợp, bản cập nhật cũng đơn giản hóa việc gắn các cụm GPU tại chỗ vào quản trị trung tâm.

cloudstrata thiết kế kiến ​​trúc OpenShift AI cho các ngành được quản lý, bao gồm các kịch bản air-gap và cloud có chủ quyền. Chúng tôi giúp bạn chuyển từ thử nghiệm một mô hình sang nền tảng suy luận nhiều nhóm với tính năng giám sát, quản lý hạn ngạch và kiểm soát chi phí được tích hợp sẵn.