OpenShift AIの最新リリースバージョンv2.4では、機械学習の分散学習を実現する機能がTech Previewとして追加されました。
この機能はCodeFlareプロジェクトによって開発されており、CodeFlare SDK、MCAD、InstaScale、KubeRayなどのコンポーネントで構成されます。
分散学習では、CodeFlare SDKを使用してRay Clusterのリソースを定義し、MCADに送信します。
Ray Clusterが作成されると、学習ジョブを定義して実行できます。
このプロセスでは、DDP(Distributed Data Parallel)を活用して、Ray Clusterの各ワーカー上でデータを分割して処理します。
CodeFlareによる分散学習は、大規模モデルの活用やファインチューニングにおいてニーズが高まっているため、今後のアップデートにも注目が集まっています。