Meta社は新たなオープンLLM「Llama 3.1」を発表し、大きな注目を集めています。
これまでMeta社のLlamaシリーズは他のクローズドLLMに劣るとされていましたが、Llama 3.1は性能面で一部のベンチマークにおいてOpenAIのGPT-4oやAnthropicのClaude 3.5 Sonnetを上回る結果を出しました。
また、Llama 3.1は生成データを他のLLMの学習に利用できるライセンスを導入し、LLM開発をさらに促進すると期待されています。
本記事では、このLlama 3.1をOpenShift AI上で動作させる手順を紹介しています。
必要なインスタンスやOperatorのインストール手順、LLMのサービング方法を解説し、最後にモデルのデプロイと推論の実行を行いました。