NVIDIA Cosmos
物理世界の法則を理解し、ロボットや自動運転などのフィジカルAIを構築するための世界基盤モデル

フィジカルAIとは

フィジカルAIによって、カメラ、ロボット、自動運転車などの自律システムに対する、物理世界における、認識、理解、推論し、複雑な行動の実行や調整ができるようになります。これまで、自律システムは周囲の世界を認識したり感知したりすることができませんでした。しかし、フィジカルAIを使用することで、現実世界の周囲環境とシームレスにやりとりができるようになり、適応するロボットの開発やトレーニングが可能になります。

フィジカルAIを構築するには、自律マシンのトレーニングに安全で制御された環境を提供する、強力な物理ベースのシミュレーションが必要です。フィジカルAIによって、複雑な作業を行うロボットの効率性と精度が向上し、人間とマシンの間でより自然なやりとりが可能になります。これによって、現実世界での活用におけるアクセシビリティと機能が向上します。

世界基盤モデル（World Foundation Model）とは

世界基盤モデル（WFM＝World Foundation Model）は、AIが物理法則や空間特性などの現実世界を理解し、シミュレーションするためのニューラルネットワークです。NVIDIA Cosmosが代表的なモデルです。

NVIDIA Omniverseとの連携

NVIDIA Cosmosは、NVIDIA Omniverseと連携することで、仮想空間と現実世界をつなぐ開発サイクルを構築します。Omniverseは、物理的に正確な仮想世界（デジタルツイン）を構築するプラットフォームであり、Cosmosはその仮想世界を活用して、AI学習用の合成動画を生成します。

• Omniverseでロボットや自動運転車が動作する物理的に正確な仮想世界を生成
• Omniverseのシーンから、多様な環境・照明条件下での訓練用ビデオを生成
• 生成された訓練用ビデオによって、ロボットや自動運転車のAIを学習・訓練
• 学習済みモデルをOmniverseで検証

このように、CosmosとOmniverseを組み合わせることで、仮想空間内で「シミュレーション → データ生成 → 学習 → 検証」の一連の開発プロセスを完結させることが可能になります。

Cosmos Predict／未来状態の予測

Cosmos Predictは、テキスト・画像・動画などの入力から、最大30秒の未来状態を予測する高精度な世界生成モデルです。2B/14Bパラメータの大規模モデルを活用し、物理法則や環境変化を考慮したリアルな予測ビデオを生成します。

• 独自データによるポストトレーニングに対応し、特定業務や環境に最適化可能
• クローズドループ制御やマルチビュー視点のロボット動作を再現

Cosmos Transfer／シミュレーションから現実への転移

Cosmos Transferは、シミュレーションで生成されたデータを、現実世界に近いフォトリアルな合成データへと変換する機能です。セグメンテーション、深度情報、レアケースなどの多様な入力をもとに、現実に即した学習データを生成します。

• Isaac Simなどの物理シミュレーターと連携
• 照明、天候、物体配置などの条件をランダムに変化させ、多様なシーンを再現

Cosmos Reason／視覚言語モデル（VLM）による推論

Cosmos Reasonは、視覚と言語を統合した最先端の視覚言語モデル（VLM：Vision Lanugage Model）により、AIが人間のように状況を理解・推論することを可能にします。物理法則や常識、事前知識を組み合わせ、リアルタイムで自律的に動くAIを実現します。

• フィジカルAIが、環境を理解し、適切な行動を選択
• 実世界でのAIの自律性と信頼性を向上

製造業、ロボティクス分野

製造業においては、物理的な実際のデータ（ビデオやセンサーのデータ）の収集コストを大幅に削減することができ、シミュレーションと機械学習を高速化できます。

モビリティ、自動運転

Omniverseによる仮想世界と連携した高度な環境シミュレーション、実証テストではリスクがともなう危険な走行状況の生成などが可能で、自動運転AIの安全性と開発速度が向上します。

インフラ、社会システム

道路情報、交通量、防災データを入力し、都市全体のデジタルツインを構築することができます。渋滞の解消、再生可能エネルギーの供給予測、その他インフラの最適化シミュレーションに利用できます。また、地震、洪水などの災害をシミュレーションすることで、都市インフラの脆弱性を事前に把握、避難や復旧計画に応用することも可能です。

シミュレーションと現実のギャップ解消

シミュレーションによって生成された仮想世界と現実世界の間にあるシミュレーション・現実ギャップを解消することが目的です。

開発・検証コストの削減

ロボティクス、自動運転、視覚AIエージェントの分野において、従来の学習・運用プロセスを大幅に効率化し、製品の市場投入までのコストを大幅に抑えることが可能です。

フィジカルAI活用の高速化

現実世界を理解し、シミュレーションするAIモデルで、ロボティクス、自動運転、産業用AIの学習・開発を大幅に高速化します。主な高速化のポイントは、高品質な合成データ（ビデオ）を高速に生成し、物理AIの学習時間を大幅に短縮することが可能です。