【NVIDIA Cosmos実践入門】第3回:活用編 — Predict・Transfer・Reasonで何ができる?検証してみた

はじめに

こんにちは。SCSKの辻です。
連載コラム第1回ではNVIDIA DGX SparkTM上へのNVIDIA CosmosTM環境の構築、第2回ではJupyter Notebookを利用した実行方法について、濱田さんからご紹介しました。第3回では担当を引き継ぎ、私が実際にCosmosを操作しながら検証した内容をご紹介します。

これまでの記事ではCosmosを「動かすまで」の内容を中心にお伝えしましたが、今回からはいよいよ「Cosmosで何ができるのか」に焦点を当てていきます!
Cosmosには大きく分けて3つの中核機能があります。

機能主な入力主な出力今回確認すること
Predict:世界を生成する静止画+プロンプト入力を基に生成された動画1枚の基準画像から異なる作業シーンを生成できるか
Transfer:環境を変化させる既存動画+プロンプト+制御情報動作や構造を残しつつ変換した動画元の動きを保ちながら環境条件を変えられるか
Reason:動画を理解する動画+質問動画内容に基づく回答作業内容、危険要因、完了状態をどのように説明するか

それぞれ役割が大きく異なりますが、組み合わせて利用することで、フィジカルAI開発に必要な「生成」「拡張」「理解」を一連の流れで実現できる点が大きな特徴です。

ただし、今回のコラムではフィジカルAI開発やロボット学習での具体的な活用方法を深く掘り下げるのではなく、「Predictでは何ができるのか」「Transferでは何ができるのか」「Reasonでは何ができるのか」という機能そのものを理解していただくことを目的としています。実際にSCSKで生成したサンプル動画を用いながら、それぞれの機能がどのような入力を受け取り、どのような出力を生成するのかをご紹介します。

第1回・第2回の記事はこちら
Cosmosの検証環境を構築する手順は【NVIDIA Cosmos実践入門】第1回:環境構築編、Jupyter Notebookを使った実行方法は【NVIDIA Cosmos実践入門】第2回:運用編で紹介しています。
NVIDIA CosmosのPredict・Transfer・Reasonの概要を知りたい方へ
NVIDIA Cosmosの基本機能や世界基盤モデル(WFM)の仕組み、Predict・Transfer・Reasonの違いについては、NVIDIA Cosmos製品ページで詳しく解説しています。
今回のゴール
1枚の静止画を共通の起点として、Predict・Transfer・Reasonをそれぞれ試し、「コーヒーショップでのバリスタ作業」「自動車の運転」「工場での組立作業」という3つのシーンで、各機能がどのような入力を受け取り、どのような出力を生成するのかを確認します。

Cosmos Predict:1枚の静止画から無限の世界を生成する
~フィジカルAI用動画生成~

近年、生成AIはテキストや画像生成だけでなく、「世界そのもの」を生成する段階へ進化しています。その代表例の一つがNVIDIA Cosmos Predict 2.5です。Predict 2.5は、1枚の静止画と自然言語による指示から、高品質な動画を生成できる世界基盤モデル(WFM:World Foundation Model)です。

従来の動画制作では、シーンごとに撮影やCG制作が必要でしたが、Predict 2.5では一つの素材を起点として、多種多様な環境や作業シーンを生成・展開できます。

検証条件:一人称視点のヒューマノイド画像を共通入力にする

今回の検証では、まずこちらの1枚の静止画を用意しました。
※実写、CG、生成AI画像なんでもOK。

検証に使用した一人称視点のヒューマノイド画像

6畳程度の白い室内に、画面左側にあるレースカーテンの掛かった窓から柔らかな自然光が差し込んでいます。ヒューマノイドの頭部カメラの視点から、両腕と白いテーブルが見えますね。つまり、人間が自分の手元を見るような一人称視点(First Person View)の画像です。

この1枚を共通の起点とし、Predict 2.5のImage2World機能によって、プロンプトを変えて異なる作業シーンの生成を試しました。参考プロンプトはこちら:

ENGLISH PROMPT

First-person view from a humanoid robot standing in a bright modern white room, both robotic arms extending from the lower left and lower right corners toward the center, camera tilted downward about 45 degrees looking at a large white table directly in front, expansive tabletop occupying most of the frame, clean white walls in the distance, ceiling barely visible, realistic perspective, wide-angle lens, photorealistic lighting, minimalistic interior, ultra realistic, high detail.

NEGATIVE PROMPT

top-down view, bird's-eye view, camera facing straight ahead, excessive ceiling visibility, looking upward, floating arms, detached hands, missing tabletop, cluttered room, dark walls, furniture, people, objects on table, cropped arms, distorted perspective

シーン1:コーヒーショップでのバリスタ作業

1つ目は、ヒューマノイドがコーヒーショップでエスプレッソを抽出する場面です。プロンプトでは、ロボットの腕と一人称視点を維持しつつ、白い部屋を店舗カウンターへ置き換え、片手でカップを持ち、もう一方の手で抽出機器を操作する状況を指定しました。

PROMPT

"Completely replace the white room and table environment with a modern busy coffee shop while preserving only the humanoid robot arms and first-person camera perspective. Preserve the robotic arm design but allow the arm pose, wrist rotation, finger articulation, and hand position to change naturally for the task. The right robotic hand firmly grasps the handle of a white coffee cup. The left robotic hand firmly holds and operates the espresso machine portafilter or brewing lever. Fresh espresso is flowing from the machine directly into the cup. Both hands are physically interacting with the objects and making clear contact. Modern coffee shop counter, professional espresso machine, coffee equipment, warm ambient lighting, wooden interior, blurred customers in the background, shallow depth of field, photorealistic, realistic metal reflections, cinematic atmosphere, ultra detailed, live action quality."

生成結果では、ベース画像とは異なるさまざまな店舗環境が展開され、カップ、エスプレッソマシン、カウンターなどが追加されました。

動画① Predict シーン1(コーヒーショップでのバリスタ作業)生成結果

シーン2:ヒューマノイドの自動車運転

2つ目は、自動車の運転シーンです。ベース画像の一人称視点と両腕の構図を利用し、車内、ステアリング、前方道路を含む映像の生成を試しました。

PROMPT

Completely replace the white room and table environment with the driver seat of a modern vehicle while preserving only the humanoid robot arms and first-person camera perspective. Preserve the robotic arm design but allow arm pose, wrist rotation, finger articulation, and hand position to change naturally for driving. Both robotic hands firmly grasp the steering wheel and actively perform steering maneuvers. The hands are clearly in contact with the wheel and visibly controlling the vehicle. The cockpit features a modern digital instrument cluster, central touchscreen display, and advanced driver assistance displays. Through the windshield, a wide urban arterial road is visible with skyscrapers, traffic lights, roadside trees, moving vehicles, and modern city infrastructure. The vehicle is smoothly driving through city traffic while making subtle steering corrections. Realistic motion cues, natural daylight, photorealistic lighting, cinematic quality, ultra-detailed cockpit environment, realistic reflections, live-action appearance, shallow depth of field, futuristic mobility experience.

生成結果では、屋内×机というベース画像から車内視点へと大きく場面を変えられることを確認しました。腕とステアリングの位置関係や、走行中の背景変化が自然に継続するかは、用途に応じた追加評価が必要です。

動画② Predict シーン2(ヒューマノイドの自動車運転)生成結果

シーン3:工場での組立作業

3つ目は、工場内で部品を扱う組立作業です。工場設備、金属部品、作業台などをプロンプトで指定し、ヒューマノイドの両腕が作業対象へ接触する映像を生成しました。

PROMPT

Completely replace the white room and table environment with an advanced automotive manufacturing facility while preserving only the humanoid robot arms and first-person camera perspective. Preserve the robotic arm design but allow arm pose, wrist rotation, finger articulation, and hand position to change naturally for the assembly task. The right robotic hand firmly holds an automotive component. The left robotic hand precisely aligns and installs the component into the vehicle assembly. Both hands are making clear physical contact with the parts and actively performing assembly work. In front of the camera are vehicle body structures, assembly stations, precision automotive components, electric assembly tools, jigs, conveyors, collaborative robots, automation equipment, and digital production displays. Modern smart factory environment, advanced automotive production line, bright industrial LED lighting, clean and organized manufacturing floor, realistic metal reflections, photorealistic, ultra-detailed, cinematic quality, real-world industrial appearance, shallow depth of field, futuristic industrial facility.

生成結果はこちらの通りで、しっかりと製造現場を再現してくれました。ただし、組立手順の正しさや部品同士の幾何学的な整合性まで保証するものではありません。学習データとして利用する場合は、目的に応じた品質確認が欠かせません。

動画③ Predict シーン3(工場での組立作業)生成結果
Predict検証のポイント
同一のベース画像から、プロンプトによってカフェ、車内、工場という異なるシーンへ展開できました。一方、「生成できたこと」と「ロボット学習にそのまま利用できる品質であること」は分けて評価する必要があります。

Cosmos Transfer:動作を参照しながら環境を変換
~フィジカルAI向け動画拡張~

Predictでは静止画を起点に動画を生成しました。一方、NVIDIA Cosmos Transfer 2.5は、既存の動画をベースに、元動画に含まれる動作や構造を参照しながら、必要な要素を維持しながら周辺環境のみを変化させることができます。

維持したい要素、変化させたい要素を自然言語やマルチモーダル素材で指定し、動画全体を変換できるVideo2Worldな生成モデルです。

Predictが「存在しない世界を生成する」アプローチであるのに対し、Transferは「現在の動作や構造を維持しながら周辺環境を変化させる」ことを得意としています。そのため、ロボットの作業動作、車両運転操作、生産設備の操作といった実際の行動データを保ちながら、大量の学習用データを生成できます。フィジカルAIやロボティクスに必要な強化学習データを高品質かつ効率的に生成できる技術です。

今回は、前章でご紹介したPredict 2.5によって生成した各シーンの動画をインプットとして、Transfer 2.5の出力を検証しました。

シーン1:カップや店舗環境を変えたバリスタ作業

最初の検証はコーヒーショップでのバリスタ作業です。入力となる動画では、ヒューマノイドの腕、エスプレッソマシンを固定要素とします。その上で、コーヒーカップの形状、コーヒーカップの色、店舗デザイン、カウンター構造、店内照明、客席レイアウトなどを変更する指示を与えました。

PROMPT

"Preserve the robotic hands, robotic arm structure, mechanical joints, materials, textures, proportions, and the entire espresso machine exactly as they appear in the input video without any redesign, replacement, repositioning, resizing, or modification while allowing only natural arm and finger motion for the task, freely transforming the coffee cup into a highly reflective chrome-plated metal cup, with the right robotic hand firmly grasping the cup handle and the left robotic hand operating the portafilter or brewing lever while fresh espresso flows into the cup, changing the background into a street-side coffee shop with an open storefront where customers are standing in line at the counter and pedestrians are walking behind them while bicycles and passing vehicles move through the surrounding urban street, maintaining the existing coffee shop layout, counter position, furniture arrangement, and overall store structure while freely transforming the floor, walls, lighting, decorative elements, reflections, shadows, color temperature, and atmosphere, with realistic physical interaction among all objects, highly photorealistic rendering, cinematic realism, ultra-detailed visuals, and live-action quality."

結果はこちらの通りで、変更を依頼した箇所がしっかり変わっていることが分かります。ヒューマノイドは常に同じ動作を行いますが、周辺環境が変化することで、実環境変化に強いロボット制御モデルを学習させることができます。

動画④ Transfer シーン1(カップや店舗環境を変えたバリスタ作業)生成結果

シーン2:交通条件を変えた自動車運転

次はヒューマノイドの自動車運転です。入力動画のうち、ヒューマノイドの腕、ステアリング操作、ダッシュボード、車内レイアウトを維持します。

PROMPT

"Preserve the existing first-person driver viewpoint inside the moving vehicle and maintain the humanoid robot actively gripping and steering the wheel with both hands at all times, while multiple vehicles ahead on the urban arterial road suddenly collide in a chain-reaction crash and completely block the roadway, generating dense white and black smoke that progressively reduces visibility through the windshield, with the humanoid reacting immediately by firmly grasping the steering wheel and performing active evasive steering maneuvers, surrounding traffic rapidly braking with illuminated brake lights, creating a photorealistic cinematic accident sequence with realistic smoke dynamics, natural vehicle behavior, dramatic tension, dynamic reflections, and live-action quality."

出力された動画には、入力の際にはなかった雨のシーンなどが追加されました。実際の運転データを大量に収集することは困難ですが、Transferを活用することで、同じ運転行動を様々な環境条件へ展開できます。これにより、運転支援AIや自律移動ロボットに必要となる環境適応能力の強化学習データを効率よく増やせます。

動画⑤ Transfer シーン2(交通条件を変えた自動車運転)生成結果

シーン3:工場環境や対象物を変えた組立作業

最後は製造業向けの組立作業です。ヒューマノイドの腕、基本的な組立動作を固定し、機械加工設備、工具、配管、組立治具、金属部品などを含む環境への変換を試しました。

PROMPT

"Preserve the robotic hands, robotic arm structure, mechanical joints, materials, textures, proportions, and metallic appearance exactly as they appear in the input video without any redesign, replacement, repositioning, resizing, recoloring, or modification while allowing only natural arm motion, wrist rotation, and finger articulation, transforming the background into a small machine shop filled with oil stains, cutting fluid residue, machine tools, tool racks, industrial equipment, piping, and assembly fixtures, where the robot firmly grasps a precision-machined steel gear with its right hand while the left hand aligns the component and accurately connects the gear into a precision mechanical assembly, maintaining continuous physical contact between both hands and the objects throughout the operation, with realistic metal reflections, machining marks, oil film details, wear patterns, photorealistic lighting, an ultra-detailed industrial environment, cinematic realism, first-person humanoid robot perspective, and live-action quality.

出力からは、入力動画の動作を参照しながら、背景や作業対象の外観を変えられることを確認しました。

動画⑥ Transfer シーン3(工場環境や対象物を変えた組立作業)生成結果
Transfer検証のポイント
Transferは、既存動画を変換の土台にできる点がPredictとの大きな違いです。元の動作や視点をどこまで維持できるか、変えたい要素だけを変更できたかを、入力と出力の比較で評価します。

Cosmos Reason:生成された世界を理解し、次の行動と危険を推論する
~フィジカルAI向け動画認識技術~

Cosmos Reasonは、PredictやTransferのように「動画を生成するモデル」ではなく、動画の内容を理解し、物理的な意味や次に起こる行動を推論するVLM(Vision Language Model)です。

動画を入力すると、

  • 何が映っているか
  • 何をしているか
  • なぜその動作をしているか
  • 次に何をするべきか
  • 潜在的な危険は何か

を段階的に推論します。

例えばユーザーが、「このロボットは何をしている?」と質問すると、単なる画像認識ではなく、作業目的、行動意図、危険性、次の行動予測まで推論できます。

今回の検証では、先の3つのシーンそれぞれに対して異なる質問を投げ、どのような回答が返ってくるかを見ていきます。

シーン1:バリスタ作業の内容を説明できるか

コーヒーショップでのバリスタ作業のシーン

質問:What is the humanoid doing?
(ヒューマノイドは何をしていますか?)

COSMOS REASONの回答

The humanoid robot is dispensing espresso into a cup held under the espresso machine's spout, adjusting its grip to accommodate the steady flow of liquid while ensuring the cup collects properly. Its mechanical arms stabilize the cup to prevent spills or overflow, facilitating the brewing process.

(ヒューマノイドロボットは、エスプレッソマシンの吐出口の下でカップを保持し、注がれるエスプレッソの流れに合わせて持ち方を調整しながら、液体を正しく受けられるよう支えています。機械式の腕でカップを安定させることで、こぼれやあふれを防ぎ、エスプレッソの抽出作業を補助しています。)

ばっちりですね👍

シーン2:自動車運転シーンの危険要因を挙げられるか

自動車運転シーン(視界不良と交通渋滞)

質問:What hazards exist in this scene?
(このシーンにはどのような危険がありますか?)

COSMOS REASONの回答

The scene presents several hazardous elements that could endanger occupants and others:

  1. Distorted Visibility: Steam/smoke on the windshield obscures the view of the road and traffic ahead, impairing situational awareness.
  2. Congested Traffic: Heavy police cruisers and sirens create a chaotic environment, risking delays, reckless maneuvers, or accidents due to erratic policing.
  3. Distractions: Loud sirens and flashing lights may distract drivers, compromising reaction times.
  4. Autonomous Risks: Robotic arms controlling the steering wheel suggest automation, but malfunctions or reduced responsiveness in automated systems could lead to collisions.
  5. Congestion/Pedestrian Hazards: Dense traffic and proximity to police cruisers increase risks of jackknifing, rear-end crashes, or collisions with fleeing suspects/passengers.

These factors combine to create a perilous urban-driving scenario demanding heightened caution and awareness.

(総合的に見ると、このシーンの危険要因は、視界不良(煙・蒸気による前方視認性の低下)、交通環境リスク(激しい渋滞・混雑)、注意散漫要因(サイレンや緊急車両による影響)に分類できます。)

このように、環境を多角的に分析して、複数の危険要因を挙げてくれました。

シーン3:組立作業が正しく完了したか判断できるか

工場での組立作業シーン

質問:Has the assembly been completed correctly?
(組立作業は正しく完了していますか?)

COSMOS REASONの回答

The assembly appears to be progressing correctly based on the visual cues provided. The robotic arms are shown performing "precise adjustments" to a metallic component, indicating skilled automation and attention to detail. The sleek, dark-colored car with its open front panel suggests a refined manufacturing process, and the orderly arrangement of platforms and components implies a systematic workflow. However, the video does not explicitly confirm the completion of the assembly-sequence or reveal defects/errors. The absence of visible flaws or interruptions in the process, combined with the emphasis on precision and automation, strongly suggests that the assembly is underway without flaws. Final validation would require confirmation of the completed state (e.g., inspection of the finished car), which is not shown in the video.

(映像から判断する限り、組立作業は正常に進行しているように見えます。ロボットアームは金属部品に対して精密な調整作業を行っており、高精度な自動組立工程が実施されていることが示されています。車両前部が開放されていることから、組立または調整工程の途中であると考えられます。作業エリアや設備の配置は整理されており、体系的な製造プロセスが行われているように見えます。映像内には、部品の欠落、位置ずれ、故障、異常停止などの明確な不具合は確認できません。ただし、動画には完成後の検査結果や最終状態は映っていないため、「組立作業が正しく進められている可能性は高いものの、組立が完全に正しく完了したと断定することはできません。」最終的な判断には、完成車両の検査結果や品質確認工程の情報が必要です。)

明確に回答が難しい質問に対しても、こうしてその理由も含めてしっかり解説してくれます。

Reason検証のポイント
Reasonは映像を自然言語で説明・整理できますが、回答が映像事実と一致するかは検証が必要です。特に安全性や品質に関わる判断では、人による確認と明確な判定基準を前提に利用します。

おわりに

本コラムでは、NVIDIA Cosmosを構成する3つの中核技術である「Predict」「Transfer」「Reason」をご紹介しました。

Cosmos Predictは、1枚の静止画から未来の動きを予測し、無限の可能性を持つ動画を生成するPhysical AI向けの世界モデルです。実在しない環境やシナリオであっても、物理法則を考慮しながら自然な映像を生成し、ロボット学習に必要なデータを効率的に生み出します。

動画⑦ Cosmos Predictの生成結果(まとめ)

Cosmos Transferは、元の作業内容や動作を維持したまま、周辺環境や状況のみを自在に変化させる動画拡張技術です。同じ作業を行いながら、天候、時間帯、場所、設備、対象物などの条件を無数に変化させることで、実環境では収集が困難な膨大な学習データを生成できます。

動画⑧ Cosmos Transferの生成結果(まとめ)

Cosmos Reasonは、映像の内容を理解し、人やロボットが何を行っているのかを認識するだけでなく、作業手順の理解、安全性の評価、さらには次に起こる行動の予測まで行う映像理解AIです。生成だけでなく「理解」まで担うことで、フィジカルAIの知能化を支える重要な役割を果たします。

これら3つの技術を組み合わせることで、これまで大量の実機テストや長期間の実環境データ収集が必要だったロボット開発プロセスを大幅に効率化できる可能性があります。生成、拡張、理解という一連の流れを統合することで、フィジカルAIの開発サイクルはこれまで以上に高速化し、より複雑なタスクへの適応が期待されています。

フィジカルAIの進化はまだ始まったばかりです。Cosmosはその基盤となる世界モデルとして、今後のロボティクスやデジタルツインの発展を加速させる重要な技術になるでしょう。

著者プロフィール

著者プロフィール画像

辻 淳也(つじ じゅんや)
SCSK株式会社 プロダクトエンジニア
Omniverse/Composer、XR、CGモデリング、レンダリング、生成AIを統合し、フィジカルAI領域の先端ビジュアル技術に従事。

お問い合わせ・資料DL

NVIDIAソリューションに関するご相談や、各種資料ダウンロードはこちらから