ObjectMover｜ビデオプリアに基づく生成的オブジェクトモーションモデリング

ObjectMoverはCVPR 2025で発表された研究であり、香港大学とAdobe Researchが共同で提案した。その中心的な目標は、オブジェクトの同一性の一貫性を維持しながら、照明調整、視点調整、オクルード領域充填、影と反射の同期などを含む、画像内のオブジェクト移動の複雑な課題に対処することです。従来の方法では、これらの統合された問題に対処することは困難であるため、研究チームは、シーケンス間モデリングを通じてオブジェクトの動きのリアリズム生成を達成するために、ビデオ生成モデルの先験的知識を活用することを提案している。

イノベーションの核心

1. ビデオ・ア・プリオリ・マイグレーション
   物体の動きを2フレーム映像の特殊なケースと考え、フレーム間の整合性をとるために事前に学習された映像生成モデル（拡散モデルなど）の学習能力を利用する。モデルを微調整することにより、動画生成タスクから画像編集タスクに移行する。
2. シーケンス間モデリング
   オブジェクトの移動タスクはシーケンス予測問題として再構成され、入力には原画像、ターゲットオブジェクト画像、コマンドマップ（移動の位置と方向がラベル付けされている）が含まれ、出力は移動後のオブジェクトの合成画像である。
3. 合成データセットの構築
   大規模なオブジェクト移動のための実データの不足に対処するため、最新のゲームエンジン（Unreal Engineなど）を使用して、複雑な照明、テクスチャ、オクルージョンのシナリオをカバーする高品質の合成データペアを生成し、モデル学習の汎用性を高めています。
4. マルチタスク学習戦略
   オブジェクトの移動、除去、挿入、ビデオデータの挿入という4つのサブタスクを組み合わせ、統一されたフレームワークを通じて合成データと実際のビデオデータでモデルを学習し、実シーンへのモデルの汎化能力を向上させる。

方法論の枠組み

1. モデル・アーキテクチャ
   • メインミッション（モバイル）入力画像、オブジェクト画像、コマンドマップ、拡散変換器によるターゲットフレーム生成、フュージョン時間ステップ、位置、タスク埋め込み。
   • サブタスク（削除/挿入）メインタスクと同様に、特定の編集目標を達成するために入力条件を調整する。
   • ビデオデータ挿入ビデオシーケンスに拡張し、フレーム間の一貫性を確保します。
2. 技術的詳細
   • ガウスノイズ摂動と拡散モデルを用いて段階的にノイズ除去を行い、忠実度の高い画像を生成する。
   • マルチタスク学習により、異なる編集タスクへのモデル適応を最適化する。

実験と結果

• 合成データの検証自作のゲームエンジンのデータセットで、極端なライティング、マテリアル、オクルージョンを処理するモデルの能力を検証します。
• リアルシーンの一般化マルチタスク学習により、このモデルは実際の画像編集においてロバスト性を示し、例えば、オクルード領域を正確に補完し、シャドウ効果を同期させることができる。
• アブレーション実験ビデオ事前学習、合成データ、マルチタスク学習の必要性を検証し、各要素の性能向上を実証。

適用値

ObjectMoverは画像編集のための画期的なソリューションを提供し、映画やテレビのポストプロダクション、バーチャルリアリティ、広告デザインなどで広く使用され、効率的でリアルなオブジェクトの位置調整を実現します。そのビデオモデルベースの転送学習戦略は、他の画像生成タスク（例えば、復元、スタイル化）を解決するための新しいアイデアを提供します。

研究チームとオープンソース

• 著者シン・ユー（香港大学）、ティエンユー・ワン（アドビ・リサーチ）ほか。
• オープンソース・プログラムこのウェブページでは、このコードがオープンソースであることについては明言していないが、論文へのリンク（追記予定）を提供しており、将来的にはGitHubやその他のプラットフォームを通じて公開される可能性がある。

概要ObjectMoverは、ビデオプリオとシーケンスモデリングの組み合わせにより、画像中の物体の動きという複雑な課題を解決し、生成的画像編集の新たなベンチマークを設定することに成功した。データ合成とマルチタスク学習における革新的なアプローチのブレークスルーは、コンピュータビジョンの分野にとって重要な参考価値を持つ。