ビデオ内のオブジェクトを置き換えるAIツール:テイクを維持し、プロップを変更する

オブジェクトに必要なコントロールを選択してください

特定の製品については、複雑な形容詞で満たされたプロンプトよりも参照画像の方が重要です。正確なテキストを持つ看板や電話の画面については、生成的な再描画よりも追跡されたグラフィックスの方が信頼性が高い場合があります。指の後ろに部分的に隠された小道具については、前景の手も交換と同様に注意が必要です。

背景の変更には独自の選択問題があります:髪、透明なエッジ、被写体の分離。それが本当の仕事である場合は、AIビデオ背景置換のガイドを参照してください。ここでは、中心的なタスクはシーン内のオブジェクトを置き換えることです。

1. Dreamina:交換品をブリーフに入れる

DreaminaのRecreateワークフローは、参照ビデオとビジュアル参照を組み合わせています。オブジェクトスワップは、周囲のショットを保持しながら、新しい製品、小道具、衣装、またはその他の要素を指定したい場合に関連するモードです。

始め方。DreaminaRecreateを開き、利用可能なモデルとオブジェクトスワップを選択し、ソースビデオと少なくとも1つの置換画像を追加します。何が変わるべきか、何が残るべきかを説明してください。タスクセンターで生成されたクリップを確認し、再編集を使用して要求を絞り込みます。

適切なモデルを選択してください。文書化された標準のRecreateはSeedance 2.5を使用し、1つの4-30秒のビデオを受け入れます。Recreate LiteはWan 3.0を使用し、4-15秒を受け入れます。利用可能な地域とアカウントによって異なります。アップロード前に意図したセグメントを準備する:文書化された起動ワークフローではセグメントの選択やトリミングが提供されず、長すぎる入力は拒否されます。

なぜそれを選ぶのか。ワークフローは、既存のモーションと代替品の外観の両方から始まります。それは、テキストから同様の新しいショットを生成するよりも、製品の適応により直接的に適合します。両方の入力に対して結果を判断してください。信憑性のある新しいオブジェクトには、まだ適切な形状と相互作用が必要です。

2.滑走路:ビデオの前にキーフレームを承認する

ランウェイの編集スタジオは、代替品に有用な中間段階を提供します。クリアフレームを編集し、提案された外観を検査し、選択したバージョンをAleph 2.0で動くショットに適用することができます。

それがどのように機能するか。アプリからEdit Studioを開き、クリップをアップロードし、ターゲットを明確に示すキーフレームを選択してください。短い変更指示を書き、必要に応じて参照画像を追加してください。調整された画像をプレビューし、必要に応じて調整してからビデオを生成してください。範囲コントロールを使用すると、編集をクリップの一部に制限できます。

なぜそれを選ぶのか。もし代替品が静止しているときに間違って見える場合、動きを通じてそれを伝播することは、元の問題を解決せずに作業を追加します。プレビューでは、体格、形状、配置を最初に修正できます。エクストラモーションは別のオプション命令です。通常のプロップスワップには必ずしも必要ありません。

条件だ現在のドキュメントには、従来のアスペクト比、480 p-1080 p入力、24-30 fps、10カット以下がリストされています。アップロードガイダンスでは、2秒以上30秒未満の動画が必要です。ビデオ生成には、編集された1秒あたり28クレジットが必要で、最低56クレジットが必要です。キーフレーム画像の反復は別途料金がかかります。ProResとPNGシーケンス生成には、追加の計画とコスト条件があります。

3. Kling AI:ビデオと参照に明示的に名前を付ける

KlingのO 1編集ワークフローは、ビデオ、テキスト、画像または要素の参照を組み合わせています。一般的な命令では通信できない特定の外観を持つ置換がある場合に役立ちます。

それがどのように機能するか。編集ワークフロー内の既存のビデオを指定し、関連する置換参照を追加し、命令でインターフェイスの参照タグを使用します。目標と意図された変更を明確に説明してください。複数のビューから構築された要素は、1枚の曖昧な写真よりも多くの外観情報を提供できます。

なぜそれを選ぶのか。タグ付きの参照は、紹介したいアイテムからソース映像を分離するのに役立ちます。プロンプトはオブジェクトの役割と色を識別することができます。「右手に持っているボトルを参照されたボトルに置き換える」は「このボトルを追加する」よりも明確です。

条件だ公式のO 1ガイドには、最大200 MB、2 K入力の3ー10秒のビデオが1つ記載されており、ビデオがある場合は最大4つの画像または要素が結合されます。それらはO 1固有の条件です。別のショットを生成するためのビデオリファレンス機能と、元のショットを編集するための機能を混同しないでください。出力タスクは異なります。

4.ヒッグスフィールド:ローカル変更のためにオブジェクトスワップを選択してください

ヒグスフィールド幻術は、オブジェクトスワップとモーション転送を分離します。その区別は重要です:最初のものは選ばれた要素をターゲットにし、2番目のものは動きを使ってシーンのより多くを再構築します。

それがどのように機能するか。ビデオモデルピッカーで幻術を選択し、オブジェクトスワップを選択して、クリップと置換画像をアップロードしてください。現在の標準ワークフローは、4ー30秒のビデオと最大30枚の参照画像を受け入れます。参照やプリセットがより多くの指示を必要とする場合、短いプロンプトで変更を指定できます。

なぜそれを選ぶのか。オリジナルのパフォーマンスとショットタイミングがすでに機能している場合、製品、小道具、または衣装のバリエーションに適しています。1つの明確な参照は、単純な置換に十分な場合があります。より複雑なアイテムをよりよく説明するために、いくつかの有用なビューがあります。

トレードオフ。プロンプトターゲット編集は、オブジェクトごとにレビューする必要があります。似たようなアイテム、誰かの後ろに消える小道具、または別の角度へのカットは、ターゲットをより明確にすることができません。複雑なシーケンスをショットに分割し、1つの広範な要求がすべての外観をカバーすると仮定するのではなく、それぞれの見えるアイテムに名前を付けてください。

5. Beeble SwitchX:生成される領域を決定する

Beeble SwitchXはアルファマスクを使用して、保持されたソースリージョンと生成されたリージョンを区別します。それは、単に言葉からターゲットを推測するためにモデルに頼るのとは異なる種類の制御を提供します。

それがどのように機能するか。映像を提供し、マスクを定義し、望ましい外観のためのプロンプトまたは参照を追加してください。ビーブルの現在の説明は、保持されたソース領域に白を使用し、完全に生成された領域に黒を使用しています。提出する前にその規約を確認してください。逆マスクはフレームの誤った部分を変更します。

なぜそれを選ぶのか。マスクは、オブジェクトが顔、衣服、または他の重要な特徴に近い場合に検査するための目に見える境界を提供します。代替ブリーフには、周囲の光と視覚スタイルも指定できます。

トレードオフ。SwitchXは、新しいシーンに合わせてソースエリアを再点灯および再スタイルすることができます。未処理のピクセルが配信要件である場合は、その動作を調べ、従来のコンポジットを検討してください。そのワークフローは、保存を曖昧な約束として扱うのではなく、生成された領域を明示的にすることができるため、正確に役立ちます。

6. Pika:現在のSwap Anythingアプリを使用してください

Pikaの現在のSwap Anythingアプリは、クリップ、変更内容の説明、およびオプションの参照を受け入れます。小道具、製品、衣服、キャストに対する創造的な変更の直接的なルートを提供します。

それがどのように機能するか。ビデオをアップロードし、置き換える要素に名前を付け、意図した外観の参照を追加してください。変更されたバージョンを生成し、その新しい外観を元のムーブメントと比較します。目的が1つの小道具である場合、関係のない変更カテゴリを空にしてください。

なぜそれを選ぶのか。タスク指向のアプリは、一般的なビデオモデルを最初に選択するのではなく、スワップから始めたい場合に便利です。遊び心のあるソーシャルクリップを作るには、ソースをピクセルごとに保つよりも大胆な変換を重視することができます。

トレードオフ。古いガイドでは、機能をPikaswapsと呼び、以前のインターフェースから設定を説明することがあります。アプリから起動し、利用可能なモデルと生成設定を調べてください。古いPikaプランや解決策に関する主張は、現在のアプリの自動的な条件ではありません。

7. Luma:Ray 3.2を使用して動きと構造を制御する

Lumaの現在のRay 3.2 Modify Video V 2ワークフローは、モーションと空間レイアウトをガイドとして使用しながら、既存の映像を変換します。プロップの変更がより広範なクリエイティブなトリートメントに属する場合に役立ちます。

それがどのように機能するか。Modify Videoを開き、Ray 3.2を選択し、ソースをアップロードし、置き換えを説明してください。モーションコントロールは動きとカメラのダイナミクスに関係しています。構造は、結果が元の形状や構図にどの程度厳密に従うかを制御します。局所的な小道具の変更のために強い構造の付着から始め、意図された新しい形状がより自由を必要とする場合にのみ緩めます。

なぜそれを選ぶのか。これにより、アクションを保持することとオブジェクトの古いジオメトリを保持することが分離されます。マルチキーフレームガイダンスは、クリップを通じて外観がどのように変化するかを指示することもできます。

条件だModify Videoは、24 fpsで最大20秒、30 fpsで最大15秒、60 fpsで最大7秒をサポートし、出力は最大1080 pまで可能です。速い、ぼやけた、または重く遮蔽されたアクションは追跡が難しいです。製品と周囲のシーンを確認してください:性能の保存は、未変更のピクセル保証ではありません。

8. After Effects:精度が重要な場合は、削除、追跡、合成を行います

After Effectsは、置き換え全体を発明する単一のプロンプトではなく、合成ルートです。オブジェクトが正確な動きに従う必要がある場合、正確なアートワークを表示する必要がある場合、または別々に制御された前景の手の後ろに座る必要がある場合に役立ちます。

それがどのように機能するか。元のオブジェクトをマスクして追跡します。必要に応じて消える必要がある場合、Content-Aware Fillは周囲のフレームを使用してカバーされた領域を再構築できます。難しい背景には修正された参照フレームが必要な場合があります。置換を別の要素として追加し、その動きと遠近法を追跡し、マスクまたはロトスコープを使用して前景のオクルージョンを復元します。

なぜそれを選ぶのか。電話の画面、フラットな本の表紙、または看板には、しばしば正確なテキストが必要です。実際のアートワークを追跡して配置することで、そのアートワークをあなたのコントロール下に保ちます。「説得力のあるバージョンを生成する」という作業から、「この特定のアセットをショットに正しく収める」という作業に移行します。」

トレードオフ。あなたはより多くのクラフトを提供します:トラッキング、エッジ、モーションブラー、ライティング、コンタクトシャドウ。Content-Aware Fillだけではオブジェクトが削除されます。自動的に商品が挿入されるわけではありません。置換せずに除去するために、ビデオから不要なオブジェクトを削除するためのガイドは、クリーンアップの決定を別々にカバーしています。

1つの明確に見えるオブジェクトを中心にスワップを構築してください

有用な最初の試みは、見えるターゲットと互換性のある角度から撮影された代替基準を持つ短い連続ショットです。複数の異なるオブジェクトを含む長いモンタージュよりも、制御された置換からより多くを学びます。

ソースと交換品を一緒に準備してください

ツールにトリミングコントロールがない場合は、アップロードする前にソースを関連するアクションにトリミングします。オブジェクトが入り、動き、出るのを見るために、十分なリードインとエンディングを保ってください。アクションの途中で手や物を隠す作物は、結果を判断するのがより難しくなります。

シルエットと重要な詳細を示すクリーンな置換参照を使用してください。正面図はラベルを付けるのに役立ちます。斜めのビューは厚さを伝えます。ショット中に回転する製品について、正面の写真1枚は側面と背面を発明の余地を残します。まだ認識可能な商品アセットを準備している場合は、広告用の一貫した商品画像に関するガイドで、どの詳細を修正する必要があるかを説明しています。

変更と保持されたアクションを別々に書いてください

実用的な開始手順は次のとおりです:

テーブルの上の白いマグカップを参照画像の青いセラミックマグカップに置き換えてください。人、手、テーブル、カメラを動かしてください。人がマグカップを持ち上げるときは、指をマグカップの前に置いてください。元の光とコンタクトシャドウを合わせます。

オブジェクトとアクションをクリップに合わせます。可能であれば、ツールの実際の参照ラベルまたはタグを使用してください。「Replace」は、元のアイテムが消える必要がある場合に「add」よりも役立ちます。そうでない場合、リクエストは両方のオブジェクトをシーンに残すことができます。

キーフレームプレビューが利用可能な場合は、まず静止した外観を解決してください。交換物の体格を手や近くの家具と照らし合わせ、ベースの角度とシーン内での位置を確認してください。それから、そのバージョンを動き出させてください。

アクション全体とダウンロードした結果を確認する

始まり、最も強い動き、すべての重なりと終わりを調べてください。手が交差する前に正しく見えるボトルは、その後別のラベルで戻ることができます。突然の体格の変化、間違った側に現れるハンドル、または元のオブジェクトを示す反射に注意してください。

クリップを意図した速度で再生し、キーフレームを検査します。孤立した静止画では、ちらつきや短い消失は気づきにくい場合があります。候補をエクスポートし、実際のファイルの長さ、フレーミング、最終的な外観を確認してから、より長い編集に入れてください。ショットのリメイク中にカメラのみを動かし続けるタスクの場合は、別のワークフローを使用して、カメラの動きで製品ビデオをリメイクします。

実際に起こった失敗を修正してください

古いオブジェクトが残っているか、一部の外観だけが変わっています。ターゲットの説明をより具体的にし、シーケンスをカットで分割してください。本、空白のカード、そしてパッケージは人に似ているかもしれませんが、別々の説明が必要です。マスクベースのツールの場合、どの領域が選択されているかを確認し、ターゲットが再び表示されたときにマスクを確認します。

交換品に手が溶け込む。タスクにはオクルージョンが含まれます:一部の指は前にあり、オブジェクトの一部は後ろにあります。より明確なフレームを選択し、要求された形状の変化を減らすか、元の手を前景コンポジットとして復元してください。より詳細な製品写真だけでは、すべての手と物の相互作用を説明することはできません。

オブジェクトは移動中に形状またはブランドを変更します。関連するビューを明らかにし、ショットを簡素化する参照を使用してください。正確な文字やパッケージが必要な場合は、承認されたアートワークを合成するか、代替品の実際のショットを使用してください。妥当な生成されたラベルは忠実なラベルではありません。

背景や人物も変わります。変換範囲を縮小し、ローカルスワップモードを選択し、プロンプトを簡素化します。メソッドが本質的に再描画しすぎる場合は、「すべて同じ」と繰り返し要求するのではなく、マスク制御または従来の合成ルートに切り替えてください。

新しいオブジェクトは合っていますが、ショットはまだ違和感があります。影、反射、モーションブラー、接点を確認してください。反射プロップを交換すると、シルエットの外側に変更が必要になる場合があります。剛性のある追跡グラフィックは、スクリーンや本の表紙に適しています。変形するハンドバッグやはねる液体には別の解決策が必要です。

ビデオオブジェクトを置き換える前の質問

オブジェクト置換はビデオインペイントと同じですか?

用語は重複していますが、意図された結果が重要です。削除は、古いオブジェクトの背後にあるはずのものを再構築します。置換は、独自の外観と相互作用を持つ別のオブジェクトを追加します。オリジナルのみを削除するツールには、2番目の合成ステップが必要な場合があります。

交換品は元のカメラの動きを維持できますか?

リファレンスビデオエディターは、ソースの動きを制約として使用しますが、特徴の説明を正確な動きの保証として扱うのではなく、生成されたクリップを検査します。編集以外の元のフッテージを直接制御する必要がある場合は、適切なマスクまたはコンポジットワークフローを選択してください。

もし物体が人だったら?

キャラクターの置き換えは、比較に顔のアイデンティティ、髪、衣服、パフォーマンスを追加します。まず、動きを保ちながらビデオキャラクターを置き換えるガイドから始めましょう。成功した道具交換は、道具が人の顔やパフォーマンスを保存することを証明するものではありません。

既存のクリップのリファレンス主導バージョンが必要な場合は、Dreaminaから始めて、最初のリクエストを1つの明確な置換にしてください。ショットの本当の難易度を解決する場合は、キーフレームプレビュー、マスク、またはトラックコンポジットを使用してください。有用な結果は、最初に良く見えるフレームだけでなく、アクション全体にわたって機能する交換です。