Dreamina是我們第一個選擇引用主導的物件交換:從您要改編的視訊和替換的影象開始。Runway在對剪輯應用更改之前新增了有用的編輯關鍵幀預覽。Kling和Higgsfield也提供參考引導編輯,而Beeble為電影製作人提供了一種基於蒙版的方式來控制保留和生成的區域。Pika和Luma提供創造性的轉換路線;After Effects適合需要刻意跟蹤和合成的工作。
正確的工具取決於“替換”在你的鏡頭中意味著什麼。讓一個瓶子消失,替換你自己的瓶子,重新設計整個場景需要不同的控制。下面的工具適用於現有的素材,但它們並不都以相同的方式儲存它。
選擇物件所需的控制元件
對於特定的產品,參考圖片比精心設計的形容詞填充提示更重要。對於帶有確切文字的標誌或電話螢幕,跟蹤圖形可能比生成重繪更可靠。對於部分隱藏在手指後面的道具,前景手需要注意以及更換。
背景變化有其自身的選擇問題:毛髮、透明邊緣和主體分離。如果這是真正的工作,請參閱我們的人工智慧視訊背景替換指南。在這裡,中心任務是替換場景中的物件。
1. Dreamina:將替換品帶入簡報
Dreamina的Recreate工作流程將參考視訊與視覺參考相結合。當您想要指定新產品、道具、服裝或其他元素,同時旨在保留周圍的鏡頭時,物件交換是相關模式。
如何開始。開啟Dreamina Recreate,選擇可用的模型和物件交換,然後新增源視訊和至少一個替換影象。解釋什麼應該改變,什麼應該保留。在任務中心檢視生成的剪輯並使用重新編輯來優化請求。
選擇合適的型號。記錄標準Recreate使用Seedance 2.5並接受一個4-30秒的視訊;Recreate Lite使用wan3.0並接受4-15秒。可用性因地區和帳戶而異。在上傳之前準備好預期的段:文件化的啟動工作流程不提供段選擇或修剪,並且拒絕過長的輸入。
為什麼選擇它。工作流程從現有運動和替換的外觀開始。這比從文字中生成類似的新鏡頭更適合產品改編。根據兩個輸入判斷結果;一個合理的新物件仍然需要正確的形狀和互動。
2. Runway:批准視訊前的關鍵幀
跑道的編輯工作室給了替換一個有用的中間階段。您可以編輯一個清晰的框架,檢查建議的外觀,然後使用Aleph 2.0將選定的版本應用於移動鏡頭。
它是如何工作的。從應用程式開啟編輯工作室,上傳剪輯,然後選擇一個清楚地顯示目標的關鍵幀。編寫簡短的更改說明並在有用時新增參考影象。預覽調整後的影象,必要時進行細化,然後生成視訊。範圍控制元件可以將編輯限制為剪輯的一部分。
為什麼選擇它。如果一個替換物在靜止時看起來不對,通過運動傳播它會增加功而不解決原始問題。預覽允許您首先更正其大小、形狀或位置。額外運動是一個單獨的可選指令;正常的道具交換不一定需要它。
條件。當前留檔列出了常規縱橫比、480p-1080p輸入、24-30 fps和不超過10個剪下。上傳指導要求視訊長於2秒,短於30秒。視訊生成每秒編輯成本為28學分,最低56學分;關鍵幀影象迭代單獨收費。ProRes和PNG序列生成有額外的計劃和成本條件。
3. Kling AI:明確命名視訊和參考
Kling的O1編輯工作流程結合了視訊、文字和影象或元素引用。當替換具有通用指令無法傳達的特定外觀時,它很有用。
它是如何工作的。在編輯工作流程中提供現有視訊,新增相關的替換參考,並在說明中使用介面的參考標籤。清楚地描述目標和預期的變化。由多個檢視構建的元素可以提供比一張模糊照片更多的外觀資訊。
為什麼選擇它。標記參考有助於將源素材與要介紹的專案分開。提示可以識別物件的角色及其顏色:“用引用的瓶子替換右手中的瓶子”比“新增這個瓶子”更清晰。
條件。官方O1指南記錄了一個3-10秒的視訊,最大200MB,2K輸入,當視訊出現時,最多四個影象或元素組合在一起。這些是O1特異性條件。不要將其用於生成另一個鏡頭的視訊參考功能與編輯原始鏡頭混淆;輸出任務不同。
4. Higgsfield:選擇物件交換進行本地更改
Higgsfield Genjutsu將物件交換與運動傳輸分開。這種區別很重要:第一個目標是選定的元素,而第二個使用運動來重建更多的場景。
它是如何工作的。在視訊模型選擇器中選擇Genjutsu,選擇物件交換,然後上傳剪輯和替換影象。當前的標準工作流程接受4-30秒的視訊和最多30張參考影象。當引用或預設需要更多方向時,簡短的提示可以指定更改。
為什麼選擇它。當原始表演和拍攝時間已經工作時,這適合圍繞產品、道具或服裝的變化。一個清晰的引用可能足以進行簡單的替換;幾個有用的檢視可以更好地描述更復雜的專案。
權衡。針對提示的編輯仍然需要逐個物件的審查。類似的物品,道具消失在某人身後,或者切入另一個角度會使目標不太清晰。將複雜的序列拆分為鏡頭併為每個鏡頭中的可見專案命名,而不是假設一個廣泛的請求涵蓋每個外觀。
5. Beeble SwitchX:決定生成哪個區域
Beeble SwitchX使用alpha掩碼來區分保留的源區域和生成的區域。它提供了一種不同於依賴模型僅從單詞推斷目標的控制。
它是如何工作的。提供素材,定義蒙版併為所需外觀新增提示或參考。Beeble目前的解釋使用白色表示保留的源區域,黑色表示完全生成的區域。在提交之前確認該約定;反轉的掩碼會更改框架的錯誤部分。
為什麼選擇它。蒙版為您提供了一個可見的邊界,以便在物件靠近面部、衣服或其他重要特徵時進行檢查。替換簡報還可以指定周圍的光線和視覺風格。
權衡。保留並不一定意味著相同的顏色:SwitchX可以重新點亮和重新設計源區域以與新場景融合。如果未觸及的畫素是交付要求,請檢查該行為並考慮常規合成。它的工作流程之所以有用,正是因為您可以將生成的區域明確化,而不是將儲存視為模糊的承諾。
6. Pika:使用當前的交換任何東西應用程式
Pika當前的交換任何東西應用程式接受剪輯、更改描述和可選參考。它為道具、產品、服裝或演員的創造性變化提供了直接途徑。
它是如何工作的。上傳視訊,命名要替換的元素,併為預期外觀新增引用。生成修改後的版本,然後將其新外觀與原始機芯進行比較。當您的目標是一個道具時,將不相關的更改類別保持為空。
為什麼選擇它。當您想從交換開始而不是先選擇通用視訊模型時,面向任務的應用程式很方便。對於一個有趣的社交剪輯,您可能更重視大膽的轉換,而不是保持源畫素對畫素。
權衡。較舊的指南可能會呼叫Pikaswaps功能並從較早的介面描述設定。從應用程式開始並檢查可用的型號和生成設定。關於舊Pika計劃或解決方案的宣告不會自動成為當前應用程式的條件。
7. Luma:使用Ray3.2控制運動和結構
Luma當前的Ray3.2 Modify Video V2工作流程在使用其運動和空間佈局作為指導的同時轉換現有素材。當道具變化屬於更廣泛的創造性處理時,它很有用。
它是如何工作的。開啟修改視訊並選擇Ray3.2,上傳原始碼,並描述替換。運動控制關注運動和相機動態;結構控制結果與原始形狀和構圖的緊密程度。首先對區域性支柱的變化進行強結構粘附,然後僅在預期的新形狀需要更多自由度時才鬆開它。
為什麼選擇它。這將保留操作與保留物件的舊幾何形狀分開。多關鍵幀引導還可以指導外觀如何通過剪輯發生變化。
條件。Modify Video支援24 fps時長達20秒、30 fps時長達15秒或60 fps時長達7秒,輸出高達1080p。快速、模糊或嚴重遮擋的動作更難跟蹤。檢視產品和周邊場景:效能儲存不是未觸及的畫素保證。
8. After Effects:在精度很重要時移除、跟蹤和合成
After Effects是一種合成路線,而不是發明整個替換的單一提示。當物件必須跟隨精確的運動、顯示精確的藝術品或坐在單獨控制的前景手後面時,它很有用。
它是如何工作的。遮蔽和跟蹤原始物件。如果需要消失,Content-Aware Fill可以使用周圍幀重建覆蓋區域;困難的背景可能需要校正的參考幀。將替換新增為單獨的元素,跟蹤其運動和透視,然後使用蒙版或旋轉鏡來恢復前景遮擋。
為什麼選擇它。手機螢幕、平板書籍封面或標誌通常需要精確的文字。跟蹤和放置真實的藝術品可以讓藝術品處於您的控制之下。工作從“生成一個令人信服的版本”轉變為“讓這個特定的資產正確地坐在鏡頭中”
權衡。您提供更多工藝:跟蹤、邊緣、運動模糊、照明和接觸陰影。內容感知填充單獨刪除物件;它不會自動插入您的產品。對於無需替換的刪除,我們的從視訊中刪除不需要物件指南單獨涵蓋了清理決定。
圍繞一個清晰可見的物件構建交換
一個有用的第一次嘗試是一個短的,連續的拍攝,有一個可見的目標和一個從相容角度拍攝的替換參考。與包含多個不同物件的長蒙太奇相比,您可以從受控替換中學到更多資訊。
一起準備源和替換
當工具沒有修剪控制元件時,在上傳之前將源修剪為相關操作。保持足夠的匯入和結束,以看到物件進入、移動和離開。在動作中途隱藏手或物體的裁剪會使結果更難判斷。
使用顯示輪廓和重要細節的乾淨替換參考。正檢視有助於標籤;角度檢視傳達厚度。對於在拍攝過程中轉動的產品,一張正面照片讓側面和背面都可以發明。如果您仍在準備可識別的產品資產,我們的廣告一致產品影象指南解釋了哪些細節需要保持不變。
分別編寫更改和保留的操作
一個實用的起始說明是:
將桌子上的白色馬克杯替換為參考影象中的藍色陶瓷馬克杯。保持人、手的運動、桌子和相機的運動。當人舉起杯子時,手指保持在杯子前面。匹配原始光和接觸陰影。
使物件和動作適應剪輯。在可用的情況下使用工具的實際參考標籤或標籤。當原始專案必須消失時,“替換”比“新增”更有用;否則請求可以將兩個物件都留在場景中。
在關鍵幀預覽可用的情況下,首先解決靜止外觀。對照手或附近的傢俱檢查替換件的尺寸、底座的角度及其在場景中的位置。然後將該版本傳播為運動。
檢視整個操作和下載的結果
檢查開始,最強的運動,每一個重疊和結束。一隻手穿過之前看起來正確的瓶子,之後可以用不同的標籤返回。觀察突然的大小變化、出現在錯誤一側的手柄或仍然顯示原始物件的反射。
以預期的速度播放剪輯,並檢查關鍵幀。在孤立的劇照中,閃爍和短暫的消失可能更難注意到。匯出候選並檢查實際檔案的持續時間、框架和最終外觀,然後再進行更長的編輯。如果任務是在重新拍攝時僅保持相機移動,請使用單獨的工作流程重新制作具有相機移動的產品視訊。
修復實際發生的故障
舊的物件仍然存在,或者只是一些外觀發生了變化。使目標描述更具體,並在切割處劃分序列。一本書、一張空白卡片和一個包裹可能看起來像一個人,但需要單獨的描述。對於基於掩碼的工具,驗證選擇了哪個區域並在目標重新出現時檢查掩碼。
一隻手融入了替代品。該任務包括一個遮擋:一些手指屬於前面,而物體的一部分位於它們後面。選擇一個更清晰的框架,減少要求的形狀變化,或者恢復原始的手作為前景複合。更詳細的產品照片本身並不能解釋每一個手與物體的互動。
物體在運動過程中改變形狀或品牌。使用揭示相關檢視並簡化鏡頭的參考文獻。當確切的字型或包裝是必不可少的,複合批准的藝術品或使用替換的真實鏡頭。看似合理的生成標籤不是忠實的標籤。
背景或人物也會發生變化。縮小轉換範圍,選擇本地交換模式,簡化提示。如果一個方法本質上重繪太多,切換到蒙版控制或傳統的合成路線,而不是重複要求“一切相同”。
新物體合適,但拍攝仍然感覺不對。檢查它的陰影,反射,運動模糊和接觸點。更換反光道具可能需要改變其輪廓。剛性跟蹤圖形可以用於螢幕或書籍封面;變形的手提包或飛濺的液體需要不同的解決方案。
替換視訊物件之前的問題
物體替換和視訊修復一樣嗎?
術語重疊,但預期的結果很重要。刪除重建舊物件後面的內容。替換新增了另一個具有自己外觀和互動的物件。僅刪除原始檔案的工具可能需要第二個合成步驟。
更換可以保留原始相機機芯嗎?
參考視訊編輯器使用源運動作為約束,但檢查生成的剪輯,而不是將特徵描述視為精確運動保證。如果您需要直接控制編輯之外的原始素材,請選擇適當的蒙版或合成工作流程。
如果物件是人呢?
角色替換在比較中增加了面部身份、頭髮、服裝和效能。從我們的指南開始,在保持運動的同時更換視訊角色。成功的道具互換並不能確定工具會保留一個人的臉或表現。
當您想要現有剪輯的參考主導版本時,請從Dreamina開始,並將第一個請求明確替換。使用關鍵幀預覽,蒙版或跟蹤複合時,該控制元件解決了拍攝的真正困難。有用的結果是整個動作的替換,而不僅僅是首先看起來不錯的框架。