要將真人鏡頭變成具有一致外觀的卡通,請從Dreamina開始開發清晰的風格參考,並嘗試一個簡短的、受支援的視訊編輯通道。然後選擇在幀之間攜帶視覺資訊的工作流程:用於精確藝術方向的關鍵幀傳播,或具有參考和運動控制的視訊工作流程,以實現更具生成性的轉換。通過糾正幾個鏡頭和區域,仍然打破完成。
中心規則很簡單:保持風格在時間上的聯絡,而不是對每一幀都產生新的解釋。美麗的靜止影象不會告訴你在轉彎或快速手勢時面部、墨線和服裝是否保持連貫。
為您需要的控制型別選擇工作流程
從Dreamina開始尋找視覺方向,然後使用與完成的卡通必須遵循來源的密切程度相匹配的路線。
如果您在選擇製作路線之前主要關心的是訪問,請比較免費的視訊到視訊選項及其條件。保持免費預覽、匯出和商業使用結果許可之間的區別。
識別真正閃爍的是什麼
紋理閃爍改變表面處理,而底層物件保持可識別。臉頰可能會在兩種色調之間跳動,夾克可能會獲得新的畫筆痕跡,或者隨著相機的移動,牆壁可能會閃閃發光。減少風格的變化和相應幀之間的紋理可以有所幫助。
形狀漂移改變已繪製的內容。角色的下巴變得更寬,一隻手得到一根手指,或者衣領變成了不同的衣服。這需要更好的參考、更剋制的轉換、更強的適當結構指導或修正的關鍵框架。將幾個錯誤的形狀平均在一起通常會產生一個更柔和的錯誤。
遮擋錯誤出現在物體前面或顯示以前隱藏的區域時。一隻手從臉上移開,但一塊面板跟隨著它;轉頭揭示了改變設計的耳朵。檢查阻塞前的最後一個清除幀和阻塞後的第一個清除幀。
計時錯誤會改變效能。手勢提前結束,嘴脣移動不同,或者相機走另一條路。卡通可以有平靜的紋理,但仍然無法遵循原始動作。在同一時刻將結果與源進行比較,而不是隻判斷第一幀和最後一幀。
準備錄影一次一個鏡頭
在風格化之前在相機更改時剪下。一個新的角度值得自己參考和評論;把舊場景的紋理穿過硬切會造成可以避免的混亂。在長時間內,將主要轉彎、遮擋、燈光變化和快速移動標記為單獨的檢查點。
首先選擇一個簡短的代表性摘錄。包括你打算保持的最困難的動作,比如一張臉從一隻手旁邊轉過。一個簡單的開場姿勢可以讓一個薄弱的工作流程看起來令人信服,直到第一個困難的動作到來。一旦摘錄成功,將相同的方法應用於鏡頭的其餘部分。
保持可用的最乾淨的來源。沉重的壓縮、不穩定的曝光和運動模糊使邊緣更難跟蹤。如果你可以重新拍攝,使用穩定的照明和快門選擇,讓重要的運動特徵可讀。避免激進的銳化或去噪,這會在卡通通過之前產生光暈或刪除面部細節。
記錄源尺寸、幀率和時長。如果源具有可變幀率,請在有意的恆定時基上建立編輯副本,並在提取幀之前檢查其聲音同步。保留原始檔案和音訊,以便您以後可以返回它們。
定義一種可以在運動中倖存下來的風格
在處理完整剪輯之前,編寫一個緊湊的樣式指南。指定線條粗細、調色盤、陰影處理和紋理密度,以及必須保持可識別的字元特徵。“卡通”本身就可以指扁平的cel著色、繪畫動畫、漫畫墨水或高度簡化的漫畫角色。
對於一張臉,決定鼻子、眼睛和頭髮從前面和鏡頭中最大的轉彎應該是什麼樣子。對於服裝,保留一小部分可識別的形狀和顏色。當每一個微小的標記被重新繪製時,在一幀中看起來很有吸引力的密集圖案可能會爬行。
在每個新關鍵幀旁邊保留一個批准的參考。比較相同的膚色、線條重量和陰影顏色。修正一個破碎的框架應該修復動作,而不是在拍攝中途悄悄地重新設計角色。
一點深思熟慮的線條運動可以適合繪製的風格。決定你想要一個乾淨的動畫插圖還是可見的手繪變體;根據這個選擇判斷一致性。目標是連貫的動態設計,而不是貼上在表演上的凍結繪畫。
使用Dreamina建立外觀並嘗試拍攝
Dreamina是一個有用的第一步,當你想在致力於詳細的關鍵幀工作之前探索卡通治療。從一個清晰的源框架開始,這樣風格決策就會與您打算轉換的人和場景保持聯絡。
- 1
開啟影象建立或編輯並上傳所選源框架作為參考。選擇您帳戶可用的影象模型,並在命名要保留的功能時描述卡通處理。
2對照原始幀檢視生成的幀。在將其視為認可的外觀之前,修復剪影、眼睛、嘴巴、服裝邊界和重要道具。具有不同面孔的引用將把這種差異帶到以後的工作中。
3對於視訊通道,為上傳或選定的剪輯開啟支援的視訊編輯條目。使用相關的Seedance 2.5編輯工作流程,描述重新樣式,在需要時識別預期區域,並指定時間範圍。在該模式支援的地方新增批准的樣式引用。
4要求視覺處理,同時保留動作、框架和主題細節。嘗試一個短鏡頭,檢查結果,如果不相關的元素髮生變化,則縮小指令或間隔。
5下載一個有前途的版本並在編輯器中重新開啟該檔案。在處理更多鏡頭之前,請檢視轉彎、最快手勢、遮擋和最終幀。
以下是新嘗試的自適應提示:
Restyle這張照片是一個乾淨的2D cel陰影卡通,帶有深棕色輪廓線、有限的溫暖調色盤和雙色調陰影。在整個選定的間隔內保持同一個人、髮型、藍色夾克、手勢、相機取景和背景佈局。頭部轉動時保持面部比例和服裝設計一致。避免新物體、變化的圖案和閃閃發光的表面紋理。
使用提示作為簡報,然後直觀地判斷輸出。如果嘴或手的表現發生變化,更強調地要求儲存可能無法解決問題;使用更接近來源驅動的路線進行拍攝。對於從角色參考構建的有意的新效能,運動參考角色工作流程是一個單獨的選項。
可用模型和編輯功能取決於帳戶和所選模式;在執行草稿之前檢查訪問許可權和顯示的生成報價。在付費或客戶工作中使用結果之前,請確認適用於您所在地區、服務、模型和源材料的商業許可權。
使用EbSynth傳播批准的卡通關鍵幀
EbSynth是一個強大的選擇,當你想保持記錄的效能,同時攜帶特定的油漆處理通過它。它的核心合成使用引導視訊傳播編輯關鍵幀的外觀。可選的影象生成功能是建立關鍵幀的一種單獨方式。
使用您的指導視訊在當前瀏覽器編輯器中開始。選擇一個清晰、有用的框架來風格化,保持源尺寸和重要特徵的位置對齊。自己繪製卡通外觀或使用您批准的影象編輯方法,然後在將其應用為關鍵幀之前更正其形狀。
在可管理的時間間隔內執行傳播並檢查它首先中斷的位置。在有意義的變化處新增校正的關鍵幀:輪廓檢視、新的手部姿勢、從障礙物中出現的面部或一大塊新曝光的背景。保持與批准的第一個關鍵幀相同的調色盤和繪圖規則,然後再次合成間隔。
當他們需要不同的處理時,將主題和背景分開。圖層和alpha關鍵幀可以將繪製的更改限制在有用的區域。當詳細的風景從面部分散注意力時,或者當前景手穿過靜止的背景時,這尤其有用。仔細檢查啞光邊緣和油漆內部一樣。
避免拉伸卡通頭部或眼睛佈局遠離其源位置,並期望傳播來隱藏不匹配。引導運動可以帶有一種外觀,但實質上不同的形狀可以波紋或拉伸。在新增更多處理之前修復錨或選擇另一個清晰的姿勢。
當前的免費層匯出720p MP4;專業版新增了更高解析度的匯出和帶有alpha的PNG。在構建依賴於透明度的專案之前選擇匯出路徑。瀏覽器服務臨時上傳視訊和關鍵幀以進行合成;單獨的Windows Studio路由是離線選項。對於生成的關鍵幀,請說明適用的模型許可證以及您對素材的權利。
當您需要可檢查的控制工作流時,請使用ComfyUI
當您輕鬆管理工作流而不是依賴單個轉換按鈕時,ComfyUI很有用。相容的視訊模型可以將樣式參考與從源派生的指導相結合,而儲存的圖形使輸入和依賴項更容易重現。
具體的起始路線是官方的wan2.1 VACE控制視訊模板。該指南目前警告模板已使用CausVid LoRA更新,因此請按照當前模板中嵌入的註釋來載入您載入的版本。避免將舊的取樣器值移植到更改的圖中。
使用此序列:
- 1
在相容的當前ComfyUI安裝或受支援的託管環境中載入模板。在新增製作素材之前解決缺失的節點。
2在其載入器節點中選擇匹配的擴散模型、文字編碼器和VAE。工作流名稱並不意味著已經安裝了必要的模型檔案。
3準備該工作流所需的原始碼控制輸入。在記錄的控制視訊路由中,載入視訊接收深度預處理的視訊;為您自己的源使用適當的預處理組或相容的預處理節點。將普通彩色素材載入到深度輸入槽中不會建立深度圖。
4在參考影象輸入中提供批准的卡通影象,併為預期的治療編寫一致的提示。確保按照模板的指示啟用參考和控制輸入。
5在視訊調節部分設定合適的尺寸和幀數,然後執行短草稿。檢查參考樣式是否在運動中倖存下來,以及深度引導是否保留了有用的場景結構。
6使用生成接受草稿的模型、節點和輸入版本儲存圖表。在放大之前,保留精確的參考影象和源摘錄。
選擇您的硬體和環境可以支援的模型。下載大小不是完整的記憶體要求,本地可用的應用程式不會使GPU時間或託管服務無成本。雲環境可能提供受支援的節點曲庫,而不是與本地設定相同的自定義節點安裝選項。
瞭解元件在做什麼
結構引導和時間一致性解決了不同的問題。姿勢、邊緣或深度條件可以幫助保持特徵所屬的位置,而時間機制將資訊跨幀關聯起來。將ControlNet新增到相容的影象工作流不會自動為獨立的幀生成提供共享的時間記憶體。
同樣,參考介面卡可以幫助建立外觀,而無需保證每次都有相同的表面。匹配介面卡、檢查點和工作流架構。穩定擴散影象編輯配方、萬VACE視訊模板和研究實現是不同的配置;它們的控制元件不可互換。
如果您使用影象模型來建立卡通錨點,請將其保持在該角色,直到您擁有傳播或聯合處理幀的真實方法。使用相同的提示生成數百個不相關的靜止影象是構建連續效能的脆弱方式。
為什麼光流有幫助-以及它在哪裡停止幫助
光流估計可見影象點如何在幀之間移動。一致性過程可以使用這種對應關係將以前或鄰近風格化的外觀帶入當前框架,從而減少再次發明每個畫筆標記的需要。
我們需要保持一種平衡。附近的幀有助於保持區域性連續性,而先前的穩定結果可以在更長的時間間隔內進行檢視。過於強烈地重用過去的輸出也會使它的錯誤向前發展:移動的邊緣留下痕跡,舊的紋理粘在新的表面上,或者圖片變得過於光滑。
僅在移動結果改善時增加一致性。如果一隻手的輪廓出現了雙刃,減少工作流暴露它的相關時間影響,縮短間隔或糾正失敗的錨點。不要認為最高的設定會產生最好的卡通。
流動也需要一個有意義的對應關係來遵循。如果生成式通過將現代汽車變成不同形狀的汽車——或者用另一個輪廓重新繪製一個人的臉——原始運動場不能可靠地解釋這種新的幾何形狀。修復上游的轉換。最終平滑處理可以減少表面變化,但不能可靠地恢復缺失的原始設計。
在不清洗圖紙的情況下完成殘留閃爍
DaVinci Resolve Studio在卡通設計和動作已經可以接受後很有用。其先進的時間降噪和額外的偏轉效果可以解決剩餘的波動;這些工作室功能不應該被認為在免費版中可用。
將風格化的鏡頭匯入具有預期時基的時間線,並保持乾淨的版本進行比較。首先匹配照片之間的曝光和顏色,這樣分級不匹配看起來不像風格改變。對一個有問題的鏡頭應用少量可用的閃爍或暫時處理,然後在主體移動時將其與未處理的版本進行比較。
檢查眼睛、手指、髮梢和全尺寸的移動輪廓。如果這種處理塗抹了細線,留下了模糊的前臉,或者使織物看起來像融化的油漆,請退後。實際應用時,將校正限制在受影響的區域,而不是軟化整個幀以隱藏一個嘈雜的補丁。
一張穩定的錯誤面孔仍然是錯誤的。當身份或解剖結構發生變化時,返回到參考、關鍵幀或生成階段。在結構工作完成後,整理對於適度的殘餘變化最有用。
分別檢視運動、紋理和標識
以正常速度觀看每個鏡頭,然後在單個幀上暫停。一些有吸引力的螢幕截圖可以隱藏分散注意力的微光;孤立的框架也會使無害的繪製變化看起來比運動時更糟糕。
然後逐幀檢查最高風險事件:變成側寫,一隻手捂住臉,快速手指,張嘴,主題離開框架和新暴露的背景。將這些矩與匹配時間的源進行比較。
對幾個人來說,檢查照片中的每一張臉,包括邊緣附近或另一個主體後面的臉。同樣的每人審查紀律在製作集體照片動畫時很有用,同時保持人們的辨識度;一個好的中央臉和一個好的開場框架都不夠。
重新組裝鏡頭,輸出有用的大師
將接受的鏡頭按原始順序返回到您的編輯中。在不將紋理從一個場景帶入另一個場景的情況下,跨切口匹配卡通顏色和線條密度。保持原聲在單獨的軌道上,除非你故意想要一個新的聲音或聲音設計。
比較開始時的同步,一個清晰的中間動作和結束。當生成的剪輯改變手勢的持續時間或速度時,用原始音訊替換其音訊不會自動恢復效能。修剪或選擇適合的版本;當重要的嘴或手勢提示不再對齊時,修復受影響的鏡頭。
以交付尺寸和預期幀率匯出高質量的母版,避免在階段之間重複壓縮匯出。在工作專案之外重新開啟它並觀察它。在製作較小的平臺版本之前,檢查實際的第一幀和最後一幀、聲音對齊、裁剪和任何透明層要求。
將原始碼、批准的錨點、工作流設定、專案和母版放在一起。這些檔案可以在保留角色設計的其餘部分的同時修復稍後的鏡頭。
關於卡通閃爍的問題
使用共享的視覺參考和跨時間關聯幀的方法;種子、幀率和平滑等設定只能解決部分問題。
一顆固定的種子會停止閃爍嗎?
固定種子可以使可用的生成過程更容易重複,但它不會使不同的輸入幀相同或給它們共享的時間對應關係。在有用的地方保留提示和模型,然後使用真實視訊或傳播方法並檢視移動結果。不要假設每個應用程式都公開一個種子控制元件。
我應該把風格化還是一致性一直調高?
使用足夠的風格化來達到認可的外觀,同時保持您需要的源功能。更激進的變換會增加形狀漂移;過度的時間影響會建立軌跡或擦除繪製的紋理。比較短草稿並在實際提供它的工作流中一次更改一個相關控制元件。
插幀可以去除樣式閃爍嗎?
插值建立中間運動樣本;它不能可靠地修復在原始幀之間改變設計的面部、服裝或紋理。首先穩定外觀,然後單獨決定交付是否需要更流暢的運動。故意步進的卡通時間也不同於意外的視覺微光。
我可以不付款就這樣做嗎?
EbSynth目前提供720p MP4匯出的核心功能,而更高解析度和Alpha交付需要適當的升級。ComfyUI可以在本地執行,但相容的型號、硬體容量和任何託管服務費用仍然很重要。在Dreamina中,檢查您可用的編輯模式和生成報價。商業工作的出口准入和許可是單獨的決定。
如何處理長視訊?
在一個困難的簡短摘錄上發展風格和修復方法,然後用一致的參考資料一個接一個地工作。以新的角度和燈光變化重新檢查角色。保留編輯的時間和音訊,並在之後加入接受的鏡頭;單個長請求使故障更難定位和替換。
實時預覽是否意味著最終渲染將是即時的?
預覽速度、光流計算和完整的風格化渲染是不同的工作負載。模型大小、解析度、剪輯長度、硬體和選擇的處理階段會影響結果。通過是否產生可接受的移動鏡頭來選擇工作流程,然後測量實際匯出需要多長時間。
構建外觀,然後將其帶入效能
以清晰的框架和剋制的卡通簡介開始Dreamina。一旦外觀工作,嘗試支援的視訊路線在一個困難的短鏡頭。在需要更緊密連續性的地方使用關鍵幀傳播或相容的受控視訊工作流程,併為剩餘的小波動儲存整理。在擴充套件到其餘鏡頭之前批准移動效能。