Công cụ AI để thay thế các đối tượng trong video: Giữ lấy, thay đổi chỗ dựa

Chọn kiểm soát đối tượng của bạn cần

Đối với một sản phẩm cụ thể, hình ảnh tham chiếu quan trọng hơn một lời nhắc đầy tính từ phức tạp. Đối với một dấu hiệu hoặc màn hình điện thoại có văn bản chính xác, đồ họa được theo dõi có thể đáng tin cậy hơn so với vẽ lại chung. Đối với một chỗ dựa ẩn một phần sau các ngón tay, bàn tay tiền cảnh cần được chú ý cũng như thay thế.

Thay đổi nền có vấn đề lựa chọn riêng: tóc, các cạnh trong suốt và tách đối tượng. Nếu đó là công việc thực sự, hãy xem hướng dẫn của chúng tôi để thay thế nền video AI . Ở đây, nhiệm vụ trung tâm là thay thế một đối tượng bên trong cảnh.

1. Dreamina: Đưa sự thay thế vào tóm tắt

Quy trình làm việc Recreate của Dreamina kết hợp video tham khảo với tài liệu tham khảo trực quan. Object Swap là chế độ có liên quan khi bạn muốn chỉ định một sản phẩm mới, đạo cụ, trang phục hoặc yếu tố khác trong khi nhằm giữ lại ảnh xung quanh.

Làm thế nào để bắt đầu. Mở Dreamina Recreate , chọn một mô hình có sẵn và Object Swap, sau đó thêm video nguồn và ít nhất một hình ảnh thay thế. Giải thích những gì nên thay đổi và những gì nên còn lại. Xem lại clip đã tạo trong trung tâm tác vụ và sử dụng chỉnh sửa lại để tinh chỉnh yêu cầu.

Chọn mô hình thích hợp. Tài liệu tiêu chuẩn Recreate sử dụng Seedance 2.5 và chấp nhận một video 4-30 giây; Recreate Lite sử dụng Wan 3.0 và chấp nhận 4-15 giây. Tính khả dụng khác nhau tùy theo khu vực và tài khoản. Chuẩn bị phân đoạn dự kiến trước khi tải lên: quy trình khởi chạy được ghi lại không cung cấp lựa chọn hoặc cắt phân đoạn và đầu vào quá dài bị từ chối.

Tại sao chọn nó. Dòng công việc bắt đầu với cả chuyển động hiện có và giao diện của người thay thế. Điều đó phù hợp với sự thích ứng của sản phẩm trực tiếp hơn là tạo ra một cảnh quay mới tương tự từ văn bản. Đánh giá kết quả dựa trên cả hai đầu vào; một đối tượng mới hợp lý vẫn cần hình dạng và tương tác phù hợp.

2. Đường băng: Phê duyệt khung hình chính trước video

Runway 's Edit Studio cung cấp cho người thay thế một giai đoạn trung gian hữu ích. Bạn có thể chỉnh sửa một khung hình rõ ràng, kiểm tra giao diện được đề xuất, sau đó áp dụng phiên bản đã chọn cho ảnh chuyển động với Aleph 2.0.

Làm thế nào nó hoạt động. Mở Edit Studio từ Apps, tải clip lên và chọn khung hình chính hiển thị rõ mục tiêu. Viết một hướng dẫn thay đổi ngắn và thêm một hình ảnh tham chiếu nếu hữu ích. Xem trước hình ảnh đã điều chỉnh, tinh chỉnh nó nếu cần, sau đó tạo video. Điều khiển phạm vi có thể giới hạn chỉnh sửa cho một phần của clip.

Tại sao chọn nó. Nếu một sự thay thế có vẻ sai trong khi đứng yên, việc truyền nó qua chuyển động sẽ thêm công việc mà không giải quyết được vấn đề ban đầu. Bản xem trước cho phép bạn sửa kích thước, hình dạng hoặc vị trí của nó trước. Chuyển động bổ sung là một lệnh tùy chọn riêng biệt; một hoán đổi prop bình thường không nhất thiết cần nó.

Điều kiện. Tài liệu hiện tại liệt kê các tỷ lệ khung hình thông thường, đầu vào 480p-1080p, 24-30 khung hình / giây và không quá 10 lần cắt. Hướng dẫn tải lên yêu cầu video dài hơn hai giây và ngắn hơn 30 giây. Chi phí tạo video 28 tín chỉ mỗi giây được chỉnh sửa với mức tối thiểu 56 tín dụng; các lần lặp lại hình ảnh khung hình chính được tính phí riêng. ProRes và tạo trình tự PNG có các điều kiện về kế hoạch và chi phí bổ sung.

3. Kling AI: Đặt tên video và tham chiếu rõ ràng

Quy trình chỉnh sửa O1 của Kling kết hợp các tham chiếu video, văn bản và hình ảnh hoặc phần tử. Nó rất hữu ích khi sự thay thế có một diện mạo cụ thể mà một lệnh chung sẽ không giao tiếp.

Làm thế nào nó hoạt động. Cung cấp video hiện có trong quy trình chỉnh sửa, thêm tham chiếu thay thế có liên quan và sử dụng thẻ tham chiếu của giao diện trong hướng dẫn. Mô tả mục tiêu và thay đổi dự định rõ ràng. Một phần tử được xây dựng từ nhiều chế độ xem có thể cung cấp nhiều thông tin về ngoại hình hơn là một bức ảnh không rõ ràng.

Tại sao chọn nó. Các tài liệu tham khảo được gắn thẻ giúp tách đoạn phim nguồn khỏi mục bạn muốn giới thiệu. Lời nhắc có thể xác định vai trò của đối tượng cũng như màu sắc của nó: "thay thế chai được giữ ở tay phải bằng chai được tham chiếu" rõ ràng hơn "thêm chai này".

Điều kiện. Hướng dẫn O1 chính thức ghi lại một video dài 3-10 giây, tối đa 200 MB và đầu vào 2K, với tối đa bốn hình ảnh hoặc phần tử được kết hợp khi có video. Đó là những điều kiện cụ thể của O1. Đừng nhầm lẫn tính năng tham chiếu video của nó để tạo một cảnh quay khác với chỉnh sửa cảnh quay gốc; nhiệm vụ đầu ra là khác nhau.

4. Higgsfield: Chọn hoán đổi đối tượng cho một thay đổi cục bộ

Ảo thuật Higgsfield tách hoán đổi đối tượng khỏi chuyển động. Sự khác biệt đó rất quan trọng: mục tiêu đầu tiên nhắm vào một yếu tố đã chọn, trong khi mục tiêu thứ hai sử dụng chuyển động để xây dựng lại nhiều cảnh hơn.

Làm thế nào nó hoạt động. Chọn Genjutsu trong bộ chọn mô hình video, chọn hoán đổi đối tượng và tải lên clip và hình ảnh thay thế. Quy trình làm việc tiêu chuẩn hiện tại chấp nhận video 4-30 giây và tối đa 30 hình ảnh tham chiếu. Một dấu nhắc ngắn có thể chỉ định thay đổi khi tham chiếu hoặc cài đặt trước cần thêm hướng.

Tại sao chọn nó. Điều này phù hợp với các biến thể xung quanh sản phẩm, giá đỡ hoặc trang phục khi hiệu suất ban đầu và thời gian chụp đã hoạt động. Một tham chiếu rõ ràng có thể đủ cho một sự thay thế đơn giản; một số chế độ xem hữu ích có thể mô tả tốt hơn một mục phức tạp hơn.

Đánh đổi. Chỉnh sửa được nhắm mục tiêu nhanh chóng vẫn cần xem xét từng đối tượng. Các vật phẩm tương tự, một chỗ dựa biến mất phía sau ai đó hoặc một vết cắt sang một góc khác có thể làm cho mục tiêu kém rõ ràng hơn. Chia các chuỗi phức tạp thành các bức ảnh và đặt tên cho mục hiển thị trong mỗi bức ảnh, thay vì giả sử một yêu cầu rộng bao gồm mọi lần xuất hiện.

5. Beeble SwitchX: Quyết định khu vực nào được tạo

Beeble SwitchX sử dụng mặt nạ alpha để phân biệt các vùng nguồn được giữ lại với các vùng được tạo. Nó cung cấp một loại kiểm soát khác với việc dựa vào mô hình để suy ra mục tiêu chỉ từ các từ.

Làm thế nào nó hoạt động. Cung cấp cảnh quay, xác định mặt nạ và thêm lời nhắc hoặc tham chiếu cho giao diện mong muốn. Giải thích hiện tại của Beeble sử dụng màu trắng cho các vùng nguồn được giữ lại và màu đen cho các vùng được tạo đầy đủ. Xác nhận quy ước đó trước khi gửi; mặt nạ đảo ngược thay đổi phần sai của khung.

Tại sao chọn nó. Mặt nạ cung cấp cho bạn một ranh giới có thể nhìn thấy để kiểm tra khi đối tượng ở gần mặt, quần áo hoặc một tính năng quan trọng khác. Một bản tóm tắt thay thế cũng có thể chỉ định ánh sáng xung quanh và phong cách hình ảnh.

Đánh đổi. Giữ lại không nhất thiết có nghĩa là màu giống hệt nhau: SwitchX có thể làm sáng lại và tạo kiểu lại các vùng nguồn để hòa trộn với cảnh mới. Nếu các pixel chưa được chạm tới là một yêu cầu phân phối, hãy kiểm tra hành vi đó và xem xét việc tổng hợp thông thường. Quy trình làm việc của nó hữu ích chính xác vì bạn có thể làm cho khu vực được tạo rõ ràng, thay vì coi việc bảo quản như một lời hứa mơ hồ.

6. Pika: Sử dụng ứng dụng Swap Anything hiện tại

Ứng dụng Swap Anything hiện tại của Pika chấp nhận một clip, mô tả về những thay đổi và tham chiếu tùy chọn. Nó cung cấp một lộ trình trực tiếp cho những thay đổi sáng tạo đối với đạo cụ, sản phẩm, quần áo hoặc dàn diễn viên.

Làm thế nào nó hoạt động. Tải video lên, đặt tên cho phần tử cần thay thế và thêm tham chiếu cho giao diện dự định. Tạo phiên bản đã sửa đổi, sau đó so sánh giao diện mới của nó với chuyển động ban đầu. Giữ các danh mục thay đổi không liên quan trống khi mục tiêu của bạn là một chỗ dựa.

Tại sao chọn nó. Ứng dụng hướng tác vụ thuận tiện khi bạn muốn bắt đầu với hoán đổi thay vì chọn mô hình video chung trước. Đối với một clip xã hội vui tươi, bạn có thể đánh giá cao một sự chuyển đổi táo bạo hơn là giữ nguyên pixel-cho-pixel.

Đánh đổi. Các hướng dẫn cũ hơn có thể gọi tính năng Pikaswaps và mô tả các cài đặt từ giao diện trước đó. Bắt đầu từ ứng dụng và kiểm tra cài đặt kiểu máy và thế hệ có sẵn. Yêu cầu về gói hoặc giải pháp Pika cũ hơn không tự động là điều kiện của ứng dụng hiện tại.

7. Luma: Điều khiển chuyển động và cấu trúc với Ray3.2

Quy trình làm việc Ray3.2 Modify Video V2 hiện tại của Luma biến đổi cảnh quay hiện có trong khi sử dụng bố cục chuyển động và không gian của nó làm hướng dẫn. Nó rất hữu ích khi một thay đổi đạo cụ thuộc về một phương pháp điều trị sáng tạo rộng lớn hơn.

Làm thế nào nó hoạt động. Mở Modify Video và chọn Ray3.2, tải lên nguồn và mô tả sự thay thế. Điều khiển chuyển động liên quan đến chuyển động và động lực của máy ảnh; Cấu trúc kiểm soát mức độ chặt chẽ của kết quả theo các hình dạng và bố cục ban đầu. Bắt đầu với sự tuân thủ cấu trúc mạnh mẽ để thay đổi chỗ dựa cục bộ, sau đó nới lỏng nó chỉ khi hình dạng mới dự định cần tự do hơn.

Tại sao chọn nó. Điều này ngăn cách việc giữ cho hành động không giữ lại hình học cũ của đối tượng. Hướng dẫn nhiều khung hình chính cũng có thể hướng dẫn cách giao diện thay đổi thông qua clip.

Điều kiện. Modify Video hỗ trợ tối đa 20 giây ở 24 khung hình / giây, 15 giây ở 30 khung hình / giây hoặc bảy giây ở 60 khung hình / giây, với đầu ra lên đến 1080p. Hành động nhanh, mờ hoặc bị tắc nhiều khó theo dõi hơn. Xem lại sản phẩm và cảnh xung quanh: bảo toàn hiệu suất không phải là đảm bảo pixel chưa được chạm tới.

8. After Effects: Loại bỏ, theo dõi và tổng hợp khi vấn đề chính xác

After Effects là một lộ trình tổng hợp chứ không phải là một lời nhắc duy nhất phát minh ra toàn bộ sự thay thế. Nó rất hữu ích khi đối tượng phải tuân theo chuyển động chính xác, hiển thị tác phẩm nghệ thuật chính xác hoặc ngồi sau một bàn tay tiền cảnh được điều khiển riêng biệt.

Làm thế nào nó hoạt động. Mặt nạ và theo dõi đối tượng ban đầu. Nếu nó cần biến mất, Content-Aware Fill có thể tái tạo lại khu vực được bảo hiểm bằng cách sử dụng các khung xung quanh; nền khó có thể cần một khung tham chiếu được sửa chữa. Thêm phần thay thế như một phần tử riêng biệt, theo dõi chuyển động và phối cảnh của nó, sau đó sử dụng mặt nạ hoặc rotoscoping để khôi phục các vết lõm ở tiền cảnh.

Tại sao chọn nó. Màn hình điện thoại, bìa sách phẳng hoặc bảng hiệu thường cần văn bản chính xác. Theo dõi và đặt tác phẩm nghệ thuật thực sự giữ tác phẩm nghệ thuật đó dưới sự kiểm soát của bạn. Công việc chuyển từ "tạo ra một phiên bản thuyết phục" sang "làm cho tài sản cụ thể này nằm chính xác trong cảnh quay".

Đánh đổi. Bạn cung cấp nhiều thủ công hơn: theo dõi, cạnh, làm mờ chuyển động, ánh sáng và bóng tiếp xúc. Content-Aware Fill một mình loại bỏ một đối tượng; nó không tự động chèn sản phẩm của bạn. Để loại bỏ mà không thay thế, hướng dẫn của chúng tôi để loại bỏ các đối tượng không mong muốn từ video bao gồm các quyết định dọn dẹp riêng biệt.

Xây dựng hoán đổi xung quanh một đối tượng có thể nhìn thấy rõ ràng

Nỗ lực đầu tiên hữu ích là một cảnh quay ngắn, liên tục với mục tiêu có thể nhìn thấy và tham chiếu thay thế được chụp từ một góc tương thích. Bạn học được nhiều hơn từ một sự thay thế có kiểm soát hơn là từ một bản dựng phim dài chứa nhiều đối tượng khác nhau.

Chuẩn bị nguồn và thay thế cùng nhau

Cắt nguồn cho hành động có liên quan trước khi tải lên khi công cụ không có điều khiển cắt tỉa. Giữ đủ chì và kết thúc để xem đối tượng đi vào, di chuyển và rời đi. Một cây trồng che bàn tay hoặc vật thể giữa chừng hành động làm cho kết quả khó đánh giá hơn.

Sử dụng một tham chiếu thay thế sạch sẽ cho thấy hình bóng và các chi tiết quan trọng. Một chế độ xem phía trước giúp với một nhãn; một góc nhìn truyền đạt độ dày. Đối với một sản phẩm quay trong khi chụp, một bức ảnh ở mặt trước sẽ để mặt bên và mặt sau mở ra để phát minh. Nếu bạn vẫn đang chuẩn bị một tài sản sản phẩm dễ nhận biết, hướng dẫn của chúng tôi về hình ảnh sản phẩm nhất quán cho quảng cáo giải thích chi tiết nào cần được cố định.

Viết thay đổi và hành động được giữ lại riêng biệt

Một hướng dẫn bắt đầu thực tế là:

Thay thế cốc trắng trên bàn bằng xanh da trời cốc gốm trong hình ảnh tham khảo. Giữ người, chuyển động tay, chuyển động bàn và máy ảnh. Giữ các ngón tay trước cốc khi người đó nhấc nó lên. Phù hợp với ánh sáng ban đầu và bóng tiếp xúc.

Điều chỉnh đối tượng và hành động cho clip. Sử dụng nhãn hoặc thẻ tham chiếu thực tế của công cụ nếu có. "Thay thế" hữu ích hơn "thêm" khi mục gốc phải biến mất; nếu không yêu cầu có thể để cả hai đối tượng trong cảnh.

Khi có bản xem trước khung hình chính, hãy giải quyết hình thức tĩnh trước. Kiểm tra kích thước của vật thay thế so với bàn tay hoặc đồ nội thất gần đó, góc của đế và vị trí của nó trong cảnh. Sau đó tuyên truyền phiên bản đó thành chuyển động.

Xem lại toàn bộ hành động và kết quả đã tải xuống

Kiểm tra phần đầu, chuyển động mạnh nhất, mọi sự chồng chéo và phần cuối. Một chai có vẻ chính xác trước khi một bàn tay bắt chéo nó có thể trở lại với một nhãn khác sau đó. Theo dõi sự thay đổi kích thước đột ngột, tay cầm xuất hiện ở phía sai hoặc hình ảnh phản chiếu vẫn hiển thị đối tượng ban đầu.

Phát clip với tốc độ dự kiến cũng như kiểm tra các khung hình chính. Những vụ mất tích chớp nhoáng và ngắn ngủi có thể khó nhận thấy hơn trong những bức ảnh tĩnh biệt lập. Xuất ứng cử viên và kiểm tra thời lượng, khung và hình thức cuối cùng của tệp thực tế trước khi đưa nó vào một bản chỉnh sửa dài hơn. Nếu nhiệm vụ là chỉ giữ cho máy ảnh di chuyển trong khi làm lại ảnh, hãy sử dụng quy trình làm việc riêng biệt để làm lại video sản phẩm với chuyển động của máy ảnh .

Khắc phục sự cố đã thực sự xảy ra

Đối tượng cũ vẫn còn, hoặc chỉ một số hình thức thay đổi. Làm cho mô tả mục tiêu cụ thể hơn và chia trình tự khi cắt. Một cuốn sách, một thẻ trống và một gói có thể trông giống như một người nhưng yêu cầu mô tả riêng biệt. Đối với công cụ dựa trên mặt nạ, hãy xác minh vùng nào được chọn và kiểm tra mặt nạ khi mục tiêu xuất hiện lại.

Một bàn tay hợp nhất vào sự thay thế. Nhiệm vụ bao gồm tắc nghẽn: một số ngón tay thuộc về phía trước, trong khi một phần của vật thể nằm phía sau chúng. Chọn một khung rõ ràng hơn, giảm sự thay đổi được yêu cầu về hình dạng hoặc khôi phục bàn tay ban đầu làm tổng hợp tiền cảnh. Chỉ một bức ảnh sản phẩm chi tiết hơn không giải thích được mọi tương tác giữa tay và vật.

Đối tượng thay đổi hình dạng hoặc thương hiệu trong quá trình di chuyển. Sử dụng các tham chiếu tiết lộ các chế độ xem có liên quan và đơn giản hóa cảnh quay. Khi chữ hoặc bao bì chính xác là cần thiết, tác phẩm nghệ thuật tổng hợp đã được phê duyệt hoặc sử dụng ảnh chụp thực tế của sản phẩm thay thế. Một nhãn được tạo ra hợp lý không phải là một nhãn trung thành.

Bối cảnh hoặc con người cũng thay đổi. Giảm phạm vi chuyển đổi, chọn chế độ hoán đổi cục bộ và đơn giản hóa lời nhắc. Nếu một phương pháp vốn đã vẽ lại quá nhiều, hãy chuyển sang lộ trình tổng hợp thông thường hoặc được kiểm soát bằng mặt nạ thay vì liên tục yêu cầu "mọi thứ giống hệt nhau".

Đối tượng mới vừa vặn, nhưng ảnh vẫn cảm thấy sai. Kiểm tra bóng, phản xạ, mờ chuyển động và các điểm tiếp xúc của nó. Thay thế một đạo cụ phản chiếu có thể yêu cầu những thay đổi bên ngoài hình bóng của nó. Một hình ảnh được theo dõi cứng nhắc có thể hoạt động cho màn hình hoặc bìa sách; một chiếc túi xách biến dạng hoặc chất lỏng bắn tung tóe cần một giải pháp khác.

Câu hỏi trước khi bạn thay thế một đối tượng video

Thay thế đối tượng có giống như in video không?

Các điều khoản trùng lặp, nhưng kết quả dự kiến quan trọng. Loại bỏ tái tạo lại những gì nên có phía sau đối tượng cũ. Thay thế thêm một đối tượng khác với hình thức và tương tác của chính nó. Một công cụ chỉ loại bỏ bản gốc có thể cần bước tổng hợp thứ hai.

Người thay thế có thể giữ nguyên chuyển động của máy ảnh ban đầu không?

Trình chỉnh sửa video tham chiếu sử dụng chuyển động nguồn như một ràng buộc, nhưng hãy kiểm tra clip được tạo thay vì coi mô tả tính năng như một đảm bảo chuyển động chính xác. Nếu bạn cần cảnh quay gốc bên ngoài chỉnh sửa dưới sự kiểm soát trực tiếp, hãy chọn một mặt nạ thích hợp hoặc quy trình làm việc tổng hợp.

Nếu đối tượng là một người thì sao?

Thay thế nhân vật thêm nhận dạng khuôn mặt, tóc, quần áo và hiệu suất để so sánh. Bắt đầu với hướng dẫn của chúng tôi để thay thế một nhân vật video trong khi vẫn giữ chuyển động . Hoán đổi đạo cụ thành công không xác định rằng một công cụ sẽ bảo tồn khuôn mặt hoặc hiệu suất của một người.

Bắt đầu với Dreamina khi bạn muốn có phiên bản dẫn hướng tham chiếu của một clip hiện có và thực hiện yêu cầu đầu tiên một sự thay thế rõ ràng. Sử dụng bản xem trước khung hình chính, mặt nạ hoặc tổng hợp được theo dõi khi điều khiển đó giải quyết được độ khó thực sự của cảnh quay. Kết quả hữu ích là sự thay thế hoạt động thông qua toàn bộ hành động, không chỉ là khung hình trông đẹp trước.