Mga tool ng AI upang palitan ang mga bagay sa video: Panatilihin ang pagkuha, baguhin ang prop

Piliin ang kontrol na kailangan ng iyong bagay

Para sa isang partikular na produkto, mas mahalaga ang isang reference na larawan kaysa sa isang detalyadong prompt na puno ng adjective. Para sa isang sign o screen ng telepono na may eksaktong text, ang mga sinusubaybayang graphics ay maaaring mas maaasahan kaysa sa generative redrawing. Para sa isang prop na bahagyang nakatago sa likod ng mga daliri, ang foreground na kamay ay nangangailangan ng pansin pati na rin ang kapalit.

Ang pagbabago sa background ay may sariling problema sa pagpili: buhok, transparent na mga gilid at paghihiwalay ng paksa. Kung iyon ang tunay na trabaho, tingnan ang aming gabay sa Pagpapalit ng background ng AI video .. Dito, ang pangunahing gawain ay ang pagpapalit ng isang bagay sa loob ng eksena.

1. Dreamina: Dalhin ang kapalit sa brief

Pinagsasama ng Dreamina 's Recreate workflow ang isang reference na video na may mga visual na sanggunian. Ang Object Swap ay ang nauugnay na mode kapag gusto mong tumukoy ng bagong produkto, prop, outfit o iba pang elemento habang naglalayong panatilihin ang nakapaligid na shot.

Paano magsisimula. Bukas Dreamina Muling likhain , pumili ng available na modelo at Object Swap, pagkatapos ay idagdag ang source video at kahit isang kapalit na larawan. Ipaliwanag kung ano ang dapat magbago at kung ano ang dapat manatili. Suriin ang nabuong clip sa task center at gamitin ang muling pag-edit upang pinuhin ang kahilingan.

Piliin ang naaangkop na modelo. Ang dokumentadong pamantayang Recreate ay gumagamit ng Seedance 2.5 at tumatanggap ng isang 4-30 segundong video; Gumagamit ang Recreate Lite ng Wan 3.0 at tumatanggap ng 4-15 segundo. Nag-iiba-iba ang availability ayon sa rehiyon at account. Ihanda ang nilalayong segment bago mag-upload: ang dokumentadong daloy ng trabaho sa paglulunsad ay hindi nagbibigay ng pagpili o pag-trim ng segment, at tinatanggihan ang isang overlong input.

Bakit ito pipiliin. Nagsisimula ang daloy ng trabaho sa parehong kasalukuyang paggalaw at hitsura ng kapalit. Iyon ay umaangkop sa isang adaptasyon ng produkto nang mas direkta kaysa sa pagbuo ng isang katulad na bagong kuha mula sa teksto. Hatulan ang resulta laban sa parehong mga input; ang isang makatwirang bagong bagay ay nangangailangan pa rin ng tamang hugis at pakikipag-ugnayan.

2. Runway: Aprubahan ang keyframe bago ang video

Ang Runway 's Edit Studio ay nagbibigay sa kapalit ng isang kapaki-pakinabang na intermediate stage. Maaari kang mag-edit ng malinaw na frame, siyasatin ang iminungkahing hitsura, pagkatapos ay ilapat ang napiling bersyon sa gumagalaw na shot gamit ang Aleph 2.0.

Paano ito gumagana. Buksan ang Edit Studio mula sa Apps, i-upload ang clip, at pumili ng keyframe na malinaw na nagpapakita ng target. Sumulat ng maikling pagtuturo sa pagbabago at magdagdag ng reference na larawan kung kapaki-pakinabang. I-preview ang inayos na larawan, pinuhin ito kung kinakailangan, pagkatapos ay buuin ang video. Maaaring limitahan ng kontrol sa hanay ang pag-edit sa bahagi ng clip.

Bakit ito pipiliin. Kung ang isang kapalit ay mukhang mali habang nakatigil, ang pagpapalaganap nito sa pamamagitan ng paggalaw ay nagdaragdag ng trabaho nang hindi nilulutas ang orihinal na problema. Hinahayaan ka ng preview na itama muna ang laki, hugis o pagkakalagay nito. Ang dagdag na paggalaw ay isang hiwalay na opsyonal na pagtuturo; ang isang normal na prop swap ay hindi kinakailangang kailangan ito.

Kundisyon. Inililista ng kasalukuyang dokumentasyon ang mga conventional aspect ratio, 480p-1080p input, 24-30 fps at hindi hihigit sa 10 cut. Mag-upload ng mga gabay na tawag para sa mga video na mas mahaba sa dalawang segundo at mas maikli sa 30 segundo. Ang pagbuo ng video ay nagkakahalaga ng 28 credits bawat na-edit na segundo na may 56-credit na minimum; Ang mga pag-ulit ng imahe ng keyframe ay sinisingil nang hiwalay. Ang ProRes at PNG-sequence generation ay may karagdagang plano at mga kondisyon sa gastos.

3. Kling AI: Pangalanan ang video at tahasang sanggunian

Pinagsasama ng workflow sa pag-edit ng O1 ni Kling ang mga sanggunian ng video, teksto at larawan o elemento. Ito ay kapaki-pakinabang kapag ang kapalit ay may isang tiyak na hitsura na ang isang generic na pagtuturo ay hindi makipag-usap.

Paano ito gumagana. Ibigay ang kasalukuyang video sa workflow sa pag-edit, idagdag ang nauugnay na kapalit na reference, at gamitin ang mga reference tag ng interface sa pagtuturo. Ilarawan nang malinaw ang target at ang nilalayong pagbabago. Ang isang elemento na binuo mula sa ilang mga view ay maaaring magbigay ng higit pang impormasyon sa hitsura kaysa sa isang hindi maliwanag na larawan.

Bakit ito pipiliin. Nakakatulong ang mga naka-tag na sanggunian na paghiwalayin ang source footage mula sa item na gusto mong ipakilala. Maaaring matukoy ng isang prompt ang papel ng bagay pati na rin ang kulay nito: "palitan ang bote na hawak sa kanang kamay ng reference na bote" ay mas malinaw kaysa sa "idagdag ang bote na ito".

Kundisyon. Ang opisyal na gabay sa O1 ay nagdodokumento ng isang 3-10 segundong video, hanggang 200 MB at 2K na input, na may hanggang apat na larawan o elemento na pinagsama kapag may video. Iyon ay mga kundisyon na partikular sa O1. Huwag malito ang tampok na sangguniang video nito para sa pagbuo ng isa pang kuha sa pag-edit ng orihinal na kuha; iba ang output task.

4. Higgsfield: Pumili ng Objects swap para sa isang lokal na pagbabago

Pinaghihiwalay ng Higgsfield Genjutsu ang Objects swap mula sa Motion transfer. Mahalaga ang pagkakaibang iyon: ang una ay nagta-target ng napiling elemento, habang ang pangalawa ay gumagamit ng kilusan upang muling buuin ang higit pa sa eksena.

Paano ito gumagana. Piliin ang Genjutsu sa video model picker, piliin ang Objects swap, at i-upload ang clip at mga kapalit na larawan. Ang kasalukuyang karaniwang daloy ng trabaho ay tumatanggap ng 4-30 segundong video at hanggang 30 reference na larawan. Maaaring tukuyin ng maikling prompt ang pagbabago kapag ang mga reference o preset ay nangangailangan ng higit pang direksyon.

Bakit ito pipiliin. Nababagay ito sa mga variation sa paligid ng isang produkto, prop o outfit kapag gumagana na ang orihinal na performance at timing ng shot. Ang isang malinaw na sanggunian ay maaaring sapat para sa isang simpleng pagpapalit; mas mailarawan ng ilang kapaki-pakinabang na view ang isang mas kumplikadong item.

Trade-off. Ang isang prompt-targeted na pag-edit ay nangangailangan pa rin ng object-by-object na pagsusuri. Ang mga katulad na item, isang prop na nawawala sa likod ng isang tao, o isang hiwa sa ibang anggulo ay maaaring gawing mas malinaw ang target. Hatiin ang mga kumplikadong sequence sa mga kuha at pangalanan ang nakikitang item sa bawat isa, sa halip na ipagpalagay na ang isang malawak na kahilingan ay sumasaklaw sa bawat hitsura.

5. Beeble SwitchX: Magpasya kung aling lugar ang mabubuo

Gumagamit ang Beeble SwitchX ng alpha mask upang makilala ang mga napanatili na rehiyon ng pinagmulan mula sa mga nabuong rehiyon. Nag-aalok ito ng ibang uri ng kontrol mula sa pag-asa sa modelo upang mahinuha ang target mula lamang sa mga salita.

Paano ito gumagana. Ibigay ang footage, tukuyin ang mask at magdagdag ng prompt o reference para sa gustong hitsura. Ang kasalukuyang paliwanag ni Beeble ay gumagamit ng puti para sa mga napanatili na lugar ng pinagmulan at itim para sa ganap na nabuong mga lugar. Kumpirmahin ang convention na iyon bago isumite; binabago ng isang baligtad na maskara ang maling bahagi ng frame.

Bakit ito pipiliin. Ang maskara ay nagbibigay sa iyo ng nakikitang hangganan upang siyasatin kapag ang bagay ay malapit sa isang mukha, damit o isa pang mahalagang katangian. Ang isang kapalit na maikling ay maaari ding tukuyin ang nakapalibot na liwanag at visual na istilo.

Trade-off. Ang pagpapanatili ay hindi nangangahulugang magkaparehong kulay: Ang SwitchX ay maaaring mag-relight at mag-restyle ng mga lugar ng pinagmulan upang ihalo sa bagong eksena. Kung ang mga hindi nagalaw na pixel ay isang kinakailangan sa paghahatid, siyasatin ang gawi na iyon at isaalang-alang ang kumbensyonal na pag-composite. Ang daloy ng trabaho nito ay tiyak na kapaki-pakinabang dahil maaari mong gawing tahasan ang nabuong lugar, sa halip na ituring ang pangangalaga bilang isang hindi malinaw na pangako.

6. Pika: Gamitin ang kasalukuyang Swap Anything app

Ang kasalukuyang Swap Anything app ng Pika ay tumatanggap ng clip, isang paglalarawan kung anong mga pagbabago at opsyonal na sanggunian. Nagbibigay ito ng direktang ruta para sa mga malikhaing pagbabago sa mga props, produkto, damit o cast.

Paano ito gumagana. I-upload ang video, pangalanan ang elementong papalitan, at magdagdag ng mga sanggunian para sa nilalayong hitsura. Bumuo ng binagong bersyon, pagkatapos ay ihambing ang bagong hitsura nito sa orihinal na paggalaw. Panatilihing walang laman ang mga hindi nauugnay na kategorya ng pagbabago kapag ang iyong layunin ay isang prop.

Bakit ito pipiliin. Maginhawa ang isang task-oriented na app kapag gusto mong magsimula sa swap sa halip na pumili muna ng pangkalahatang modelo ng video. Para sa isang mapaglarong social clip, maaari mong pahalagahan ang isang matapang na pagbabago kaysa sa pagpapanatili ng pinagmulang pixel-for-pixel.

Trade-off. Maaaring tawagan ng mga mas lumang gabay ang feature na Pikaswaps at ilarawan ang mga setting mula sa isang naunang interface. Magsimula sa app at siyasatin ang available na modelo at mga setting ng henerasyon. Ang isang claim tungkol sa isang mas lumang Pika plan o resolution ay hindi awtomatikong isang kundisyon ng kasalukuyang app.

7. Luma: Kontrolin ang paggalaw at istraktura gamit ang Ray3.2

Binabago ng kasalukuyang Ray3.2 Modify Video V2 workflow ng Luma ang kasalukuyang footage habang ginagamit ang motion at spatial na layout nito bilang mga gabay. Ito ay kapaki-pakinabang kapag ang isang pagbabago sa prop ay kabilang sa isang mas malawak na malikhaing paggamot.

Paano ito gumagana. Buksan ang Modify Video at piliin ang Ray3.2, i-upload ang pinagmulan, at ilarawan ang kapalit. Kinokontrol ng paggalaw ang paggalaw ng pag-aalala at dynamics ng camera; Kinokontrol ng istruktura kung gaano kahigpit ang resulta sa mga orihinal na hugis at komposisyon. Magsimula sa malakas na pagsunod sa istraktura para sa isang lokal na pagbabago ng prop, pagkatapos ay paluwagin lamang ito kung ang nilalayong bagong hugis ay nangangailangan ng higit na kalayaan.

Bakit ito pipiliin. Ito ay naghihiwalay sa pagpigil sa pagkilos mula sa pagpapanatili ng lumang geometry ng bagay. Ang gabay sa multi-keyframe ay maaari ding magdirekta kung paano nagbabago ang isang hitsura sa pamamagitan ng clip.

Kundisyon. Sinusuportahan ng Modify Video ang hanggang 20 segundo sa 24 fps, 15 segundo sa 30 fps, o pitong segundo sa 60 fps, na may mga output na hanggang 1080p. Ang mabilis, malabo o mabigat na nakaharang na pagkilos ay mas mahirap subaybayan. Suriin ang produkto at nakapaligid na eksena: ang pagpapanatili ng pagganap ay hindi isang hindi nagalaw na garantiya ng pixel.

8. After Effects: Alisin, subaybayan at i-composite kapag mahalaga ang katumpakan

Ang After Effects ay isang compositing route sa halip na isang prompt na nag-imbento ng buong kapalit. Ito ay kapaki-pakinabang kapag ang bagay ay dapat sumunod sa eksaktong galaw, magpakita ng eksaktong likhang sining o umupo sa likod ng isang hiwalay na kinokontrol na kamay sa harapan.

Paano ito gumagana. I-mask at subaybayan ang orihinal na bagay. Kung kailangan itong mawala, maaaring buuin muli ng Content-Aware Fill ang sakop na lugar gamit ang mga nakapalibot na frame; maaaring kailanganin ng mahihirap na background ang isang naitama na reference frame. Idagdag ang kapalit bilang isang hiwalay na elemento, subaybayan ang paggalaw at pananaw nito, pagkatapos ay gumamit ng mga maskara o rotoscoping upang maibalik ang mga occlusion sa harapan.

Bakit ito pipiliin. Ang screen ng telepono, flat book cover o sign ay kadalasang nangangailangan ng eksaktong text. Ang pagsubaybay at paglalagay ng tunay na likhang sining ay nagpapanatili sa likhang sining sa ilalim ng iyong kontrol. Ang trabaho ay lumilipat mula sa "bumuo ng isang nakakumbinsi na bersyon" patungo sa "gawin itong partikular na asset na umupo nang tama sa shot".

Trade-off. Nagbibigay ka ng mas maraming craft: pagsubaybay, mga gilid, motion blur, lighting at contact shadow. Content-Aware Fill lang ang nag-aalis ng object; hindi nito awtomatikong ipinapasok ang iyong produkto. Para sa pag-alis nang walang pagpapalit, ang aming gabay sa Pag-alis ng mga hindi gustong bagay mula sa video Sinasaklaw ang desisyon sa paglilinis nang hiwalay.

Buuin ang swap sa paligid ng isang malinaw na nakikitang bagay

Ang isang kapaki-pakinabang na unang pagtatangka ay isang maikli, tuluy-tuloy na pagbaril na may nakikitang target at isang kapalit na sanggunian na nakuhanan ng larawan mula sa isang katugmang anggulo. Mas marami kang natutunan mula sa isang kinokontrol na pagpapalit kaysa sa isang mahabang montage na naglalaman ng iba 't ibang mga bagay.

Ihanda ang pinagmulan at palitan nang magkasama

I-trim ang source sa nauugnay na aksyon bago mag-upload kapag walang trimming control ang tool. Panatilihin ang sapat na lead-in at pagtatapos upang makita ang bagay na pumasok, gumagalaw at umalis. Ang isang pananim na nagtatago ng kamay o bagay sa kalagitnaan ng pagkilos ay ginagawang mas mahirap hatulan ang resulta.

Gumamit ng malinis na kapalit na sanggunian na nagpapakita ng silweta at mahahalagang detalye. Nakakatulong ang front view sa isang label; ang isang angled view ay nakikipag-ugnayan sa kapal. Para sa isang produkto na lumiliko habang kinukunan, ang isang larawang nakaharap sa harap ay nag-iiwan sa gilid at likod na bukas sa imbensyon. Kung naghahanda ka pa rin ng isang nakikilalang asset ng produkto, ang aming gabay sa pare-parehong mga larawan ng produkto para sa mga ad Ipinapaliwanag kung aling mga detalye ang kailangang manatiling maayos.

Isulat ang pagbabago at ang napanatili na aksyon nang hiwalay

Ang isang praktikal na panimulang pagtuturo ay:

Palitan ang puting mug sa mesa ng asul na ceramic mug sa reference na larawan. Panatilihin ang paggalaw ng tao, kamay, mesa at camera. Itago ang mga daliri sa harap ng mug kapag binuhat ito ng tao. Itugma ang orihinal na liwanag at contact shadow.

Iangkop ang bagay at aksyon sa clip. Gamitin ang aktwal na reference label o tag ng tool kung saan available. Ang "Palitan" ay mas kapaki-pakinabang kaysa sa "idagdag" kapag ang orihinal na item ay dapat mawala; kung hindi, maaaring iwanan ng kahilingan ang parehong mga bagay sa eksena.

Kung saan available ang preview ng keyframe, lutasin muna ang nakatigil na hitsura. Suriin ang laki ng kapalit laban sa kamay o kalapit na kasangkapan, ang anggulo ng base nito at ang posisyon nito sa eksena. Pagkatapos ay ipalaganap ang bersyon na iyon sa paggalaw.

Suriin ang buong aksyon at ang na-download na resulta

Siyasatin ang simula, ang pinakamalakas na paggalaw, bawat magkakapatong at ang wakas. Ang isang bote na mukhang tama bago tumawid ang isang kamay ay maaaring bumalik na may ibang label pagkatapos. Panoorin ang isang biglaang pagbabago ng laki, isang hawakan na lumilitaw sa maling bahagi, o isang pagmuni-muni na nagpapakita pa rin ng orihinal na bagay.

I-play ang clip sa nilalayon nitong bilis pati na rin ang pag-inspeksyon sa mga key frame. Ang pagkutitap at maikling pagkawala ay maaaring mas mahirap mapansin sa mga nakahiwalay na still. I-export ang kandidato at suriin ang aktwal na tagal ng file, pag-frame at huling hitsura bago ito ilagay sa mas mahabang pag-edit. Kung ang gawain ay panatilihin lamang ang paggalaw ng camera habang nire-remake ang kuha, gamitin ang hiwalay na daloy ng trabaho para sa muling paggawa ng video ng produkto gamit ang paggalaw ng camera nito ..

Ayusin ang kabiguan na aktwal na nangyari

Ang lumang bagay ay nananatili, o ilang anyo lamang ang nagbabago. Gawing mas tiyak ang paglalarawan ng target at hatiin ang sequence at cuts. Ang isang libro, isang blangkong card at isang pakete ay maaaring magmukhang katulad ng isang tao ngunit nangangailangan ng hiwalay na paglalarawan. Para sa tool na nakabatay sa mask, i-verify kung aling rehiyon ang pipiliin at suriin ang mask kapag muling lumitaw ang target.

Ang isang kamay ay sumanib sa kapalit. Kasama sa gawain ang isang occlusion: ang ilang mga daliri ay nasa harap, habang ang bahagi ng bagay ay nakaupo sa likod ng mga ito. Pumili ng mas malinaw na frame, bawasan ang hiniling na pagbabago sa hugis, o ibalik ang orihinal na kamay bilang foreground composite. Ang isang mas detalyadong larawan ng produkto lamang ay hindi nagpapaliwanag sa bawat pakikipag-ugnayan ng hand-object.

Ang bagay ay nagbabago ng hugis o pagba-brand sa panahon ng paggalaw. Gumamit ng mga sanggunian na nagpapakita ng mga nauugnay na pananaw at pasimplehin ang kuha. Kapag ang eksaktong pagkakasulat o packaging ay mahalaga, pinagsama-samang inaprubahang likhang sining o gumamit ng isang tunay na kuha ng kapalit. Ang isang makatwirang nabuong label ay hindi isang tapat na label.

Nagbabago din ang background o tao. Bawasan ang saklaw ng pagbabago, piliin ang lokal na swap mode at pasimplehin ang prompt. Kung ang isang paraan ay likas na nag-redraw nang labis, lumipat sa isang mask-controlled o conventional compositing route sa halip na paulit-ulit na humingi ng "lahat ng bagay na magkapareho".

Ang bagong bagay ay umaangkop, ngunit ang pagbaril ay mali pa rin. Suriin ang anino nito, repleksyon, motion blur at mga punto ng contact. Ang pagpapalit ng reflective prop ay maaaring mangailangan ng mga pagbabago sa labas ng silhouette nito. Ang isang matibay na sinusubaybayang graphic ay maaaring gumana para sa isang screen o pabalat ng libro; ang isang deforming handbag o splashing liquid ay nangangailangan ng ibang solusyon.

Mga tanong bago mo palitan ang isang video object

Ang pagpapalit ba ng bagay ay kapareho ng video inpainting?

Nagsasapawan ang mga termino, ngunit mahalaga ang nilalayong resulta. Ang pag-alis ay muling itinatayo kung ano ang dapat na nasa likod ng lumang bagay. Ang pagpapalit ay nagdaragdag ng isa pang bagay na may sariling hitsura at pakikipag-ugnayan. Ang isang tool na nag-aalis lamang ng orihinal ay maaaring mangailangan ng pangalawang hakbang sa pag-composite.

Maaari bang panatilihin ng isang kapalit ang orihinal na paggalaw ng camera?

Ginagamit ng mga editor ng reference-video ang source motion bilang isang hadlang, ngunit siyasatin ang nabuong clip sa halip na ituring ang paglalarawan ng feature bilang isang eksaktong galaw na garantiya. Kung kailangan mo ng orihinal na footage sa labas ng pag-edit sa ilalim ng direktang kontrol, pumili ng naaangkop na mask o compositing workflow.

Paano kung ang bagay ay isang tao?

Ang pagpapalit ng karakter ay nagdaragdag ng pagkakakilanlan ng mukha, buhok, pananamit at pagganap sa paghahambing. Magsimula sa aming gabay sa Pinapalitan ang isang video character habang pinapanatili ang paggalaw .. Ang isang matagumpay na prop swap ay hindi nagtatatag na ang isang tool ay magpapanatili sa mukha o pagganap ng isang tao.

Magsimula sa Dreamina kapag gusto mo ng reference-led na bersyon ng isang umiiral nang clip, at gawin ang unang kahilingan ng isang malinaw na pagpapalit. Gumamit ng keyframe preview, mask o sinusubaybayang composite kapag nalutas ng kontrol na iyon ang tunay na kahirapan ng shot. Ang kapaki-pakinabang na resulta ay ang kapalit na gumagana sa buong aksyon, hindi lamang ang frame na mukhang maganda muna.