Đánh giá Omni 1.5: Các tính năng dự kiến, trạng thái phát hành và những gì chúng tôi biết

Đánh giá Omni 1.5: Phán quyết nhanh

Phán quyết ngắn gọn rất đơn giản: Omni 1.5 có thể trở thành một mô hình video đa phương thức quan trọng, nhưng nó vẫn chưa thể được xem xét như một sản phẩm đã phát hành. Đường cơ sở công khai hiện tại của Google là Gemini Omni 1.1 Flash. Mô hình đó đã kết hợp tạo và chỉnh sửa trên văn bản, hình ảnh, âm thanh và video, giúp đánh giá nó hữu ích hơn so với công cụ chuyển văn bản thành video thông thường chỉ chấp nhận một lệnh và trả về một clip.

Kỳ vọng đáng tin cậy nhất cho một thế hệ Omni sau này không chỉ đơn giản là đầu ra sắc nét hơn. Đó là khả năng kiểm soát mạnh mẽ hơn đối với các đầu vào hỗn hợp và các chỉnh sửa lặp lại: giữ nguyên đối tượng trong khi thay đổi vị trí, mở rộng ảnh chụp mà không làm mất địa lý, khớp hành động với âm thanh hoặc điều chỉnh máy ảnh trong khi vẫn giữ nguyên các chi tiết đã được phê duyệt. Đó là những lĩnh vực mà người sáng tạo nên kiểm tra nếu Omni 1.5 được công bố chính thức.

Omni 1.5 là gì?

Omni 1.5 hiện được hiểu tốt nhất là tên mô hình dự kiến hơn là thông số kỹ thuật chính thức. Không có ngày ra mắt đã được xác minh, thẻ mẫu, mã định danh API, bảng giá, danh sách khu vực hoặc bộ tính năng cuối cùng được tìm thấy trong tài liệu công khai của Google trong quá trình nghiên cứu cho trang này. Bất kỳ trang nào trình bày những chi tiết đó như đã giải quyết đều vượt ra ngoài bằng chứng có sẵn.

Cái tên này rất hợp lý vì Google đã giới thiệu Gemini Omni 1.1 Flash như một mô hình chỉnh sửa và tạo video đa phương thức. Dòng sản phẩm hiện tại cung cấp cho chúng tôi một đường cơ sở tính năng cụ thể, nhưng nó không đảm bảo bản phát hành 1.5 sẽ bao gồm những gì. Do đó, đánh giá này sử dụng hai nhãn một cách cẩn thận: các khả năng đã được xác nhận tham khảo Omni 1.1 Flash; các khả năng dự kiến là các ưu tiên đánh giá cho một Omni 1.5 có thể có.

Gemini Omni 1.1 Flash đã làm gì

Google mô tả Gemini Omni 1.1 Flash là một mô hình đa phương thức gốc có thể hoạt động với văn bản, hình ảnh, âm thanh và video. Quy trình làm việc được ghi lại của nó bao gồm văn bản thành video với âm thanh, hình ảnh thành video, tham chiếu đến video và chỉnh sửa video hội thoại. Google cũng liệt kê phần mở rộng video, first-and-last-frame nội suy và nâng cấp 4K trong số các khả năng hiện tại.

• Tạo văn bản thành video với đầu ra âm thanh và hình ảnh được phối hợp.
• Quy trình làm việc từ hình ảnh đến video và tham chiếu đến video cho chuyển động được xây dựng từ hướng dẫn trực quan.
• Chỉnh sửa hội thoại có thể thay đổi chủ đề, hình nền, hành động hoặc hướng máy ảnh.
• Phần mở rộng video và nội suy khung hình đầu tiên / cuối cùng để chụp tiếp tục hoặc bắc cầu.
• Nâng cấp và quy trình làm việc theo định hướng xem trước được thiết kế để hỗ trợ lặp lại trước khi xuất ra cuối cùng.

Điều này quan trọng vì nó thay đổi đơn vị sáng tạo từ một lời nhắc duy nhất thành một cuộc trò chuyện đang diễn ra về video. Người sáng tạo có thể bắt đầu bằng cảnh quay hoặc tài liệu tham khảo, yêu cầu thay đổi tập trung, xem lại kết quả và tiếp tục tinh chỉnh. Câu hỏi thực tế là có bao nhiêu cảnh gốc tồn tại sau mỗi lần sửa đổi.

Các tính năng chính cần xem trong Omni 1.5

Hiểu biết đa phương thức sâu sắc hơn

Chấp nhận một số loại phương tiện truyền thông không giống như hiểu mối quan hệ của họ. Mô hình Omni mạnh hơn nên kết nối các hướng dẫn với các khoảnh khắc chính xác trong clip, sử dụng hình ảnh tham chiếu mà không sao chép các chi tiết không liên quan, diễn giải nhịp điệu âm thanh khi lập kế hoạch hành động và duy trì các ràng buộc bằng văn bản trong suốt chuỗi. Đánh giá nên tập trung vào việc liệu mọi đầu vào có ảnh hưởng có chủ đích, rõ ràng hơn là chỉ được giao diện chấp nhận.

Chỉnh sửa hội thoại đáng tin cậy hơn

Chỉnh sửa hội thoại chỉ trở nên có giá trị khi mỗi yêu cầu thay đổi phần tử dự định và bảo vệ mọi thứ khác. Yêu cầu người mẫu thay thế bầu trời nhiều mây, sau đó làm chậm máy ảnh, sau đó thay đổi hành động của đối tượng. Nếu danh tính, bố cục, màu sắc hoặc thời gian trôi sau mỗi lượt, quy trình làm việc vẫn là một chuỗi tái tạo. Omni 1.5 sẽ nổi bật nếu nó có thể duy trì trạng thái thông qua một số sửa đổi.

Kiểm soát danh tính và tham chiếu mạnh hơn

Tham chiếu đến video là một trong những khả năng đòi hỏi khắt khe nhất vì chuyển động cho thấy lỗi ẩn trong khung tĩnh. Khuôn mặt có thể thay đổi giữa các khung, các mẫu quần áo có thể bò, sản phẩm có thể uốn cong và các đối tượng nền có thể xuất hiện hoặc biến mất. Một mô hình trong tương lai nên bảo tồn các tính năng đặc biệt thông qua chuyển động của máy ảnh, tắc nghẽn, thay đổi biểu cảm và ánh sáng mới - không chỉ khi đối tượng vẫn ở giữa và gần như đứng yên.

Không gian dài hơn và liên tục của máy ảnh

Phần mở rộng video và kiểm tra nội suy xem một mô hình có hiểu các đối tượng đang ở đâu, chúng đang di chuyển ở đâu và máy ảnh liên quan như thế nào đến môi trường hay không. Tính liên tục tốt hơn sẽ giữ cho đường chân trời, hướng đường, bố trí phòng, hướng màn hình và quỹ đạo đối tượng ổn định khi ảnh chụp phát triển. Nó cũng sẽ tránh những thay đổi đột ngột trong hành vi hoặc ánh sáng của ống kính khiến một đoạn clip mở rộng có cảm giác được ghép lại với nhau.

Omni 1.5 có thể thay đổi sản xuất video như thế nào

Nếu mô hình tiếp theo cải thiện độ tin cậy, tác động lớn nhất của nó có thể là sửa đổi hơn là thế hệ đầu tiên. Các nhóm sáng tạo dành thời gian đáng kể để chuyển các ghi chú thành các bản xuất mới: giữ nguyên diễn viên, thay thế bối cảnh, sử dụng ống kính rộng hơn, giữ đoạn kết hoặc làm cho chuyển động bớt kịch tính hơn. Một hệ thống đa phương thức hiểu được cảnh quay gốc và ghi chú có thể nén vòng lặp đó.

Điều tương tự cũng áp dụng cho hình dung trước. Các đạo diễn có thể kết hợp khung bảng phân cảnh, tham chiếu vị trí, ghi chú biểu diễn và tín hiệu âm thanh để khám phá cảnh quay trước khi sản xuất. Các nhóm tiếp thị có thể thực hiện một sản phẩm hoặc người phát ngôn thông qua một số định dạng. Các biên tập viên có thể kết nối hai điểm cuối hoặc mở rộng một clip đã được phê duyệt. Những cách sử dụng này phụ thuộc vào tính liên tục được kiểm soát, không chỉ tính mới.

Omni 1.5 so với mô hình văn bản thành video tiêu chuẩn

Mô hình văn bản thành video tiêu chuẩn thường coi lời nhắc như một lệnh bắt đầu. Mô hình đa phương thức có thể coi toàn bộ dự án là bối cảnh: video hiện có, tài liệu tham khảo trực quan, âm thanh, hướng dẫn văn bản và các chỉnh sửa trước đó. Sự khác biệt đó hỗ trợ hướng cụ thể hơn và có thể sửa đổi, nhưng nó cũng nâng cao tiêu chuẩn. Mô hình phải biết chi tiết nào có thể chỉnh sửa được, chi tiết nào bị khóa và những thay đổi ảnh hưởng như thế nào đến thời gian trong chuỗi.

Đối với người sáng tạo, so sánh chính xác không chỉ là chất lượng hình ảnh. Nó bao gồm sự tuân thủ nhanh chóng, độ trung thực tham chiếu, địa phương chỉnh sửa, tính nhất quán theo thời gian, đồng bộ hóa âm thanh, hành vi của máy ảnh và mức độ phản hồi của mô hình sau thế hệ đầu tiên. Một clip đẹp bị cô lập có thể vẫn không phù hợp với quy trình sản xuất nếu mọi bản sửa đổi đều phá hủy các quyết định đã được phê duyệt.

Những điều chưa biết về Omni 1.5

Trạng thái phát hành là ẩn số lớn nhất, tiếp theo là quyền truy cập và chi phí. Không có thông tin công khai nào được xác nhận ở đây về tính khả dụng của API, quyền truy cập của người tiêu dùng, quốc gia được hỗ trợ, mức độ ưu tiên hàng đợi, mức sử dụng tín dụng, điều khoản thương mại, thời lượng tối đa, độ phân giải gốc, tốc độ khung hình, điều khiển âm thanh, giới hạn tham chiếu hoặc hạn chế an toàn. Ngay cả các tính năng kế thừa từ Omni 1.1 Flash cũng không nên được giả định cho đến khi Google xuất bản tài liệu chính thức.

Người sáng tạo cũng nên tránh coi ngôn ngữ điểm chuẩn thay thế cho kiểm tra quy trình làm việc. Những câu hỏi có ý nghĩa rất thiết thực: Liệu cùng một người có còn được nhận ra không? Chỉnh sửa có thể được giới hạn trong một khu vực hoặc phạm vi thời gian không? Âm thanh có được căn chỉnh sau khi thay đổi thời lượng không? Mô hình có thể tuân theo một bản tóm tắt phức tạp mà không bỏ các ràng buộc muộn không? Xuất cuối cùng có khớp với bản xem trước không?

Omni 1.5 sắp ra mắt trên Dreamina

Omni 1.5 được đánh dấu là sắp ra mắt trên trang Dreamina này. Từ ngữ đó không chỉ định ngày, khu vực triển khai, đăng ký đủ điều kiện, chi phí tín dụng hoặc phạm vi tích hợp cuối cùng. Những chi tiết đó nên được lấy từ giao diện Dreamina trực tiếp khi mô hình có sẵn.

Trong khi chờ đợi, người sáng tạo có thể sử dụng quy trình làm việc video AI hiện tại của Dreamina với Seedance 2.5 để phát triển lời nhắc, khung tham chiếu, hướng camera và cấu trúc cảnh quay. Việc chuẩn bị một bộ kiểm tra có thể lặp lại ngay bây giờ sẽ giúp việc đánh giá Omni 1.5 sau này dễ dàng hơn so với các yêu cầu về đối tượng, chỉnh sửa và tính liên tục giống nhau.

Ai nên xem Omni 1.5?

• Các nhà làm phim và nhóm hình dung trước cần phát triển cảnh và camera có điều khiển.
• Biên tập viên muốn sửa đổi hoặc mở rộng cảnh quay hiện có thông qua hướng ngôn ngữ tự nhiên.
• Nhóm thương hiệu và thương mại điện tử phải giữ cho sản phẩm và người phát ngôn nhất quán.
• Những người sáng tạo xã hội cần nhiều cảnh quay liên quan hơn là một clip bị ngắt kết nối.
• Các nhà phát triển khám phá các công cụ video kết hợp tạo, chỉnh sửa, tham chiếu và ngữ cảnh âm thanh.

Mô hình này ít liên quan hơn đến bất kỳ ai mong đợi sự thay thế bằng một cú nhấp chuột cho phán quyết biên tập. Kiểm soát đa phương thức vẫn yêu cầu các ràng buộc rõ ràng, tài sản nguồn phù hợp, tham chiếu nhận biết quyền và xem xét cẩn thận mọi yếu tố khung và âm thanh.

Đánh giá Omni 1.5: Phán quyết cuối cùng

Omni 1.5 rất đáng xem vì nền tảng Omni 1.1 Flash đã được xác nhận đã hướng tới một cách làm việc rộng rãi hơn với video: tạo từ các đầu vào hỗn hợp, sửa đổi thông qua cuộc trò chuyện, lưu giữ tài liệu tham khảo, mở rộng cảnh và phối hợp âm thanh với hành động. Một bản phát hành trong tương lai có thể làm cho quy trình làm việc đó đáng tin cậy hơn, nhưng nó nên được đánh giá dựa trên tính liên tục và kiểm soát chỉnh sửa hơn là sự cường điệu khi khởi chạy.

Hiện tại, kết luận có trách nhiệm là có điều kiện. Omni 1.5 sắp ra mắt, không phải là sản phẩm có thông số kỹ thuật công khai đã được xác minh. Sử dụng tài liệu Omni 1.1 hiện tại làm cơ sở thực tế, giữ danh sách rõ ràng các ẩn số và chỉ đánh giá mô hình mới sau khi có quyền truy cập chính thức và các điều khoản.

Câu hỏi thường gặp về Omni 1.5

Omni 1.5 có chính thức được phát hành không?

Không tìm thấy thông số kỹ thuật mô hình hoặc bản phát hành Omni 1.5 công khai được xác nhận. Mô hình hiện tại của Google là Gemini Omni 1.1 Flash.

Omni 1.5 có thể hỗ trợ đầu vào nào?

Dòng Omni 1.1 Flash hiện tại hỗ trợ đầu vào văn bản, hình ảnh, âm thanh và video. Việc theo dõi hỗ trợ đa phương thức tương tự hoặc mở rộng là hợp lý, nhưng đầu vào Omni 1.5 vẫn chưa được xác nhận.

Omni có thể chỉnh sửa video hiện có không?

Gemini Omni 1.1 Flash hỗ trợ chỉnh sửa video hội thoại, bao gồm các thay đổi đối với chủ đề, hình nền, hành động và hướng camera. Hành vi chỉnh sửa Omni 1.5 không thể được xác nhận trước khi phát hành.

Omni có tạo âm thanh bằng video không?

Google tài liệu văn bản thành video với khả năng âm thanh và đồng bộ hóa cho Omni 1.1 Flash. Không giả định các giới hạn hoặc kiểm soát giống hệt nhau cho Omni 1.5 cho đến khi tài liệu chính thức xuất hiện.

Tôi có thể theo dõi bản phát hành Dreamina ở đâu?

Sử dụng trang đích Omni 1.5 Dreamina được liên kết để có cái nhìn tổng quan ngắn gọn sắp ra mắt. Tính khả dụng, tín dụng, kế hoạch và các tính năng cuối cùng phải được xác minh trong sản phẩm trực tiếp khi ra mắt.