Meta bugün, metin komutlarına dayalı olarak sesli gerçekçi videolar oluşturabilen Movie Gen medya temeli yapay zeka model ailesini duyurdu. Movie Gen ailesi iki ana model içeriyor: MovieGen Video ve MovieGen Audio.
Meta’nın Movie Gen’i İkna Edici Yapay Zeka Video Klipleri Oluşturuyor
Movie Gen Video, tek bir metin isteminden yüksek kaliteli, yüksek çözünürlüklü görüntüler ve videolar üretebilen 30 milyar parametreli bir dönüştürücü modelidir. Üretilen videolar saniyede 16 kare hızında 16 saniyeye kadar uzunlukta olabilir.
MovieGen Audio, isteğe bağlı metin komutlarıyla birlikte bir video girişi alabilen ve giriş videosuyla senkronize olan 45 saniye uzunluğa kadar yüksek kaliteli ses üretebilen 13 milyar parametreli bir dönüştürücü modelidir. Bu yeni ses modeli ortam sesi, enstrümantal arka plan müziği ve Foley sesi üretebilir. Meta, ses kalitesi, videodan sese hizalama ve metinden sese hizalamada son teknoloji ürünü sonuçlar sunduğunu iddia ediyor.
Bu modeller sadece yepyeni videolar oluşturmak için değildir. Basit metin komutları kullanarak mevcut videoları düzenlemek için de kullanılabilirler. Movie Gen, kullanıcıların arka plan veya stil değişiklikleri gibi global değişikliklere ek olarak öğe ekleme, kaldırma veya değiştirme gibi yerelleştirilmiş düzenlemeler yapmasına da olanak tanır. Örneğin, basit bir metin istemiyle top fırlatan bir kişinin videosuna sahipseniz, orijinal içeriğin geri kalanını koruyarak videoyu kişinin karpuz fırlattığı şekilde değiştirebilirsiniz.
Movie Gen modelleri kullanıcıların kişiselleştirilmiş videolar oluşturmasına olanak tanıyacak. Bu modeller, bir kişinin görüntüsünü ve bir metin istemini kullanarak, insan kimliğini ve hareketini koruyan kişiselleştirilmiş videolar oluşturabilir. Meta, bu modellerin videoda karakter koruma ve doğal hareket konusunda en gelişmiş sonuçları sunduğunu iddia ediyor.
Meta, bu modellerin OpenAI Sora ve Runway Gen-3 dahil olmak üzere diğer video oluşturma modellerinden daha iyi videolar oluşturduğunu iddia ediyor. Meta şu anda, halka açıklanmadan önce modeli daha da geliştirmek için yaratıcı profesyonellerle birlikte çalışıyor.
