Google, yapay zeka temelli "gerçekçi video üretimi için mekânsal-zamansal difüzyon modeli" olan Lumiere'yi tanıttı.

Pratikte gösterildiği üzere, Lumiere şu ana kadar var olan en güçlü yapay zeka video üretici olabilir, zira metin tabanlı açıklamalara dayanarak dinamik görüntüler oluşturuyor.

Lumiere beş saniyeye kadar oldukça gerçekçi ya da yüksek kaliteli video klipler oluşturabiliyor.

Model, ne görmek istediğinize ilişkin doğal dil metin istemlerine yanıt olarak hareketsiz görüntüleri veya bunların yalnızca bazı bölümlerini canlandırabiliyor.

Google Research tarafından geliştirilen proje, tek bir model geçişinde bir videonun tüm zamansal süresini oluşturmak için tasarlanmış çığır açan bir Uzay-Zaman U-Net mimarisi sunuyor.

Uzak ana kareler oluşturan ve ardından zamansal süper çözünürlük sağlayan mevcut video modellerinin aksine Lumiere, küresel zamansal tutarlılığı daha ulaşılabilir kılan benzersiz bir yaklaşım benimsiyor. Mimari, önceden eğitilmiş bir metinden görüntüye difüzyon modeli ile birlikte uzamsal ve zamansal aşağı/yukarı örnekleme içeriyor.

Bu, Lumiere'in birden fazla uzay-zaman ölçeğinde işleyerek doğrudan tam kare hızında, düşük çözünürlüklü bir video üretmesine olanak tanıyor.

Kısacası önceki modeller genellikle bir başlangıç ve bir bitiş karesi oluşturan ve ardından arada ne olacağını tahmin etmeye çalışırken, Lumiere bunu tek seferde oluşturuyor.

Lumiere ile herhangi bir görüntünün stilini klonlamak ve daha sonra bu stili kullanarak başka konularda bir marka ajansından çıkmış olabilecek kadar benzer görünen ve hissettiren bir dizi video oluşturmak mümkün.

Kaynak materyaldeki her şeyi Lego'ya, origamiye veya çiçeklere dönüştürmek gibi sınırları zorlayan görevleri de yapmak mümkün.

Aslında en etkileyici kısım ise materyalin istediğiniz bir kısmını doldurabilmeniz. Lumiere o alanı o kadar güzel bir şekilde otomatik olarak doldurur ki, bakmasanız muhtemelen farkına bile varmazsınız.

Şimdilik Lumiere, Google'ı telif hakkı, yanlış bilgilendirme, güvenlik, nefret söylemi, çıplaklık, mahremiyet ve diğer her türlü politikaya hizmet etmek için sistemi agresif bir şekilde kısırlaştırmak zorunda kalmaktan kurtaran bir araştırma projesi konumunda.

Ancak özetle, Google'ın Lumiere projesi, videolarda gerçekçi ve tutarlı hareket sentezlemeye yönelik yeni bir yaklaşım sunarak metinden videoya yapay zeka üretiminde bir devrim anlamını taşıyor.

Kaynak: İncehesap.com ve Donanım Haber