Dudak Senkronizasyonu Ne Demek?

Dudak senkronizasyonu terimi aslında eskidir. Konserlerde playback ya da film dublajında dudakların sesle uyumu bu adla anılır. Yapay zekâ ise bu uyumu kendiliğinden üretebilen modeller sayesinde terime yeni bir anlam kazandırdı.

Dudak senkronizasyonu ne demek?

Yapay zekâ bağlamında dudak senkronizasyonu, bir ses kaydını ve bir yüz videosunu alıp yüzün ağız bölgesini o sese uygun hareket edecek şekilde yeniden oluşturmaktır. Model, sesteki her heceye karşılık gelen ağız biçimini öğrenmiştir ve bunu kareler boyunca akıcı biçimde uygular.

Nasıl çalışır?

1. Ses, küçük zaman dilimlerine bölünerek sayısal özelliklere dönüştürülür.
2. Videodaki yüz tespit edilir ve ağız bölgesi ayrılır.
3. Model, her ses dilimine uygun dudak ve çene hareketini üretir.
4. Üretilen ağız bölgesi, yüzün geri kalanıyla uyumlu olacak şekilde kareye yerleştirilir.

Bu süreç metinden sese ve ses klonlama teknolojileriyle birleştiğinde, bir kişinin hiç söylemediği cümleleri söylüyormuş gibi görünen videolar üretilebilir.

Kullanım alanları

• Filmlerin ve eğitim videolarının başka dillere dublajında doğal görüntü sağlamak.
• Dijital insan ve sanal asistan karakterlerini konuşturmak.
• Video konferans ve içerik üretiminde düzeltmeler yapmak.

Nelere dikkat etmeli?

Aynı teknik, gerçek kişilerin sahte konuşma videolarını üretmek için kötüye kullanılabilir ve deepfake içeriklerin önemli bir parçasıdır. Bir kişinin görüntüsünü izinsiz kullanmamak ve yapay zekâyla üretilmiş videoyu açıkça belirtmek gerekir. Şüpheli videolarda ağız iç kısmı, dişler ve ses ile hareket arasındaki küçük gecikmeler ipucu verebilir.