Meta, ağustos ayında metin için yaklaşık 100 dili, konuşma için 36 dili destekleyen çok modlu yapay zeka çeviri modeli SeamlessM4T’yi tanıtmıştı. Teknoloji devi, yapay zeka dublajını daha doğal ve anlamlı hâle getirmek için daha iyi bir yol benimsiyor.
SeamlessExpressive isimli özellik, adından da anlayabileceğiniz gibi, kendi dilinizde yaptığınız konuşmaları farklı bir dile sesinize ve tonunuza bağlı kalarak tercüme ediyor. Tercüme sırasında ses tonu, ses seviyesi, duygusal durum (heyecan, üzüntü vb.), konuşma hızı, duraklamalar gibi çok çeşitli faktörler dikkate alınıyor.
Meta’nın Yapay Zeka Dublajı Hangi Dilleri Destekliyor?
Şimdiye kadar tercüme edilen konuşmaların kulağa nasıl robotik geldiği düşünüldüğünde Meta’nın hedefi hem günlük hayatta hem de içerik üretiminde oyunun kurallarını değiştirebilir. Desteklenen diller arasında ise şunlar yer alıyor:
- İngilizce
- Fransızca
- Almanca
- İtalyanca
- İspanyolca
Bir diğer önemli özellik olan SeamlessStreaming ise konuşmacı konuşmaya başlarken çevirmeye başlıyor. Böylece başkalarının çeviriyi daha hızlı bir şekilde duyabiliyor. Hala iki saniyenin biraz altında da olsa bir gecikme süresi var ancak en azından birinin cümlesini bitirmesini beklemek zorunda kalmayacaksınız.
Meta’ya göre buradaki asıl zorluk, farklı dillerin farklı cümle yapılarına sahip olması. Bu nedenle çeviriye başlamak için yeterli bağlam olup olmadığına veya dinlemeye devam edip etmeyeceğine karar vermek için kısmi ses girdisini incelemeye odaklanan bir algoritma geliştirmek zorunda kaldı.
Meta’nın bu alandaki ilerlemesi, hâlihazırda sunulan mobil tercüme araçlarından çok daha etkileyici görünüyor. Bu özelliklerin ne zaman genel kullanıma sunulabileceği hakkında bir açıklama yok bunların ama önünde sonunda ürünlerine getireceği özellikler arasında yer aldığı aşikâr.