VALL-E Projesi, Yapay Zeka Örnekleri

Microsoft'un yeni Metinden konuşmaya modeli, konuşmacının duygusal tonunu ve akustik ortamını koruyabilir.

VALL-E, yüksek kaliteli metin okuma uygulamaları, bir kişinin kaydının düzenlenebildiği ve bir metin transkriptinden değiştirilebildiği (başlangıçta söylemedikleri bir şeyi söylemelerini sağlamak) ve ses içeriğinin oluşturulabildiği konuşma düzenleme için kullanılabilir. GPT-3 gibi diğer üretken yapay zeka modelleriyle birleştirildiğinde.

Microsoft, VALL-E'yi bir "nöral codec dil modeli" olarak adlandırır ve Meta'nın Ekim 2022'de duyurduğu EnCodec adlı bir teknolojiden yola çıkar. Dalga biçimlerini işleyerek konuşmayı tipik olarak sentezleyen diğer metinden konuşmaya yöntemlerinin aksine, VALL-E metin ve akustik istemlerden ayrı ses codec kodları. Temel olarak bir kişinin nasıl ses çıkardığını analiz eder, EnCodec sayesinde bu bilgiyi ayrı bileşenlere ("belirteçler" olarak adlandırılır) böler ve eğitim verilerini, o sesin üç dışında başka tümceler söylerse nasıl ses çıkaracağına ilişkin "bildiği" şeyle eşleştirmek için kullanır. -ikinci örnek.

Makalenin sonuç kısmı için şunları yazıyorlar:

"VALL-E, konuşmacı kimliğini koruyan konuşmayı sentezleyebildiğinden, modelin kötüye kullanılması durumunda, örneğin ses kimliğini taklit etme veya belirli bir konuşmacının kimliğine bürünme gibi potansiyel riskler taşıyabilir. Bu tür riskleri azaltmak için, ayırt edecek bir algılama modeli oluşturmak mümkündür. VALL-E tarafından bir ses klibi sentezlenip sentezlenmediği. Modelleri daha da geliştirirken Microsoft AI İlkelerini de uygulamaya koyacağız."

Kaynak: https://arstechnica.com/information-technology/2023/01/microsofts-new-ai-can-simulate-anyones-voice-with-3-seconds-of-audio/