Textless NLP Projesi, Yapay Zeka Örnekleri

BERT, RoBERTa ve GPT-3 gibi metin tabanlı dil modelleri son yıllarda büyük ilerlemeler kaydetmiştir. Girdi olarak yazılı kelimeler verildiğinde, neredeyse her konuda son derece gerçekçi metinler oluşturabilirler. Ek olarak, yalnızca birkaç etiket veya örnek kullanarak duygu analizi, çeviri, bilgi alma, çıkarımlar ve özetleme dahil olmak üzere çeşitli zor doğal dil işleme (NLP) uygulamaları için ince ayar yapılabilen kullanışlı önceden eğitilmiş modeller sağlarlar. örneğin, BART ve XLM-R).

Bununla birlikte, önemli bir sınırlama vardır: Bu uygulamalar, temel olarak, yapay zeka modellerini eğitmek için uygun olan çok büyük metin veri kümelerine sahip dillerle sınırlıdır.

Facebook AI, metne bu bağımlılıktan kurtulan ilk yüksek performanslı NLP modeli olan Üretken Konuşma Dili Modeli'ni (GSLM) sunuyor. GSLM, herhangi bir etiket veya metin olmadan doğrudan yalnızca ham ses sinyallerinden çalışmasına izin vererek, temsili öğrenimdeki son atılımlardan yararlanır. Önemli metin veri kümeleri olmayanlar da dahil olmak üzere Dünya üzerinde konuşulan potansiyel olarak her dil için yeni bir metinsiz NLP uygulamaları çağına kapı açar.

Kaynak: https://ai.facebook.com/blog/textless-nlp-generating-expressive-speech-from-raw-audio/