RoBERTa Projesi, Yapay Zeka Örnekleri

RoBERTa, BERT'nin dil maskeleme stratejisini temel alır; burada sistem, aksi halde açıklama yapılmamış dil örneklerinde kasıtlı olarak gizlenen metin bölümlerini tahmin etmeyi öğrenir. PyTorch'ta uygulanan RoBERTa, BERT'nin sonraki cümle ön eğitim hedefini kaldırma ve çok daha büyük mini kümeler ve öğrenme oranlarıyla eğitim dahil olmak üzere BERT'deki temel hiperparametreleri değiştirir. Bu, RoBERTa'nın BERT ile karşılaştırıldığında maskelenmiş dil modelleme hedefini geliştirmesine olanak tanır ve daha iyi aşağı akış görev performansına yol açar. Ayrıca RoBERTa'yı BERT'den çok daha fazla veriyle daha uzun bir süre için eğitmeyi de araştırıyoruz. Mevcut açıklamasız NLP veri kümelerinin yanı sıra halka açık haber makalelerinden alınan yeni bir dizi olan CC-News'i kullandık.

RoBERTa, Facebook AI tarafından geliştirilmiştir.

Kaynak: https://ai.facebook.com/blog/roberta-an-optimized-method-for-pretraining-self-supervised-nlp-systems/