AlexaTM 20B Projesi, Yapay Zeka Örnekleri

Alexa Öğretmen Modeli (AlexaTM 20B), çok daha büyük bir 540B PaLM kod çözücü modelinden daha iyi performans göstererek, 1 adımlık özetleme görevlerinde son teknoloji (SOTA) performansı elde ettiğini gösteriyor. AlexaTM 20B, model tarafından desteklenen hemen hemen tüm dil çiftlerinde (Arapça, İngilizce, Fransızca, Almanca, Hintçe, İtalyanca, Japonca, Marathi, Portekizce, İspanyolca, Tamilce) özellikle düşük kaynaklı diller için tek seferlik makine çevirisinde SOTA'yı da başarır. , ve Telugu) Flores-101 veri setinde. Amazon Science ayrıca sıfır atış ayarında, AlexaTM 20B'nin SuperGLUE ve SQuADv2 veri kümelerinde GPT3'ten (175B) daha iyi performans gösterdiğini ve XNLI, XCOPA, Paws-X ve XWinograd gibi çok dilli görevlerde SOTA performansı sağladığını gösteriyor. Genel olarak, sonuçlarımız, Büyük Ölçekli Dil Modeli (LLM) eğitimi için yalnızca kod çözücü modellerine güçlü bir alternatif olarak seq2seq modelleri için ikna edici bir durum sunuyor.