Chinchilla by DeepMind Projesi, Yapay Zeka Örnekleri

DeepMind'deki araştırmacılar, Gopher ile aynı hesaplama bütçesini kullanan, ancak 70 milyar parametre ve 4 kat daha fazla veri içeren, Chinchilla adında yeni bir tahmini hesaplama-optimal modeli önerdiler.

Chinchilla, çok çeşitli alt değerlendirme görevlerinde Gopher (280B), GPT-3 (175B), Jurassic-1 (178B) ve Megatron-Turing NLG'den (530B) eşit ve önemli ölçüde daha iyi performans gösterir. İnce ayar ve çıkarım için önemli ölçüde daha az bilgi işlem kullanır ve aşağı yönlü kullanımı büyük ölçüde kolaylaştırır.

Chinchilla, MMLU kıyaslamasında %67,5'lik son teknoloji ortalama doğruluk gösterdi ve Gopher'a göre %7'lik bir gelişme gösterdi.

Büyük dil modeli eğitimindeki baskın eğilim, eğitim belirteçlerinin sayısını artırmadan model boyutunu artırmak olmuştur. En büyük yoğun transformatör olan MT-NLG 530B, artık GPT-3'ün 170 milyar parametresinden 3 kat daha büyük.

Kaynak: https://analyticsindiamag.com/deepmind-launches-gpt-3-rival-chinchilla/