Google GShard Projesi, Yapay Zeka Örnekleri

Bu yazıda Google, ölçeklendirme dev dil çeviri modelleri için çalışmalarını sunuyor (2048 TPU v3 çekirdeklerinde eğitilmiş 600B parametreleriyle).

Sinir ağı ölçeklendirmesi, çok miktarda eğitim verisi ve bilgi işlem içeren birçok gerçek dünyadaki makine öğrenimi uygulamasında model kalitesini iyileştirmek için kritik öneme sahiptir. Bu ölçeklendirme eğiliminin daha iyi model kalitesi için kesin bir yaklaşım olduğu onaylansa da, hesaplama maliyeti, programlama kolaylığı ve paralel cihazlarda verimli uygulama gibi yolda zorluklar var. GShard, bir dizi hafif ek açıklama API'sinden ve XLA derleyicisinin bir uzantısından oluşan bir modüldür. Mevcut model kodunda minimum değişiklikle çok çeşitli paralel hesaplama modellerini ifade etmenin zarif bir yolunu sağlar. GShard, otomatik parçalama kullanarak Sparsely-Gated Mixture-of-Experts ile çok dilli sinirsel makine çevirisi Transformer modelini 600 milyar parametrenin üzerine çıkarmamızı sağladı. Böylesine dev bir modelin, 2048 TPU v3 hızlandırıcılar üzerinde 4 gün içinde verimli bir şekilde eğitilerek 100 dilden İngilizce'ye çeviri için önceki teknolojiye kıyasla çok daha üstün kalite elde edilebileceğini gösteriyoruz.

Makaleyi okuyun: https://arxiv.org/pdf/2006.16668.pdf