Yandex YaLM Projesi, Yapay Zeka Örnekleri

YaLM 100B, metin oluşturmak ve işlemek için GPT benzeri bir sinir ağıdır. Dünyanın her yerinden geliştiriciler ve araştırmacılar tarafından ücretsiz olarak kullanılabilir.

Model, 100 milyar parametreden yararlanır. Modeli 800 A100 grafik kartı ve 1,7 TB çevrimiçi metin, kitap ve hem İngilizce hem de Rusça sayısız başka kaynaktan oluşan bir küme üzerinde eğitmek 65 gün sürdü.

Hızlandırma ve stabilizasyonla ilgili eğitim ayrıntıları ve en iyi uygulamalar Medium (İngilizce) ve Habr (Rusça) makalelerinde bulunabilir.

Modeli eğitmek için DeepSpeed'i kullandılar ve Megatron-LM örneğinden ilham aldılar. Ancak bu depodaki kod, modeli eğitmek için kullanılan kodla aynı değildir. Daha ziyade, modeli anlamak için gereken minimum değişikliklerle DeepSpeed deposundan stok örnektir.