Megatron NLG Projesi, Yapay Zeka Örnekleri

Microsoft ve NVIDIA, DeepSpeed tarafından desteklenen Megatron-Turing Doğal Dil Üretimi modelini (MT-NLG) ve 530 milyar parametre ile eğitilmiş en büyük ve sağlam yekpare dönüştürücü dil modeli olan Megatron'u sunar. MT-NLG, Turing NLG 17B ve Megatron-LM'nin halefidir. Bu modelin ölçeği, türünün en büyüğünün üç katıdır. Tahmin, okuduğunu anlama, sağduyulu muhakeme, doğal dil muhakemesi ve kelime anlamını netleştirme dahil olmak üzere doğal dil görevlerini yüksek doğrulukla yapabilir.

Model, NvidiaDGX SuperPOD üzerine kurulu Selene süper bilgisayarında eğitildi ve karma hassasiyet eğitimi içeriyor. Süper bilgisayarda 560 adet DGX A100 sunucusu bulunmaktadır. Bu sunucuları bağlamak için tam yağlı ağaç uzantılı HDR InfiniBand kullanılır. Her DGX A100, her biri NVLink ve NVSwitch aracılığıyla bağlanan 80 GB Tensor Core GPU'ya sahip sekiz A100 içerir.

Kaynak: https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most- güçlü üretken dil modeli/