nanoGPT Projesi, Yapay Zeka Örnekleri

nanoGPT, eğitim yerine dişlere öncelik veren minGPT'nin yeniden yazılmış halidir. Hâlâ aktif geliştirme aşamasındadır, ancak şu anda train.py dosyası, 38 saatlik eğitimde tek bir 8XA100 40GB düğümde çalışan OpenWebText üzerinde GPT-2'yi (124M) yeniden üretir. Kodun kendisi basit ve okunabilir: train.py, ~300 satırlık standart bir eğitim döngüsüdür ve model.py, isteğe bağlı olarak OpenAI'den GPT-2 ağırlıklarını yükleyebilen ~300 satırlık bir GPT model tanımıdır. Bu kadar.

nanoGPT, efsanevi yapay zeka araştırmacısı, mühendis ve eğitimci Andrej Karpathy tarafından yaratılmıştır. Tesla'da AI'nın eski direktörü ve OpenAI'nin kurucu üyesidir.

Kaynak: https://github.com/karpathy/nanoGPT