Cerebras-GPT Projesi, Yapay Zeka Örnekleri

Cerebras açık kaynaklı yedi GPT-3 modelini 111 milyondan 13 milyar parametreye çıkardı. Chinchilla formülü kullanılarak eğitilen bu modeller, doğruluk ve bilgi işlem verimliliği için yeni ölçütler belirliyor.

Yapay zeka, dünya ekonomisini dönüştürme potansiyeline sahiptir, ancak erişimi giderek daha fazla sınırlandırılmaktadır. En son büyük dil modeli – OpenAI'nin GPT4'ü – model mimarisi, eğitim verileri, eğitim donanımı veya hiperparametreleri hakkında hiçbir bilgi olmadan piyasaya sürüldü. Şirketler, kapalı veri kümelerini kullanarak büyük modeller oluşturuyor ve yalnızca API erişimi yoluyla model çıktıları sunuyor.

LLM'lerin açık ve erişilebilir bir teknoloji olması için, hem araştırma hem de ticari uygulamalar için açık, yeniden üretilebilir ve telif ücretsiz olan son teknoloji modellere erişimin önemli olduğuna inanıyoruz. Bu amaçla Cerebras, en son teknikleri ve Cerebras-GPT adlı açık veri setlerini kullanarak bir transformatör modelleri ailesini eğitti. Bu modeller, Chinchilla formülü kullanılarak eğitilen ve Apache 2.0 lisansı aracılığıyla yayınlanan ilk GPT modelleri ailesidir.

Cerebras, GPT-3 mimarisini Chinchilla'nın ima ettiği optimum hesaplama zamanlamasını ve μ-parametreleştirme ile gösterilen optimum ölçeklendirmeyi kullanarak eğitir. Bu, mevcut GPT-3 klonlarından geniş bir farkla daha iyi performans gösterir ve "doğada" μ-parametreleştirmenin ilk onaylanmış kullanımını temsil eder. Bu modeller sıfırdan eğitilmiştir, yani topluluk artık LLaMA'ya bağlı değildir.