BLOOM Projesi, Yapay Zeka Örnekleri

1000'den fazla AI araştırmacısından oluşan bir grup, GPT-3'ten daha büyük çok dilli büyük bir dil modeli oluşturdu ve bunu ücretsiz olarak dağıtıyorlar.

Eğitim 11 Mart 2022'de başladı. Ama aslında derlem ve veri setlerinin hazırlıkları çok daha erken başladı. Bu özelliklere sahip bir model bir gecede elde edilemez. 4 ay sonra karşımızda.

Ve kolay olmadı:

Fransa'daki Jean Zay süper bilgisayarında her biri 80 gigabaytlık 384 grafik kartı. BLOOM, GPT-3'ten bir milyar daha fazla olan 176 milyar parametreye sahiptir. -70 katman – katman başına 112 dikkat başlığı – 14336 – 2048 belirteç dizi uzunluğundaki gizli boyutluluk. ALiBi konumsal yerleştirmeler – GeLU aktivasyon işlevi.

Eğitim herkese açık oldu ve biz de takip edebildik. BLOOM çeşitli dillerde (İngilizce, İspanyolca, İtalyanca…) ve hatta programlama kodlarında eğitim almıştır.

Her kaynak kullanılabilir ve belgelenmiştir

Büyük Bilim

Bloglarında açıkladıkları gibi Big Science, HuggingFace, GENÇİ ve İDRIS tarafından desteklenen açık bir işbirliğidir. Bu araştırma çalıştayı, birçok kurumdan gelen ve araştırma ilgi alanları AI, NLP, sosyal bilimler, hukuk, etik ve kamu politikasındaki birçok araştırma alanını kapsayan akademik, endüstri ve bağımsız araştırmacıları bir araya getiriyor.