Yuan 1.0 by Inspur Projesi, Yapay Zeka Örnekleri

Çinli sunucu oluşturucu Inspur, Turing testini geçtiği ve GPT-3'ten çok daha az GPU gerektirdiği söylenen devasa bir metin üreten sinir ağı Yuan 1.0'ı eğitti.

Inspur elini yapay zekaya çevirdi ve OpenAI tarafından üretilen GPT-3'ten daha üstün bir metin ve kod üreten makine öğrenimi modeli ürettiğini iddia ediyor. Ve bunu önemli ölçüde daha az GPU kullanarak yaptı.

Inspur'un modeli Yuan 1.0 olarak adlandırılır ve Çince metin üretir. Çinli sunucu üreticisi, modelin 245,7 milyar parametreye sahip olduğunu (GPT-3'ün 175 milyar parametreye sahip olduğunu), bir Turing testini geçebileceğini iddia ediyor ve deyim okuduğunu anlama görevinde insanları yenebileceğini düşünüyor.

Ne yaptılar: Bu tarafın modellerini eğitirken, pek çok zor şey sıhhi tesisattır – kelimenin tam anlamıyla. Veri verimliliğini en üst düzeye çıkarmak için model eğitiminin farklı aşamalarını dilimleyen salam içeren binlerce GPU'da modelinizi eğitmek için iyi optimize edilmiş ardışık düzenleri nasıl oluşturacağınızı bulmanız gerekir. Benzer şekilde, bu GPU'ları verilerle doğru sırayla beslemeniz gerekir, bu da verimliliği daha da artırır. Makale, Inspur araştırmacılarının bunu nasıl yapmaya çalıştıklarına dair güzel bir tartışma içeriyor.

Hesaplama: 245B modelini eğitmek için 2048 belirteç bağlam uzunluğuna sahip 2128 GPU kullandılar.

Veriler, yapay zeka aracılığıyla yapay zekaya yardımcı oluyor: Modeli eğitmek için ağırlıklı olarak Çince metinden oluşan 5 TB'lık bir veri kümesi oluşturuyorlar. (Karşılaştıracak olursak, Huawei'nin GPT3 eşdeğeri PanGu, 1.1 TB metin üzerinde eğitildi ve ERNIE 3.0, 4 TB veri üzerinde eğitildi). Verilerin otomatik olarak filtrelenmesine yardımcı olmak için BERT tarzı bir model eğitiyorlar. Verileri Common Crawl, Sogou News, SogouT, Encyclopedia ve Books'tan geliyor.

ne kadar iyi? Yuan 1.0, çeşitli standart kıyaslamalarda başarılıdır. En ilginç sonuç, metin üretiminin kalitesiyle ilgili – burada yazarlar, farklı biçimlerde metin ürettikleri ve insanların üretilen metni 'gerçek' metinden ne kadar iyi ayırt edebildiklerini gördükleri orijinal GPT3 makalesindekiyle aynı yaklaşımı benimsiyor. Sonuçlar çarpıcı – insanlar %49,57 doğru (GPT3 için %52 ile karşılaştırıldığında), yani Yuan 1.0 çıktıları o kadar iyi ki, insanlar tarafından yazılan metinden ayırt edilemiyor.

kaynaklar:

https://www.theregister.com/2021/10/28/yuan_1_natural_language_model/ https://jack-clark.net/2021/10/18/import-ai-270-inspur-makes-a-gpt3-microsofts-half-trillion-parameter-model-plus-a-fair-surveillance-dataset/