Palmyra Projesi, Yapay Zeka Örnekleri

Writer tarafından geliştirilen Palmyra, öncelikle İngilizce metinle önceden eğitildi. CommonCrawl aracılığıyla erişilen eğitim külliyatında hala az miktarda İngilizce olmayan veri bulunduğunu unutmayın. Modelin ön eğitimi sürecinde nedensel dil modelleme (CLM) hedefi kullanılmıştır.

Palmyra'nın üç boyutu vardır: Küçük, Temel ve Büyük için sırasıyla 128 milyon, 5 milyar veya 20 milyar parametre. Reddit gönderileri ve Project Gutenberg değil, iş ve pazarlama yazımı konusunda eğitildiler, bu nedenle başlamak için daha az sürpriz var. Ardından, ağzını son 10 yılın yıllık raporları, finansalları, blog yazıları vb. ile doldurup size ait hale getirirsiniz. (Bu ve türetilmiş herhangi bir veri, açıkça belirtmek gerekirse, Writer'a geri filtre uygulamaz.)

GPT-3'e benzer şekilde Palmyra Base, yalnızca kod çözücü içeren aynı model ailesinin bir üyesidir. Sonuç olarak, kendi kendini denetleyen nedensel dil modelleme hedefi kullanılarak önceden eğitilmiştir. Palmyra Base, değerlendirmesini GPT-3'e göre yürütmek için GPT-3'teki istemleri ve genel deney düzeneğini kullanır.