GPT-2 Projesi, Yapay Zeka Örnekleri

GPT-2, OpenAI tarafından Şubat 2019'da oluşturulan açık kaynaklı bir yapay zekadır.

OpenAI GPT-2 modeli, Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei ve Ilya Sutskever tarafından yazılan Language Models are Unsupervised Multitask Learners'da önerilmiştir.

Bu, ~40 GB metin verisinden oluşan çok büyük bir külliyat üzerinde dil modelleme kullanılarak önceden eğitilmiş nedensel (tek yönlü) bir dönüştürücüdür.

Bildirinin özeti şu şekilde:

GPT-2, 8 milyon web sayfasından oluşan bir veri kümesi üzerinde eğitilmiş, 1,5 milyar parametreye sahip, dönüştürücü tabanlı büyük bir dil modelidir. GPT-2 basit bir hedefle eğitilmiştir: bir metindeki tüm önceki kelimeler verildiğinde bir sonraki kelimeyi tahmin edin. Veri kümesinin çeşitliliği, bu basit hedefin, çeşitli alanlarda birçok görevin doğal olarak ortaya çıkan gösterimlerini içermesine neden olur. GPT-2, 10 kattan fazla parametreye sahip ve 10 kattan fazla veri miktarı üzerinde eğitilmiş GPT'nin doğrudan ölçek büyütmesidir.