DeepMind RETRO Projesi, Yapay Zeka Örnekleri

RETRO, önceki belirteçlerle yerel benzerliğe dayalı olarak büyük bir korpustan alınan belge parçalarını şartlandırarak otomatik gerileyen dil modellerini geliştirir. 2 trilyon $'lık bir jeton veritabanıyla, Alımla Geliştirilmiş Transformer (Retro), 25 kat daha az parametre kullanmasına rağmen Yığın üzerinde GPT-3 ve Jurassic-1 ile karşılaştırılabilir performans elde ediyor. İnce ayardan sonra, Retro performans, soru yanıtlama gibi bilgi yoğun görevlere dönüşür.

Kaynak: https://www.deepmind.com/publications/improving-language-models-by-retriiving-from-trillions-of-tokens