Gopher by DeepMind Projesi, Yapay Zeka Örnekleri

DeepMind'ın Gopher adını verdiği dil modeli, birçok görevde, özellikle bilim ve beşeri bilimler gibi özel konularla ilgili soruları yanıtlarken bu mevcut ultra geniş dil modellerinden önemli ölçüde daha doğrudur ve diğer konularda bunlara eşit veya neredeyse eşittir. DeepMind'in yayınladığı verilere göre akıl yürütme ve matematik.

Gopher bazı ultra büyük dil yazılımlarından daha küçük olmasına rağmen durum buydu. Gopher'ın ayarlayabileceği yaklaşık 280 milyar farklı parametresi veya değişkeni vardır. Bu, onu OpenAI'nin 175 milyar olan GPT-3'ünden daha büyük yapar. Ancak bu, Microsoft ve Nivida'nın bu yılın başlarında üzerinde işbirliği yaptığı, Megatron adı verilen 535 milyar parametreden, Google tarafından 1,6 trilyon parametreyle ve Alibaba tarafından 10 trilyon parametreyle oluşturulan sistemden daha küçük.

DeepMind, yeni dil modelinin diğerlerini kendi boyutunun 25 katı kadar geçebileceğini söylüyor. 7 milyar parametreli Retro modeli ile OpenAI'nin GPT-3 performansına eşittir. Ayrıca DeepMind araştırmacıları, araştırmacıların Retro yazılımının çıktısını üretmek için eğitim metninin hangi bölümünü kullandığını tam olarak görebildikleri için önyargı veya yanlış bilgiyi tespit etmenin daha kolay olabileceğini söyledi.

Kaynak: https://fortune.com/2021/12/08/deepmind-gopher-nlp-ultra-large-language-model-beats-gpt-3/