M-VADER Projesi, Yapay Zeka Örnekleri

OpenAI'nin DALL-E 2, Midjourney veya Stable Diffusion gibi üretici yapay zeka modelleri, orijinal görüntüler oluşturmak için metni işler. Buna karşılık, Aleph Alpha tarafından TU Darmstadt ile birlikte geliştirilen M-VADER yayılma modeli, fotoğraf veya eskiz gibi çok modlu girdileri ve metinsel bir açıklamayı yeni bir görüntü fikrinde birleştirebilir.

M-VADER, çıktının keyfi görüntü ve metin kombinasyonları kullanılarak belirlenebildiği, görüntü oluşturmaya yönelik bir yayılma modelidir (DM). M-VADER'in görüntü ve metin kombinasyonları ve birden çok görüntünün kombinasyonları kullanılarak belirtilen görüntülerin oluşturulmasını nasıl sağladığını gösterirler. Önceden, bir metin istemi kullanarak çıktı görüntüsünü belirlemeyi mümkün kılan bir dizi başarılı DM görüntü oluşturma algoritması tanıtılmıştır. Bu modellerin başarısından esinlenerek ve dilin, insanların en önemli bulduğu görsel bağlam öğelerini tanımlamak için zaten geliştirildiği fikrinden yola çıkarak, bir görsel-dil modeliyle yakından ilişkili bir gömme modeli ortaya koyuyorlar. Spesifik olarak, gömme modeli S-MAGMA'yı tanıtıyorlar: 13 milyar parametreli çok modlu bir kod çözücü, bir otoregresif görsel dil modeli MAGMA'nın bileşenlerini ve semantik arama için ince ayarlı ön yargıları birleştiriyor.