WIT by Google AI Projesi, Yapay Zeka Örnekleri

WIT (Wikipedia tabanlı Görüntü Metni) Veri Kümesi, 100'den fazla dilde 11 Milyondan fazla benzersiz görüntü içeren 37 Milyondan fazla görüntü-metin kümesinden oluşan çok modlu çok dilli büyük bir veri kümesidir.

Motivasyon

Çok modlu görsel-dilbilimsel modeller, görüntüler ve metinler arasındaki ilişkiyi modellemeyi öğrenmelerine yardımcı olmak için zengin bir veri kümesine güvenir. Büyük resim-metin veri kümelerine sahip olmak, son çalışmaların gösterdiği gibi, performansı önemli ölçüde artırabilir. Ayrıca, mevcut veri kümelerinde (çoğunlukla yalnızca İngilizce olan) dil kapsamı eksikliği de çok dilli çok modlu alandaki araştırmaları engellemektedir – Google AI, yardımcı olmak için görsellerden (dilden bağımsız bir ortam olarak) yararlanmada gösterilen potansiyel göz önüne alındığında, bunu kaybedilmiş bir fırsat olarak görmektedir. çok dilli metin anlayışımızı geliştirmek.

Bu zorlukların üstesinden gelmek ve çok dilli, çok modlu öğrenme konusundaki araştırmaları ilerletmek için Google AI, Wikipedia tabanlı Görüntü Metni (WIT) Veri Kümesini oluşturdu. WIT, Wikipedia makalelerinden ve Wikimedia resim bağlantılarından bir resimle ilişkili (örn. yukarıdaki resimde gösterildiği gibi) birden çok farklı metnin çıkarılmasıyla oluşturulur. Buna, yalnızca yüksek kaliteli görüntü-metin kümelerini korumak için sıkı filtreleme eşlik etti.

Ortaya çıkan veri seti, 37,6 milyondan fazla resim-metin seti içerir – WIT'i benzersiz çok dilli kapsama sahip en büyük çok modlu veri seti yapar (bu yazının yazıldığı sırada halka açıktı) – 108 dilin her birinde 12K'dan fazla örnekle (53 dilde 100K'dan fazla resim-metin çifti vardır) ).