Google GLaM Projesi, Yapay Zeka Örnekleri

GLaM, her biri farklı girdiler için uzmanlaşmış farklı alt modellere (veya uzmanlara) sahip olduğu düşünülebilecek bir model türü olan bir uzmanlar karışımı (MoE) modelidir. Her katmandaki uzmanlar, girdi verilerine dayalı olarak uzmanları etkinleştiren bir geçitleme ağı tarafından kontrol edilir. Her belirteç için (genellikle bir kelime veya bir kelimenin bir kısmı), geçit ağı verileri işlemek için en uygun iki uzmanı seçer. GLaM'nin tam sürümü, toplamda 32 MoE katmanı olmak üzere MoE katmanı başına 64 uzman genelinde 1,2T toplam parametreye sahiptir, ancak çıkarım sırasında belirteç tahmini başına yalnızca 97B (1,2T'nin %8'i) parametre alt ağını etkinleştirir.

Kaynak: https://ai.googleblog.com/2021/12/more-efficiency-in-context-learning-with.html