DreamFusion Projesi, Yapay Zeka Örnekleri

Altyazı verildiğinde DreamFusion, bir 3B sahneyi optimize etmek için Imagen adlı metinden görüntüye üretken bir model kullanır. Bir kayıp fonksiyonunu optimize ederek bir difüzyon modelinden numuneler üretmenin bir yolu olan Puan Damıtma Örneklemesini (SDS) öneriyorlar. SDS, görüntülere farklı bir şekilde eşleyebildikleri sürece, 3B alan gibi keyfi bir parametre alanındaki örnekleri optimize etmemize olanak tanır. Bu farklılaştırılabilir eşlemeyi tanımlamak için Neural Radiance Fields veya NeRF'lere benzer bir 3B sahne parametreleştirmesi kullanırlar. SDS tek başına makul sahne görünümü sağlar, ancak DreamFusion geometriyi geliştirmek için ek düzenleyiciler ve optimizasyon stratejileri ekler. Ortaya çıkan eğitimli NeRF'ler, yüksek kaliteli normaller, yüzey geometrisi ve derinlik ile tutarlıdır ve bir Lambertian gölgeleme modeliyle yeniden aydınlatılabilir.

Kaynak: https://dreamfusion3d.github.io/