ctrl by Salesforce Projesi, Yapay Zeka Örnekleri

Büyük ölçekli dil modelleri, umut verici metin oluşturma yetenekleri gösterir, ancak kullanıcılar bu oluşturma sürecini kolayca kontrol edemez. Salesforce, etki alanını, alt etki alanını, varlıkları, varlıklar arasındaki ilişkileri, tarihleri ve göreve özgü davranışı belirten kontrol kodlarını koşullandırmak için eğitilmiş, 1,6 milyar parametreli bir koşullu dönüştürücü dil modeli olan CTRL'yi yayımladı. Kontrol kodları, denetimsiz öğrenmenin avantajlarını korurken, metin oluşturma üzerinde daha açık kontrol sağlayarak, ham metinle doğal olarak bir arada bulunan yapıdan türetilmiştir.

Kod şu anda iki işlevi desteklemektedir:

Eğitilmiş bir modelden üretilen iki model indirilebilir – biri 256 dizi uzunluğuna ve diğeri 512 dizi uzunluğuna sahiptir – bunlar kelime seviyesinde kelime dağarcığı ile eğitilirler ve kayan pencere yaklaşımıyla eğitilmiş değerlerinin çok daha fazlasını üretebilirler. dizi uzunlukları Kaynak atıf – bir istem verildiğinde, istemin karışıklığını her etki alanı kontrol koduna koşullu olarak yazdırır (kağıdın 5. Bölümüne bakın).