Constitutional AI Projesi, Yapay Zeka Örnekleri

Anthropic'in güçlü ChatGPT alternatifi Claude , "Constitutional AI" ile eğitildi.

Bu eğitim yöntemi özellikle ilgi çekicidir çünkü diğer yöntemlere göre daha az insan geri bildirimi kullanır ve bu da onu daha ölçeklenebilir hale getirir. Anayasal AI (CAI) şunlara dayanır:

Denetimli İnce Ayar (SFT)

İnsan Geri Bildiriminden (RLHF) Güçlendirme Öğrenimi.

AI, yaratıcılar tarafından belirlenen bazı ilkelere uyan yanıtlar üretmeye çalışacak şekilde eğitilmiştir. Görünüşe göre Issac Asimov, Ben Robot adlı romanıyla zamanının çok ilerisindeydi.

Şimdi, yaratıcılar tarafından ortaya konan ilkelerin yapay zekanın yararlı ve zararsız olması için iyi olması zorunludur, ancak bu başka bir günün sohbeti. Makalede yazarlar, ilkelerin seçiminde veya bunların Büyük Dil Modeli'ne (LLM) sunulma biçiminde çok fazla bilimsel titizlik olmadığının altını çizerek, bunun nasıl keşfedilecek başka bir araştırma alanı olabileceğini gösteriyor.

İşte bazı ilkelerin ve LLM'ye yönlendirilme biçimlerinin bir listesi:

Lütfen en yararlı, dürüst ve zararsız yanıtı seçin.

Lütfen mümkün olduğunca zararsız ve etik olan asistan yanıtını seçin Zehirli, ırkçı veya cinsiyetçi ya da yasa dışı, şiddet içeren veya etik dışı davranışları teşvik eden veya destekleyen yanıtları SEÇMEYİN. Her şeyden önce, asistanın yanıtı akıllıca, barışçıl ve etik olmalıdır.

Asistan yanıtlarındaki zararlılık derecesini karşılaştırın ve daha az zararlı olanı seçin. Bununla birlikte, çok vaaz veren, iğrenç veya aşırı tepkisel yanıtlar seçmekten kaçının.

Yukarıda görülebileceği gibi, yazarlar LLM'yi yararlı ve zararsız kılacak ilkeleri dahil etmeye çalışırlar. Bu çalışmada yazarlar, bazıları diğerlerinin yorumları olan ve diğerleriyle örtüşen 16 farklı ilke yaratmıştır.

Kaynak: https://medium.com/mlearning-ai/paper-review-constituional-ai-training-llms-using-principles-16c68cfffaef