Vigogne Projesi, Yapay Zeka Örnekleri

Depo, 🤗 Hugging Face'in PEFT kitaplığı tarafından sağlanan düşük dereceli uyarlama (LoRA) kullanılarak Fransızca 🇫🇷 Stanford Alpaca'yı yeniden üretmek için kod içerir. LoRA tekniğine ek olarak, önceden eğitilmiş dil modellerini (PLM'ler) int8'e nicelemek için bitsandbytes tarafından sağlanan LLM.int8()'i de kullanırlar. Bu iki tekniği birleştirmek, RTX 4090 gibi tek bir tüketici GPU'sunda PLM'lerde ince ayar yapmamızı sağlar.

Bu proje LLaMA, Stanford Alpaca, Alpaca-Lora, Cabrita ve Hugging Face'e dayanmaktadır. Ayrıca, BLOOM ve mT5 gibi daha fazla modelde ince ayar yapmak için eğitim komut dosyasını uyarladılar. Ayrıca çevrilmiş Alpaca veri setini ve vigogne-lora-7b ve vigogne-lora-bloom-7b1 gibi eğitilmiş LoRA ağırlıklarını paylaşırlar.