StarCoder Projesi, Yapay Zeka Örnekleri

BigCode, kod için büyük dil modellerinin sorumlu bir şekilde geliştirilmesi üzerinde çalışan Hugging Face ve ServiceNow tarafından ortaklaşa yönetilen açık bir bilimsel işbirliğidir.

StarCoder ve StarCoderBase, 80'den fazla programlama dili, Git commit'leri, GitHub sorunları ve Jupyter not defterleri dahil olmak üzere GitHub'dan izin verilen lisanslı veriler üzerinde eğitilmiş Kod için Büyük Dil Modelleridir (Code LLM'ler). LLaMA'ya benzer şekilde, 1 trilyon token için ~15B parametre modeli eğittik. 35B Python belirteçleri için StarCoderBase modelinde ince ayar yaptılar ve sonuçta StarCoder adını verdikleri yeni bir model ortaya çıktı.

StarCoderBase'in popüler programlama kıyaslamalarında mevcut açık Code LLM'lerden daha iyi performans gösterdiğini ve OpenAI'den (GitHub Copilot'un ilk sürümlerini destekleyen orijinal Codex modeli) code-cushman-001 gibi kapalı modellerle eşleştiğini veya onları geride bıraktığını buldular. 8.000 jetonun üzerinde bağlam uzunluğu ile StarCoder modelleri, diğer tüm açık LLM'lerden daha fazla girdi işleyebilir ve çok çeşitli ilginç uygulamalara olanak tanır.