DistilBERT Projesi, Yapay Zeka Örnekleri

DistilBERT modeli daha küçük, daha hızlı, daha ucuz, daha hafif blog gönderisinde önerildi: BERT'nin damıtılmış bir versiyonu olan DistilBERT ve BERT'nin damıtılmış bir versiyonu olan DistilBERT kağıdı: daha küçük, daha hızlı, daha ucuz ve daha hafif. DistilBERT, BERT bazının damıtılmasıyla eğitilmiş küçük, hızlı, ucuz ve hafif bir Transformer modelidir. Bert-base-cased'den %40 daha az parametreye sahiptir, %60 daha hızlı çalışırken, GLUE dil anlama kıyaslamasında ölçülen BERT performanslarının %95'inden fazlasını korur.

Bildirinin özeti şu şekilde:

Büyük ölçekli önceden eğitilmiş modellerden Transfer Öğrenimi, Doğal Dil İşleme'de (NLP) daha yaygın hale geldikçe, bu büyük modelleri uçta ve/veya kısıtlı hesaplamalı eğitim veya çıkarım bütçeleri altında çalıştırmak zor olmaya devam ediyor. Bu çalışmada, daha büyük benzerleri gibi çok çeşitli görevlerde iyi performanslarla ince ayar yapılabilen DistilBERT adlı daha küçük bir genel amaçlı dil temsili modelini önceden eğitmek için bir yöntem öneriyoruz. Önceki çalışmaların çoğu, göreve özgü modeller oluşturmak için ayırma kullanımını araştırırken, ön eğitim aşamasında bilgi ayırmadan yararlanıyoruz ve dil anlayışının %97'sini korurken bir BERT modelinin boyutunu %40 oranında küçültmenin mümkün olduğunu gösteriyoruz. yetenekler ve %60 daha hızlı olmak. Ön eğitim sırasında daha büyük modeller tarafından öğrenilen endüktif önyargılardan yararlanmak için dil modelleme, damıtma ve kosinüs mesafesi kayıplarını birleştiren üçlü bir kayıp sunuyoruz. Daha küçük, daha hızlı ve daha hafif modelimizin önceden eğitilmesi daha ucuzdur ve bir kavram kanıtı deneyinde ve cihaz üzerinde karşılaştırmalı bir çalışmada cihaz üzerindeki hesaplamalar için yeteneklerini gösteriyoruz.

https://huggingface.co/ tarafından düzenlendi