Quand la quantification affecte-t-elle la confiance des grands modèles de langage ?
Résumé
Des études récentes ont introduit des tech- niques de compression efficaces pour les grands modèles de langage (LLMs) via la quantifica- tion post-entraînement ou la représentation des poids en bits faibles. Bien que les poids quan- tifiés offrent une efficacité de stockage et per- mettent une inférence plus rapide, les travaux existants ont indiqué que la quantification pour- rait compromettre la performance et exacerber les biais dans les LLMs. Cette étude examine la confiance et la calibration des modèles quan- tifiés, en considérant des facteurs tels que le type de modèle de langage et l’échelle comme contributeurs à la perte de quantification. Tout d’abord, nous révélons que la quantification avec GPTQ en 4 bits entraîne une diminution de la confiance concernant les vraies étiquettes, avec des impacts variés observés parmi dif- férents modèles de langage. Ensuite, nous observons des fluctuations de l’impact sur la confiance à travers différentes échelles. Enfin, nous proposons une explication de la perte de quantification basée sur les niveaux de confi- ance, indiquant que la quantification affecte de manière disproportionnée les échantillons où le modèle complet affichait des niveaux de confiance faibles au départ.