Pré-Publication, Document De Travail Année : 2024

Quand la quantification affecte-t-elle la confiance des grands modèles de langage ?

Résumé

Des études récentes ont introduit des tech- niques de compression efficaces pour les grands modèles de langage (LLMs) via la quantifica- tion post-entraînement ou la représentation des poids en bits faibles. Bien que les poids quan- tifiés offrent une efficacité de stockage et per- mettent une inférence plus rapide, les travaux existants ont indiqué que la quantification pour- rait compromettre la performance et exacerber les biais dans les LLMs. Cette étude examine la confiance et la calibration des modèles quan- tifiés, en considérant des facteurs tels que le type de modèle de langage et l’échelle comme contributeurs à la perte de quantification. Tout d’abord, nous révélons que la quantification avec GPTQ en 4 bits entraîne une diminution de la confiance concernant les vraies étiquettes, avec des impacts variés observés parmi dif- férents modèles de langage. Ensuite, nous observons des fluctuations de l’impact sur la confiance à travers différentes échelles. Enfin, nous proposons une explication de la perte de quantification basée sur les niveaux de confi- ance, indiquant que la quantification affecte de manière disproportionnée les échantillons où le modèle complet affichait des niveaux de confiance faibles au départ.

Fichier non déposé

Dates et versions

hal-04646275 , version 1 (12-07-2024)

Identifiants

  • HAL Id : hal-04646275 , version 1

Citer

Guillaume Metzler, Julien Velcin, Irina Proskurina, Luc Brun. Quand la quantification affecte-t-elle la confiance des grands modèles de langage ?. 2024. ⟨hal-04646275⟩
104 Consultations
0 Téléchargements

Partager

  • More