Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs - Archive ouverte HAL
Pré-Publication, Document De Travail Année : 2024

Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs

Domaines

Informatique et langage [cs.CL]
Fichier principal
Vignette du fichier
2402.12030v2.pdf (1 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Pierre COLOMBO  : Connectez-vous pour contacter le contributeur

https://hal.science/hal-04574900

Soumis le : mardi 14 mai 2024-15:15:31

Dernière modification le : mardi 8 octobre 2024-18:40:14

Télécharger pour visualiser

Dates et versions

hal-04574900 , version 1 (14-05-2024)

Identifiants

  • HAL Id : hal-04574900 , version 1

Citer

Nicolas Boizard, Kevin El Haddad, Céline Hudelot, Pierre Colombo. Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs. 2024. ⟨hal-04574900⟩

Exporter

BibTeX XML-TEI Dublin Core DC Terms EndNote DataCite

Collections

CENTRALESUPELEC MICS GENCI UNIV-PARIS-SACLAY GS-COMPUTER-SCIENCE HUB-IA
20 Consultations
132 Téléchargements

Partager

More