Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2024

Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs

Fichier principal
Vignette du fichier
2402.12030v2.pdf (1 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04574900 , version 1 (14-05-2024)

Identifiants

  • HAL Id : hal-04574900 , version 1

Citer

Nicolas Boizard, Kevin El Haddad, Céline Hudelot, Pierre Colombo. Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs. 2024. ⟨hal-04574900⟩
6 Consultations
38 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More