Recurrent Attention Network
Résumé
With the recent success of Transformers in the field of automatic natural language processing, it has become clear that we are able to create complex, high-performance neural network architectures that can extract, combine and transform information to meet a specific objective, such as predicting the next word in a text. However, to function, Transformers need to receive a context of all N elements of the past sequence (N = 2k to 32k tokens) at each time step, causing the number of computations to grow quadratically (N^2) with the length of the sequence. This "perfect" memory of a context of thousands of elements is equivalent in neuroscience to a biologically unrealistic working memory. In order to be more biologically plausible, we propose to drastically reduce the size of this context (allowing more local and less costly computations), while introducing recurrences allowing the use of a longer-term working memory.
An efficient and biologically plausible way to have recurrences is to place oneself in the Reservoir Computing paradigm, where the recurrent connections are random and the output layer serves as a readout trained by linear regression (or equivalence). For computational neuroscience, Reservoir Computing is a very interesting approach for modeling high-dimensional non-linear computations with low computational complexity.
Unlike other approaches that seek to modify the calculations behind attention (RWKV, RetNet), we propose to combine these two models so as to benefit from both the attentional computations of Transformers and the working memory of Reservoir Computing. In the same way that dendritic computations show us that neurons are capable of more complex computations, we believe that it may be interesting to replace the neurons (tanh unit) present in a Reservoir with more complex units, such as the attention blocks present in Transformers, even for a short period of time.
We are evaluating two new architectures on a set of sequential tasks (e.g. JapaneseVowels, Cross-Situational Learning): one containing units equivalent to the transformers' attention blocks, and the other decomposing the attention block into two types of unit: a unit based on the QKV (Query-Key-Value) mechanism and another unit of "memories" (Feed-Forward), thus making it possible to model different brain structures (cortex, hippocampus).
Avec le récent succès des Transformers dans le domaine du traitement automatique du langage naturel, il est devenu évident que nous sommes capables de créer des architectures de réseaux de neurones complexes et performantes qui peuvent extraire, combiner et transformer des informations pour atteindre un objectif spécifique, comme prédire le mot suivant dans un texte. Cependant, pour fonctionner, les Transformers doivent recevoir un contexte de tous les N éléments de la séquence passée (N = 2k à 32k jetons) à chaque étape temporelle, ce qui fait croître le nombre de calculs de manière quadratique (N^2) avec la longueur de la séquence. Cette "mémoire parfaite" d'un contexte de milliers d'éléments est équivalente, en neurosciences, à une mémoire de travail biologiquement irréaliste. Afin d'être plus biologiquement plausible, nous proposons de réduire drastiquement la taille de ce contexte (permettant des calculs plus locaux et moins coûteux), tout en introduisant des récurrences permettant l'utilisation d'une mémoire de travail à plus long terme.
Une manière efficace et biologiquement plausible d'avoir des récurrences est de se placer dans le paradigme du Reservoir Computing, où les connexions récurrentes sont aléatoires et la couche de sortie sert de lecture entraînée par régression linéaire (ou équivalence). Pour la neuroscience computationnelle, le Reservoir Computing est une approche très intéressante pour modéliser des calculs non linéaires de haute dimension avec une faible complexité computationnelle.
Contrairement à d'autres approches qui cherchent à modifier les calculs derrière l'attention (RWKV, RetNet), nous proposons de combiner ces deux modèles afin de bénéficier à la fois des calculs attentionnels des Transformers et de la mémoire de travail du Reservoir Computing. De la même manière que les calculs dendritiques nous montrent que les neurones sont capables de calculs plus complexes, nous pensons qu'il pourrait être intéressant de remplacer les neurones (unité tanh) présents dans un Réservoir par des unités plus complexes, comme les blocs d'attention présents dans les Transformers, même pour une courte période.
Nous évaluons deux nouvelles architectures sur un ensemble de tâches séquentielles (par exemple, JapaneseVowels, Cross-Situational Learning) : l'une contenant des unités équivalentes aux blocs d'attention des transformers, et l'autre décomposant le bloc d'attention en deux types d'unités : une unité basée sur le mécanisme QKV (Query-Key-Value) et une autre unité de "mémoires" (Feed-Forward), permettant ainsi de modéliser différentes structures cérébrales (cortex, hippocampe).
Domaines
Intelligence artificielle [cs.AI]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |
