Cet article traite du problème de l'identification en-ligne des systèmes non linéaires et non stationnaires par les méthodes à noyau. L'ordre des modèles est contrôlé par le critère de cohérence utilisé comme critère de parcimonie, qui mène à sélectionner les fonctions noyau les plus pertinentes au sens de ce critère, formant ainsi un dictionnaire. On exploite l'adaptation du dictionnaire en proposant une méthode de descente de gradient stochastique qui s'applique conjointement à l'estimation en ligne des coefficients du modèle à noyau. un algorithme d'identification en ligne à noyau. Pour ce dernier, sans limitation, il peut s'agir de l'algorithme de moindres carrés récursif à noyau ou de projection affine à noyau. La méthode proposée permet une diminution de l'erreur quadratique instantanée et une réduction de la complexité du modèle.