Cette étude porte sur l'évaluation automatique de la parole de Japonais apprenant le français à l'aide de paramètres mesurés à différents niveaux linguistiques (phonético-phonologique, lexical, syntaxique, discursif). Nos données sont des productions orales semi-spontanées issues du corpus CLIJAF (38 apprenants), constitué dans le cadre du projet IPFC-japonais. Dans un premier temps, nous avons étudié l'adéquation des paramètres avec le niveau global des apprenants, tel que défini par le CECRL (A2 à C2). Nous avons ensuite exploré la possibilité de prédire ce niveau global en utilisant les paramètres linguistiques les plus pertinents et un algorithme d'apprentissage automatique non supervisé. Les résultats obtenus durant cette première étape valident la pertinence de nos objectifs et montrent que des paramètres extraits automatiquement tels que la diversité lexicale, la longueur moyenne des tours de parole, la proportion de marqueurs du discours et plusieurs paramètres liés à la fluence peuvent contribuer à la prédiction automatique du niveau global des apprenants. Dans un second temps, nous avons travaillé à la prédiction automatique du niveau de performance en expression orale (et non global) des apprenants. À cette fin, chaque apprenant a été évalué par trois enseignants expérimentés de français langue étrangère (FLE), habilités à la certification Delf-Dalf, au Japon, via une expérimentation avec le logiciel Prodigy. Après vérification des accords inter-évaluateurs, les données ont été fusionnées pour obtenir un unique score de performance pour chaque apprenant. Afin de sélectionner les paramètres linguistiques les plus pertinents pour prédire ce score de performance, nous avons utilisé une régression de type lasso. Les résultats montrent qu'avec seulement cinq paramètres liés à la fluence (débit de parole), aux compétences lexicales (densité lexicale), à la planification du discours et aux capacités d'élaboration (nombre d'hésitations et nombre de faux départs, longueur moyenne des énoncés) le niveau de performance en expression orale peut être prédit (r = 0.71, erreur absolue moyenne = 0.53). Cette étude illustre comment un corpus de parole non-native peut être exploité en vue de développer un système d'évaluation automatique multi-niveau de la parole d'apprenants.