Le modèle classique des processus de décision markoviens repose implicitement sur une structure de préférence induite par l'existence de coûts scalaires additifs et l'utilisation d'un certain critère d'évaluation des politiques (total, total pondéré, moyenne...). Cette structure de préférence s'appuie sur des hypothèses fortes permettant de vérifier les principes de la programmation dynamique. Nous nous intéressons ici à des processus de décision markoviens dont la structure de préférence est non classique et énonçons des propriétés simples et suffisantes sur ces préférences pour l'application de méthodes fondées sur la programmation dynamique. Ainsi ces propriétés délimitent une classe plus large de processus de décision markoviens résolubles par la programmation dynamique.