Jonathan PottiezNous parlons régulièrement d’évaluation de la formation sur ce blog et cela ne risque pas d’aller en diminuant dans les mois et années à venir. D’abord parce que la dernière réforme incite (voire contraint !) les praticiens à évaluer plus sérieusement leurs formations (l’AFEST s’y prête tout à fait, le RNCQ fait la part belle à l’évaluation, etc.). Ensuite parce que le contexte économique est tel qu’il est demandé à chaque fonction de faire des efforts. Et la fonction formation n’y fait pas exception.
Étant donné qu’elle fera donc partie de notre quotidien (si ça n’est pas déjà le cas) et parce que les mots ont un sens, il est bon de définir et de préciser ce qu’il est entendu par “évaluation” lorsque celle-ci est appliquée à la formation. Qu’est-ce que l’évaluation ? En quoi se distingue-t-elle du contrôle et de la mesure ? Et sur quoi porte-t-elle ? Quelques éléments de réponse et de réflexion…
Contrôle, évaluation et mesure
Du contrôle à l’évaluation…
Les termes contrôle et évaluation ne sont pas toujours bien distingués. La différence tient notamment au fait d’un changement de paradigme dans le champ de la gestion des ressources humaines, comprenant donc également la formation. En effet, nous pouvons admettre que le contrôle porte davantage sur le passé et les coûts, alors que l’évaluation considère des périodes différentes et plus larges, tout en se focalisant sur les résultats. “Contrairement au contrôle, l’évaluation s’intéresse non seulement au passé, mais aussi au présent et, surtout, à l’avenir. Autrement dit, elle encourage une gamme précise d’améliorations continues, celles qui vont conduire au succès organisationnel” (Le Louarn et Wils, 2001, p. 22).
La mesure comme partie de l’évaluation
La mesure et l’évaluation sont aussi deux notions distinctes et complémentaires. Comme le note Bessire (2005), la mesure n’est qu’une partie de l’évaluation, elle “n’a de sens que si elle s’inscrit dans un processus d’évaluation, qui lui-même intègre nécessairement une dimension subjective” (p. 7). L’évaluation comprend donc la mesure puis l’appréciation du résultat de cette mesure en fonction du référentiel choisi (par ex. normes, standards, indicateurs) ou de son propre référentiel interne (introduction de subjectivité). La subjectivité est donc inhérente à l’évaluation, elle en est partie intégrante. Et pourtant ! Combien de fois peut-on entendre “je veux poser des questions plus objectives dans mon questionnaire d’évaluation”…
En résumé, pour Le Louarn et Wils (2001), “Évaluer revient à recueillir des faits qui vont permettre de gérer avec rigueur” (p. 23). Précisément, pour De Ketele (1989), “Évaluer signifie recueillir les informations pertinentes, valides et fiables, et examiner le degré d’adéquation entre cet ensemble d’informations et un ensemble de critères adéquats en vue de prendre une décision fondée” (p. 73). L’évaluation est donc mesure (de l’écart entre les résultats obtenus et les objectifs fixés), analyse (des causes de cet écart par l’analyse et l’interprétation des résultats), jugement (de valeur sur les constats recueillis concernant la formation et ses effets, donc aussi subjective) et action (sur les différents éléments et paramètres de la formation).
L‘évaluation est donc le niveau adéquat pour qui souhaite piloter et améliorer en continu ses formations. Reste à déterminer sur quoi doit-elle porter.
Qualité, efficacité, efficience
Si l’évaluation porte sur les formations elles-mêmes, trois objets peuvent être principalement distingués : la qualité, l’efficacité et l’efficience. Parfois, ils sont utilisés de manière indifférenciée. Il est ainsi fréquent de parler de qualité ou d’efficacité sans réelle distinction, tout comme d’efficacité ou d’efficience. Cette distinction est essentielle car à chaque objet ses objectifs et des méthodes/outils/techniques d’évaluation.
La qualité
La qualité est sur les lèvres de tous les professionnels de la formation ces dernières années, notamment depuis la parution du décret éponyme et l’obligation pour les prestataires de formation souhaitant dispenser des formations partiellement ou intégralement prises en charge (financements et cofinancements) de démontrer leur capacité à satisfaire différentes exigences. La logique du législateur était la suivante : le prestataire de formation qui saura démontrer son professionnalisme sera supposé délivrer des formations “de qualité” et sera donc, lui-même, un organisme “de qualité”.
Si l’on se réfère au modèle de Kirkpatrick, la qualité peut s’apparenter aux niveaux 1 (réaction) et 2 (apprentissage). Ainsi, l’évaluateur se demandera a) si le “produit formation” a suscité des réactions positives chez les apprenants et b) s’il leur a permis d’acquérir différentes choses (des connaissances, des capacités, des compétences… nous n’ouvrirons pas le débat ici et maintenant !). La responsabilité du prestataire s’arrête ici car nous savons bien qu’il n’a pas (complètement) la main sur ce qui se passe avant et après la formation… peut-être davantage s’il intègre l’AFEST !
L’efficacité
Une formation de qualité ne débouche donc pas nécessairement sur des résultats tangibles et mesurables pour l’apprenant et son entreprise. C’est cette fois la question de l’efficacité qui est posée. Évaluer l’efficacité d’une formation, cela revient à évaluer le degré d’atteinte des objectifs qui lui ont été assignés. Or, en la matière, il est de bon ton de ne pas se limiter à des objectifs de satisfaction (niveau 1 de Kirkpatrick) ou à des objectifs pédagogiques/d’apprentissage (niveau 2). Non. L’efficacité est à mettre en correspondance avec des objectifs comportementaux (niveau 3 : les apprenants utilisent-ils les acquis de leur formation ?) et/ou avec des objectifs organisationnels (niveau 4 : la formation a-t-elle un impact sur les résultats finaux ?). C’est autrement plus exigeant et ambitieux que la seule qualité.
La bonne nouvelle est que le référentiel national de certification qualité (RNCQ) va un peu plus dans ce sens en indiquant, par exemple, comme indicateur 5 : “Le prestataire définit les objectifs opérationnels et évaluables de la prestation.” Des objectifs opérationnels correspondent logiquement à ce que nous désignons par l’expression “objectifs comportementaux”, donc des objectifs qui décrivent clairement ce que les apprenants vont devoir démontrer en termes de pratiques, une fois revenus à leur poste de travail.
L’efficience
Enfin, last but not least, le nec plus ultra de l’évaluation de la formation est de viser l’efficience. En effet, une formation peut être efficace… mais très coûteuse (en temps, en argent, etc.) ! Efficacité et efficience sont donc indissociables : l’efficience n’est possible que si l’efficacité est prouvée. Il est donc aberrant de comparer des modalités de formation entre elles (par ex. présentiel versus distanciel, présentiel versus AFEST, etc.) en ne considérant que les coûts. L’efficience peut notamment être évaluée en amont du projet pour optimiser les choix (quelles solutions privilégier pour avoir le meilleur impact et au meilleur coût ?) et en aval pour vérifier la justesse de ces choix. Inutile de dire que la multimodalité, notamment via le digital learning et l’AFEST, offre de réels leviers pour travailler sur cette question de l’efficience.
Ainsi, à la manière des poupées gigognes, l’efficience comprend l’efficacité qui, elle-même, comprend la qualité. Mais l’inverse n’est pas vrai : il n’y a pas de relations causales entre qualité et efficacité, ni entre efficacité et efficience.
Voici des chantiers prometteurs et porteurs de sens pour les professionnels de la formation soucieux d’évaluer et d’améliorer en continu la qualité, l’efficacité et l’efficience de leurs actions de formation. À l’occasion de prochains articles, nous verrons que la question se pose aussi au niveau du système de formation, un chantier encore plus conséquent mais qui a d’autant plus d’importance à l’heure où l’apprentissage se produit aussi (et surtout ?) en dehors des actions formelles.
Henri Occre
Marc Dennery
