Jonathan PottiezAprès l’omniprésence du retour sur investissement (ROI – Return on investment) dans les écrits et les discours relatifs à l’évaluation des formations durant des années, il est désormais question de retour sur les attentes (ROE – Return on expectations). Dans ces communications, le ROE est tantôt défini comme étant la réponse aux attentes de l’apprenant (ce qui serait plutôt une partie du niveau 1 du modèle de Kirkpatrick), tantôt comme le degré d’atteinte des objectifs pédagogiques (donc plutôt du ressort du niveau 2), tantôt comme la montée en compétences de l’apprenant (donc le niveau 3). Certains considèrent aussi, à tort, le ROE comme étant une forme de “sous-ROI”. Verdict ? Aucune de ces définitions ne correspond au ROE tel qu’il a été défini et popularisé par les Kirkpatrick, car viser le ROE, c’est s’intéresser principalement au niveau 4 (et notamment à la partie supérieure/à plus long terme de celui-ci), car c’est surtout celui-ci qui intéresse les directions. Le ROE est à la fois un résultat et un process. Explications.
Une erreur classique : penser l’évaluation après la formation
Il n’est pas naturel pour la majeure partie des professionnels de la formation de se poser des questions d’évaluation avant de s’intéresser à la formation en tant que telle. Ainsi, il est fréquent d’avoir travaillé sur le “produit” de formation (conception pédagogique, choix des formateurs/tuteurs/accompagnateurs, planification, etc.) sans s’être réellement interrogé sur les objectifs visés et les résultats attendus. Tenons-en pour preuve nombre de cahiers charges où l’absence d’objectifs concrets se fait cruellement sentir. Et, quand bien même ces objectifs existeraient, ils se situent généralement, au mieux, au niveau 2 de Kirkpatrick (objectifs pédagogiques ou d’apprentissage). Et quelques semaines ou quelques mois plus tard, le commanditaire viendra questionner le fameux retour sur investissement, alors que l’on n’aura que des preuves d’apprentissage à lui fournir…
Pour éviter cela, il est impératif de renverser cette logique, à savoir penser évaluation avant formation. L’évaluation permet de structurer complètement l’action de formation : comment savoir quels contenus délivrer, selon quelles modalités et avec quelles méthodes, si l’on n’est pas au clair sur les livrables ?
Des critères de succès aux critères d’évaluation
Dans l’expression “retour sur les attentes”, le mot le plus important est… attentes. OK, mais les attentes de qui ? Eh bien, pour les formations éligibles à une évaluation du ROE (généralement les formations stratégiques, qui concernent le cœur de métier, qui représentent des volumes et donc des coûts importants, etc.), ce seront les attentes des commanditaires d’un niveau hiérarchique élevé (par ex. une direction générale ou une direction opérationnelle/fonctionnelle). Cela exclut donc les formations à l’initiative d’un salarié et/ou de son manager, car une formation à destination d’un seul individu ne risque probablement pas de faire “bouger les lignes” au niveau des résultats organisationnels.
L’objectif va donc être de questionner ces commanditaires en amont de la formation, de façon à déterminer, à partir de leurs attentes plus ou moins bien formulées, des critères de succès desquels découleront des critères d’évaluation pertinents en aval. Logique imparable : ceux qui sont à l’origine de la demande de formation sont les mieux placés pour exprimer ce qu’ils en attendent. Évidemment, rares sont les commanditaires à arriver avec des critères précis… d’où l’importance de dépasser le stade des attentes initiales pour arriver aux véritables attentes, plus ou moins implicites, plus ou moins latentes. Pour y arriver, une question, une seule, qu’il va falloir répéter plusieurs fois. La question la plus puissante qui soit, que les adultes oublient souvent au contraire des enfants (et au grand dam, parfois, des adultes…) : pourquoi ?
Des attentes initiales aux objectifs stratégiques
Les habitués auront reconnu la méthode des “cinq pourquoi”, utilisée pour déterminer la cause racine et, dans le cas présent, pour remonter le fil des attentes, jusqu’à parvenir à des objectifs stratégiques.
Dans le livre L’évaluation de la formation (Dunod, 2017, 2e éd.), l’exemple donné est celui d’une responsable formation d’une enseigne bancaire qui, venue initialement avec un projet de formation en management, a fini par admettre, à force de “pourquoi” (ou de “pourquoi est-ce un problème ?”, ou encore de “pour quoi”), que ce projet était l’un des éléments contributeurs de l’objectif stratégique de l’entreprise qui était de devenir, d’ici trois ans, “la banque de proximité de référence auprès de ses clients, permettant d’augmenter de 2 % notre produit net bancaire.” Cet objectif stratégique correspond aux “résultats souhaités” dans le nouveau modèle de Kirkpatrick. Ils correspondent en quelque sorte à la mission/raison d’être de l’organisation, associée à une certaine réalité financière. De ce fait, ils ne sont pas propres à chaque formation : ils sont propres à chaque organisation et, donc, uniques au sein de celle-ci (même s’ils peuvent évoluer dans le temps). Après tout, si la formation concernée est réellement stratégique, elle devrait pouvoir être reliée à la stratégie, n’est-ce pas ? Dans des organisations marchandes, il sera fréquemment question de chiffre d’affaires, de bénéfices, de positionnement (par ex. “Être leader de tel secteur, en réalisant X euros de chiffre d’affaires”), tandis que dans les organisations non marchandes cela pourra être l’intérêt général qui sera mis en avant (par ex. “Fournir aux citoyens le meilleur niveau de service possible, en respectant les dotations budgétaires”, dans le cas d’une collectivité territoriale). Donc toujours un équilibre entre la mission/raison d’être et une certaine réalité financière.
Dans le cas de l’enseigne bancaire, le travail a consisté à affiner les attentes initiales (“La direction générale veut que l’on forme les managers”) et à les hisser jusqu’à un niveau stratégique. Pour initier l’échange et la succession de “pourquoi”, cette simple question est généralement suffisante :
En quoi cette formation sera un succès selon vous ?
Dans tous les cas, le but est de pousser ses interlocuteurs dans leurs derniers retranchements pour arriver jusqu’aux véritables résultats souhaités. Ainsi, derrière la question directe et synthétique “quel est votre ROE ?”, il faut entendre “quels sont les objectifs stratégiques de votre organisation auxquels la formation pourrait contribuer ?”
Au vu de la nature des interlocuteurs questionnés, “aller chercher le ROE” consiste donc à questionner les attentes de ceux-ci en identifiant des éléments observables et mesurables, ce qui nous amène prioritairement au niveau 4 (même si le niveau 3 a son importance et que des attentes peuvent être exprimées à ce niveau).
Et s’il s’avère que la formation n’a pas cette ambition, peut-être se limitera-t-on à une amélioration ou une modification des comportements/pratiques des salariés (niveau 3), ou encore à la transmission de savoirs, savoir-faire et/ou savoir-être (niveau 2). Et peut-être même que la seule justification inhérente à cette formation sera que les salariés passent un bon moment… une évaluation de niveau 1 suffira alors.
Dans tous les cas, qui peut le plus peut le moins : il est essentiel de commencer le questionnement par le dernier niveau, pour que la commande et les critères de succès soient clairs, car de ceux-ci dépendront les preuves que l’on fournira en aval de la formation pour présenter les résultats de la formation. On cherche ainsi ici à éviter des “fouilles archéologiques” pour tenter de dénicher des indicateurs qui permettraient de démontrer un impact concret de la formation. Si ce travail n’a pas été fait en amont, votre évaluation ne sera qu’approximative… et les données fournies peut-être pas au niveau des attentes de vos commanditaires.
Penser ROE, c’est changer de posture face aux commanditaires
Il y a de nombreux avantages à cette manière de procéder dans notre relation aux commanditaires :
- les commanditaires prennent conscience que la formation peut contribuer à l’atteinte des objectifs stratégiques de l’organisation et ne pas se limiter à des effets au niveau des salariés (niveaux 2 et 3 du modèle) ;
- peut-être que le responsable formation et les commanditaires, du fait de cet échange, en arriveront à identifier une solution plus pertinente que la formation (évitant la dérive de la formation “solution miracle et réponse-à-tout”)… voire à conclure que le besoin n’est pas avéré ;
- si le besoin est confirmé et que les commanditaires souhaitent s’engager dans cette voie, une discussion pourra s’ouvrir quant à l’adéquation entre les moyens engagés et les résultats souhaités (les ressources prévues sont-elles suffisantes ?) ;
- mais c’est aussi le moment tout trouvé pour expliquer que la formation seule ne produira pas de miracle si elle ne s’inscrit pas dans un projet plus large, dans lequel interviennent d’autres actions et d’autres fonctions, en amont ou en parallèle du projet. Une excellente occasion de réunir autour de la table toutes les parties prenantes qui peuvent, là encore, contribuer à l’obtention des résultats souhaités.
Ainsi, le niveau 4 du modèle de Kirkpatrick définit les résultats, non pas de la seule formation, mais d’un projet plus global dans lequel il y a une composante formation. Il est donc vain de vouloir isoler la part de responsabilité de la formation, comme le préconisent les adeptes du ROI. L’organisation est un système, un tout qui est la somme de ses parties. Vouloir séparer les éléments, vouloir persister dans le “silotage” et le découpage en fonctions bien distinctes est, au mieux, un manque de maturité managériale et organisationnelle, et, au pire, une tentative désespérée de prouver son utilité. Or, isoler c’est s’isoler soi-même. Penser en termes de ROE, c’est considérer qu’il vaut mieux intégrer les éléments plutôt que de les séparer. C’est le tout qui a une valeur. Cet article est rédigé sur un MacBook Air (écran de 13 pouces) d’une valeur d’origine de 1 500 euros. Posez-vous la question : quelle est la valeur de la touche T ? Vous avez du mal à trouver une valeur précise ? À nouveau : c’est le tout qui a une valeur.
Et une fois les résultats souhaités identifiés et le ROE bien délimité ?
Une fois que l’on a cerné les résultats souhaités (mission/raison d’être + réalité financière) et que les différentes parties prenantes s’accordent sur ceux-ci, et donc que l’on est bien au niveau 4 du modèle, alors les étapes suivantes peuvent s’enchaîner pour concevoir une solution performante, combinant formation, évaluation et autres actions :
- identifier les indicateurs avancés (la seconde partie du niveau 4) qui permettront de suivre, à cout terme (par ex. mois après mois), les effets concrets, observables et mesurables du projet ;
- définir les comportements critiques (niveau 3), à savoir les pratiques que les apprenants devront mettre en œuvre en situation de travail au retour de leur formation, de façon à avoir un impact positif sur les indicateurs précédemment cités ;
- identifier des actions à mettre en œuvre avant, pendant et/ou après la formation (niveau 3) pour favoriser le transfert des acquis (les “leviers” dans le nouveau modèle de Kirkpatrick) ;
- définir des objectifs pédagogiques/d’apprentissage (niveau 2), cohérents par rapport aux comportements précédemment identifiés ;
- concevoir une formation qui génèrera des réactions positives chez les apprenants (niveau 1).
À chaque étape, le responsable formation s’interroge ainsi sur les preuves qu’il devra fournir aux différents acteurs pour démontrer les effets de la formation. Il convient donc de présenter les résultats espérés à chaque niveau, avant même que le projet ne débute.
Une fois le dispositif d’évaluation conçu en amont, il conviendra de le mettre en œuvre et de piloter le projet au long cours, quitte à enclencher des actions correctives si les résultats ne sont pas au rendez-vous, et ce, jusqu’à la présentation finale des résultats aux commanditaires. Au cours de cette présentation, même si des données seront présentées pour chacun des quatre niveaux, l’accent sera mis sur le niveau 3 et, bien évidemment, sur le niveau 4, pour démontrer en quoi la formation a contribué à la réalisation des objectifs stratégiques de l’entreprise, donc qu’il y a bien un retour sur les attentes des commanditaires (ROE). Il s’agit donc d’une forme de plaidoyer, au cours duquel sera racontée “l’histoire de l’efficacité d’une formation” (storytelling). Une histoire convaincante, faite de données quantitatives et qualitatives, qui remportera donc l’adhésion du “jury”.
Permettant de s’assurer de l’alignement de la formation (et des autres actions) sur les objectifs les plus élevés de l’organisation, le ROE est donc l’indicateur le plus important pour démontrer la valeur ajoutée de la formation.
Henri Occre
Marc Dennery
