Jonathan PottiezLe monde bouge, la formation bouge… en est-il de même pour son évaluation ? Les choses ne bougent pas aussi rapidement que l’on ne pourrait l’espérer ! S’il est avéré que les pratiques d’évaluation des formations tendent à évoluer petit à petit, force est de constater que l’on est encore loin de s’ancrer durablement dans une culture du résultat en formation. Les raisons expliquant cet état de fait sont nombreuses, et l’une des principales est que des erreurs sont commises dans la manière de concevoir, de piloter et/ou d’évaluer les projets de formation.
Sans aller jusqu’à lister toutes les erreurs en question, il y en a trois qui méritent d’être discutées ici, car elles sont probablement les plus communément observées. Si elles vous concernent, alors prenez le temps de consulter quelques astuces pour y remédier.
(Note : cet article s’inspire en partie de celui publié récemment par Kirkpatrick Partners)
Erreur n° 1 : répondre aux exigences en matière d’évaluation… après le lancement du programme
Cela s’est déjà produit à maintes reprises. Un responsable formation nous contacte pour discuter de l’évaluation de son programme de formation à destination de cadres dirigeants. Un coût très élevé, des ambitions fortes, des questions importantes quant à son impact… Et pourtant ! Un cahier des charges de plusieurs dizaines de pages, mais des objectifs très flous et, surtout, un programme déjà “ficelé”. Le contenu est prêt, les modalités d’apprentissage définies, les méthodes pédagogiques sélectionnées… il ne manque presque plus qu’à se mettre d’accord sur le restaurant pour les temps en présentiel !
Mais comment savoir si c’est le bon contenu, les bonnes modalités, les bonnes méthodes… si la finalité n’est pas claire ? Cela pénalise lourdement la conception de la formation, qui risque de n’être qu’un (coûteux) coup d’épée dans l’eau…
Par ailleurs, faute d’avoir questionné les commanditaires en amont au sujet de leurs attentes et d’avoir traduit celles-ci en objectifs de résultats concrets, il sera difficile de répondre à la question qui finira, tôt ou tard, par arriver sur la table : “Au fait, quel est le retour sur investissement de ce programme ?” Difficile de montrer que l’on en a eu pour notre argent, faute d’éléments de preuve à fournir…
Double handicap, donc. On se retrouve avec des programmes de formation fort “sympathiques”, qui généreront certainement des niveaux de satisfaction élevés, mais qui, à la première “contraction budgétaire” (c’est d’actualité), pourront être supprimés, sans regret.
Pour éviter cela, le modèle de Kirkpatrick peut être utilisé à l’envers pour définir en amont de la formation les critères de succès qui deviendront, en aval, les critères d’évaluation.
La démarche, présentée de manière très synthétique, ressemble à ceci :
- Commencez chaque projet en considérant d’abord les indicateurs de résultats clés sur lesquels vous pensez qu’il y aura un impact, et expliquez en quoi cela contribuera aux résultats souhaités de niveau 4 de votre organisation (voir cet article pour bien distinguer les composantes du niveau 4).
- Ensuite, réfléchissez aux comportements (niveau 3) les plus importants que les apprenants devront mettre en œuvre au travail de retour de formation. Que doivent-ils faire de plus et/ou de mieux pour espérer influencer les indicateurs de résultats dans le sens attendu ?
- Vient alors le moment (et seulement maintenant) d’envisager la solution la plus appropriée… S’il s’agit d’une formation (au moins en partie), il sera temps de formuler les objectifs d’apprentissage (niveau 2). Mais peut-être que la solution (unique) n’est pas la formation et que d’autres actions doivent être envisagées ?
- Enfin, dans le cas d’une formation, réfléchissez à celle qui sera la plus appropriée (modalités, méthodes, etc.) pour permettre l’acquisition des connaissances et compétences visées, et ce, de la façon la plus agréable qui soit (niveau 1).
Étant donné que l’on n’a pas deux fois l’occasion de faire une première bonne impression, les questions du début (relatives au niveau 4) doivent être particulièrement soignées. Vous trouverez dans cet article quelques suggestions adéquates.
Erreur n° 2 : Consacrer la majorité de vos ressources en évaluation aux niveaux 1 et 2 (réaction et apprentissage)
Régulièrement, les études de l’ATD (Association for Talent Development) montrent que les professionnels de la formation américains consacrent près de 70 % de leurs ressources relatives à l’évaluation des formations aux seuls niveaux 1 et 2 (Evaluating Learning: Getting to Measurements That Matter, ATD 2016). Des études similaires menées en France affichaient des résultats similaires, voire plus marqués.
Malheureusement, bien que ces niveaux aient de l’intérêt pour les acteurs de la formation, ils n’en ont que peu pour les commanditaires qui décident généralement de l’allocation des budgets de formation et, par extension de la pérennité de la fonction formation dans l’entreprise.
Parmi ces quatre niveaux, le plus important est le niveau 3, car il représente le virage crucial à bien négocier pour que les acquis de la formation soient réellement réinvestis dans l’organisation. Sinon, ils resteront l’unique propriété des apprenants. Et, faute d’application, ils finiront pas être définitivement oubliés. Car, oui, les acquis d’une formation, ça n’est pas comme faire du vélo, cela finit par s’oublier… De ce fait, l’évaluation à ce niveau doit être particulièrement soignée, ceci afin notamment de préparer celle du niveau 4 et la démonstration des impacts de la formation. Sans niveau 3, pas de niveau 4 ! C’est aussi simple que cela.
Erreur n° 3 : S’appuyer uniquement sur des questionnaires d’évaluation standardisés
Au même titre qu’il n’existe pas un indicateur magique qui permettrait de démontrer, assurément, l’impact de toute formation, il serait vain de croire en l’existence de questionnaires d’évaluation parfaits, qui seraient amplement suffisants pour cerner l’ensemble des résultats d’une formation. Non, le fait d’administrer un ou plusieurs questionnaires n’est pas l’unique et sacro-sainte méthode pour évaluer les formations !
Autant ils peuvent bien rendre service pour les formations aux enjeux modérés (ce qui permet de collecter des données facilement, de piloter les résultats dans le temps, etc.), autant pour les formations à forts enjeux ils afficheront rapidement leurs limites. Pour celles-ci, il sera préférable de combiner différentes méthodes d’évaluation, permettant de collecter des données tant quantitatives que qualitatives, ceci afin de construire un discours convaincant quant à leur valeur ajoutée (vos commanditaires, au vu des investissements consentis en pareil cas, ne se satisferont probablement pas de quelques tableaux ou graphiques compilés dans un tableur…). Le recours à d’autres méthodes limitera aussi le phénomène de survey fatigue, à savoir une forme de lassitude ou de fatigue quant au fait de compléter des questionnaires (ce qui est quasiment inévitable lorsque ceux-ci sont trop fréquents, trop longs, etc.), avec les impacts que l’on imagine sur les taux de retour et la qualité des réponses recueillies.
Pour choisir les méthodes d’évaluation les plus pertinentes pour les quatre niveaux et s’assurer de leur mise en cohérence, il est indispensable de créer au préalable un plan d’évaluation robuste. C’est ce qu’apprennent, entre autres, les participants au programme de certification à l’évaluation Kirkpatrick Four Levels® (niveau bronze).
Conclusion
L’erreur est humaine et fait partie de l’apprentissage. En revanche, une fois identifiée, il est grand temps d’agir pour la corriger. Cela ne représente pas un effort vain, quand au bout du compte cela signifie une efficacité (voire une efficience) accrue et une valorisation importante de votre fonction. Contactez-nous pour en discuter.
Pour s’inscrire à la prochaine session 100 % à distance de ce programme.
Henri Occre
Marc Dennery
