Jonathan PottiezSi l’évaluation des actions de formation (en termes de qualité, d’efficacité et/ou d’efficience) est un sujet majeur, nous passerions à côté du sujet si nous ne portions pas également la réflexion au niveau du système de formation dans son ensemble.
Marc Dennery y avait déjà consacré un article sur ce blog où il expliquait l’intérêt de cette évaluation, et notamment le fait :
- que cela peut être plus économique que l’évaluation de chaque action ;
- d’intégrer dans le périmètre de l’évaluation les personnes non formées (le coût de la non-formation) ;
- de prendre en compte les nouveaux formats pédagogiques.
Concernant ce dernier point, il est vrai que le modèle de Kirkpatrick (y compris sa nouvelle version) se prête davantage aux actions de formation formelles et ne peut “capturer” l’ensemble des flux d’apprentissage de l’organisation, sauf à verser dans une obsession de “l’évaluation omniprésente” (ce qui n’est pas réellement souhaitable). Ainsi, pour Voisin (1988) :
“Il ne s’agit plus seulement de se prononcer sur les résultats directs et immédiats de la formation, mais bien d’apprécier les effets directs et indirects, immédiats et lointains, du système de formation sur l’ensemble du milieu et sur chacune de ses dimensions.” (p. 65)
Dans l’article précédemment évoqué, Marc proposait une ébauche de référentiel à partir duquel nous pourrions construire un dispositif d’évaluation du système de formation. Dans le cadre de notre thèse de doctorat, qui portait justement sur l’évaluation de la performance de la formation en entreprise par une approche systémique, nous avions conceptualisé ce que pouvait être un système de formation (voir pages 518 à 521 du tome 1). Le modèle CPPR était né (pour Contingence, Politique, Pratiques, Résultats). Nous proposons ici une synthèse de la manière dont nous avions décliné les résultats possibles d’un système de formation. Huit types de résultats nous semblent pouvoir être intégrés dans notre démarche évaluative.
Dans un premier temps, notons la proposition de Gerard (2001, p. 55) pour qui l’évaluation de tout système de formation doit porter sur l’efficacité, l’efficience, l’équité, l’engagement et l’équilibre.
L’efficacité
L’efficacité peut être considérée comme l’art de faire les bonnes choses (Drucker, 1974), intégrant la notion de désirabilité ou de réponse aux attentes (Anthony et Nicholson, 1977). Cette efficacité sera donc fonction de l’écart entre le but fixé et les faits effectivement produits, donc de la capacité à atteindre les objectifs fixés et obtenir les résultats recherchés. Par ailleurs :
“On ne peut donc parler d’efficacité qu’en relation avec les objectifs de la formation, ou encore avec les effets attendus sur le terrain, c’est-à-dire les répercussions que cherche à avoir tout système de formation au profit de l’organisation dans laquelle il prend place (Roegiers, 1997)”. (Gerard, 2001, p. 56)
Pour connaître les objectifs de la formation, il est possible de s’en référer à la typologie des 3P (performances, projets, parcours) de Meignant (2006, p. 56-70). On peut aussi simplement considérer que le système de formation doit fournir à l’entreprise “des individus susceptibles de la faire fonctionner et fructifier” (Gerard, 2001, p. 56). Alors “l’efficacité d’un système de formation est liée à la plus-value, ou à la valeur ajoutée, qu’il apporte, c’est-à-dire à l’écart positif entre le niveau d’entrée dans le système et le niveau atteint par ses produits” (Gerard, 2001, p. 59). Précisément, l’efficacité peut être distinguée selon qu’elle est interne ou externe :
- L’efficacité interne est soumise à l’atteinte des objectifs des acteurs dominants dans l’entreprise (généralement, la direction générale). Le système de formation sera donc considéré comme “efficace” s’il répond aux attentes des acteurs en présence, selon les conventions en œuvre dans l’organisation, ce qui nous renvoie à la logique du retour sur les attentes (ROE), déjà applicable à l’évaluation des actions de formation.
- L’efficacité externe est plus relative (efficace par rapport à qui, à quoi ?). Il s’agit de lier le système de formation à un ensemble de résultats attendus, parfois obtenus suite à un benchmarking. Le système sera jugé efficace si les résultats sont satisfaisants.
Les deux formes d’efficacité ne sont pas exclusives et peuvent donc tout à fait se compléter. D’expérience, nous conseillons d’orienter plutôt la démarche d’évaluation en se centrant sur l’efficacité interne, tant il est vrai qu’aucun système n’est duplicable tel quel (le benchmarking doit rester un moyen et non une finalité). Toute organisation pourra y trouver des sources d’inspiration, mais elle devra surtout concevoir son propre système.
L’efficience
La notion d’efficience recouvre la façon dont les moyens nécessaires ont été mis en œuvre et les voies par lesquelles les résultats ont été obtenus. Meignant (1986) parle aussi de “pertinence des moyens”, donc de “rapport entre les moyens mis en œuvre et les résultats obtenus” (p. 81). Elle évalue donc l’optimisation du système produisant l’effet attendu (Morin et al., 1994). En matière de formation, selon Gerard (2001), “L’efficience est le rapport entre le niveau d’efficacité et les ressources” (p. 63).
Si l’objectif ou les objectifs sont atteints (efficacité), l’efficience nous indique si cela l’a été au meilleur coût (rapport efficacité/coût optimal). Si deux systèmes de formation donnent les mêmes résultats (efficacité), celui consommant le moins de ressources sera donc plus efficient. Bien souvent, comme le note Gerard (2001) :
“tout se passe comme si le seul moyen d’accroître l’efficience du système était dans la diminution des ressources (un “bon” système de formation serait un système “qui ne coûte pas cher”), sans prendre en compte que l’efficience peut tout aussi bien s’accroître en augmentant l’efficacité du système.” (p. 63)
Ainsi, l’auteur rappelle que :
“l’exigence de qualité relativement à l’efficience d’un système ne devrait pas viser à limiter les ressources, mais bien à augmenter l’efficacité en fonction des ressources disponibles et à améliorer la gestion des ressources en fonction des besoins d’efficacité.” (Gerard, 2001, p. 64)
Efficacité et efficience sont deux concepts interdépendants, représentant la dimension socioéconomique du système. D’autres concepts méritent d’être explorés en tant que résultats possibles du système.
L’équité
Il est ici question de justice sociale : “un système éducatif est d’autant plus équitable qu’il réduit les disparités entre les plus forts et les plus faibles, entre les groupes favorisés et défavorisés” (Gerard, 2001, p. 60). Un système de formation équitable permettra ainsi de maintenir un climat social serein et favorable à l’atteinte des objectifs de l’organisation et d’accroître la “compétence collective” en agissant positivement sur l’ensemble des compétences individuelles, première ressource de celle-ci.
L’évaluation de l’équité du système de formation consistera donc à s’assurer que les différentes catégories de salariés ne font pas l’objet de discriminations en matière de formation (selon le sexe, l’âge, l’ancienneté, etc.), en vérifiant :
“si le système permet la mise en place de structures matricielles ou de groupes à géométrie variable favorables au brassage des personnes et des compétences, s’il favorise la mise en place de cartographies de compétences par rapport à un processus dans lequel chacun peut se situer et peut faire appel aux autres, s’il organise des complémentarités entre les compétences, etc.” (Gerard, 2001, p. 62)
L’équilibre
L’équilibre porte sur la dimension pédagogique du système de formation. Son évaluation se focalisera sur “la prise en compte de toutes les dimensions du “savoir” et du processus d’enseignement/apprentissage, en tant qu’éléments constitutifs spécifiques du produit “formation”” (Gerard, 2001, p. 55). L’auteur note qu’au travers de ce concept d’équilibre se pose également la question de la pertinence des objectifs poursuivis par le système de formation.
Un système de formation vise à développer les compétences individuelles et collectives. Afin d’atteindre cet objectif, l’auteur note que “le système de formation s’efforce de transmettre et de développer un certain “savoir” chez chaque individu, et il le fait de manière équilibrée lorsque toutes les dimensions de ce savoir sont effectivement promues auprès de l’apprenant” (Gerard, 2001, p. 65). Il s’agit donc ici de vérifier que le système de formation propose des formations variées (techniques/comportementales/à l’éducabilité cognitive, court/moyen/long terme, visant la mobilité, le développement de la performance collective et l’émergence de projets individuels, etc.) (Gerard, 2001, p. 68).
L’engagement
L’engagement correspond à la dimension conative du système de formation : quel effort les acteurs du système de formation (principalement les apprenants) sont prêts à fournir au système de formation ? Il s’agira de questionner ici “la capacité des systèmes de formation à développer dans leurs produits l’engagement tant pour ce qui est de l’apprentissage que de l’action” (Gerard, 2001, p. 55). C’est là une qualité essentielle du système de formation que de “donner aux apprenants […] l’envie d’apprendre et de provoquer l’engagement de ceux-ci dans une démarche d’apprentissage” (Gerard, 2001, p. 69). Le système de formation doit donc favoriser cette prise de conscience et, évidemment, éviter d’être source de désengagement. Gerard (2001, p. 70-71) propose de se fier à des indicateurs quantitatifs, tels que le taux d’absentéisme en formation, et à divers indicateurs qualitatifs.
En complément à ces cinq premiers types de résultats, nous pouvons y ajouter la conformité, la pertinence et la cohérence du système, s’agissant des trois niveaux généralement investis dans le cadre de l’audit d’un système de formation (Meignant, 1986, p. 80).
La conformité
La conformité peut être décrite comme la recherche de “l’adéquation prescrit/réalisé au regard des normes de formation, de métier ou de respect des cahiers des charges” (Ardouin et Lacaille, 2005, p. 41) ou comme correspondant à la “Qualité de ce qui répond aux exigences d’un référentiel” (IAS, 2006, p. 3). Le référentiel est lui défini comme étant l'”Ensemble des prescriptions (normes, objectifs, procédures, directives) s’imposant à une organisation ou retenues par elle et auxquelles un auditeur va se reporter pour comparer ce qu’il va constater à ce qui devrait être” (IAS, 2006, p. 3). En France, ces référentiels peuvent être, par exemple, les textes législatifs et réglementaires relatifs à la formation professionnelle continue (nous n’en manquons pas !), les accords d’entreprise ou de branche, les textes des normes (par ex. ISO), etc.
La pertinence
S’intéresser à la pertinence, c’est rechercher “au regard du contexte et de l’environnement, la congruence entre ces derniers et l’ensemble constitué par les objectifs et les moyens de les atteindre” (Ardouin et Lacaille, 2005, p. 43). La pertinence peut être aussi définie comme étant la qualité de ce qui se rapporte au fond du sujet, du problème, de la question. Pour Meignant (1986, p. 81), la question de la pertinence est indissociable des besoins, des moyens et de la cohérence avec les autres sous-systèmes en place dans l’organisation. Le problème est donc complexe et nécessite de préciser quels besoins ont été définis (le système de formation est-il pertinent en réponse à tel ou tel besoin ?).
La pertinence peut porter aussi sur les choix politiques en matière de formation, sur les procédures mises en œuvre pour obtenir les résultats souhaités, etc.
La cohérence
La cohérence peut être définie comme étant le “Degré d’harmonie et de logique selon lequel sont organisés les divers éléments d’un dispositif, par exemple de contrôle interne (missions, objectifs, moyens, politiques, organisation, procédure, supervision)” (IAS, 2006, p. 3). Ainsi :
“On visera à mesurer qualitativement et quantitativement en quoi les moyens mis en œuvre sont appropriés à l’attente [sic] des objectifs généraux et opérationnels. C’est ici la question du choix des moyens (matériels et humains) qui est posée en regard du référentiel que constitue le projet.” (Ardouin et Lacaille, 2005, p. 43)
Il est donc nécessaire ici de s’interroger sur la cohérence du système de formation lui-même, ainsi que sur son interface avec les autres systèmes de l’entreprise tels que le système de GPEC (gestion prévisionnelle des emplois et des compétences), le système de rétribution, le système de management, etc.
De l’évaluation du système à son amélioration
Dans le schéma représentatif du système de formation (cf. thèse précédemment citée), le niveau de performance du système peut influencer la politique de formation (par ex. en affectant de nouvelles ressources au système). Des actions correctives peuvent aussi en découler et porter tant sur la politique ou les pratiques de formation que sur les résultats recherchés. Cette flèche de rétroaction du système peut aussi être vue comme une boucle d’apprentissage : comment réagit le système en fonction de ses résultats ? Comment s’adapte-t-il ? Comment va-t-il se réguler à partir de ces informations pour modifier tout ou partie de ses composantes ? Le responsable formation peut ainsi être amené à mettre en œuvre des actions correctives en fonction des non-conformités relevées dans le cadre de ses pratiques d’audit (formelles et informelles). Se posera alors la question de l’efficacité de ces actions correctives.
Il y a donc un intérêt réel à porter l’évaluation au niveau du système de formation. Dans l’approche systémique développée dans notre thèse, l’évaluation (qui se rapproche parfois de la notion d’audit du système, notamment pour certains types de résultats) porte sur la performance du système dans sa globalité, sur chacune de ses composantes (choix politique, qualité des pratiques de formation résultats obtenus précédemment détaillés), tout en mettant en lumière l’influence des facteurs de contingence (le poids du “contexte”, au sens large). Avec le modèle CPPR et, de façon générale, avec tous les modèles développant une approche systémique de la formation, c’est un boulevard qui s’ouvre aux professionnels de la formation pour compléter et renouveler leurs démarches d’évaluation. Et cela est tout à fait logique : la formation évolue, l’évaluation doit donc s’y adapter et s’intéresser à ce qui était encore trop souvent, jusqu’ici, passé sous silence.
Pour aller plus loin sur l’évaluation, consultez nos offres de formation certifiante accessibles en CPF en cliquant ici.
Henri Occre
Marc Dennery
