L’évaluation a pour objectif de renforcer la lisibilité de l’action sociale, de la légitimer.
En ce sens, diverses méthodes d’évaluation se sont développées au fil du temps.
La méthode PASS (programme d’analyse de système de service - 1990) tend à mesurer le résultat d’une prestation à partir de sa contribution à l’objectif d’intégration sociale du bénéficiaire au travers d’un référentiel regroupant des critères auxquels est attribuée une cotation. En termes d’avantages, c’est un outil simple à utiliser mais particulièrement réducteur de la réalité de l’accompagnement social.
Les démarches expérimentales basées sur les résultats de l’expérimentation ont une allure scientifique. L’objectif est de démontrer que l’écart constaté des situations comparées des bénéficiaires au démarrage et à la sortie de la prestation est dû à l’intervention sociale. L’atout de ces processus est d’associer les intervenants sociaux à la formulation des objectifs et des critères et méthodes d’évaluation. Malheureusement, ce processus induit une vision normative de l’action sociale et laisse peu de place à l’introduction d’incertitudes, de subjectivités.
Les méthodes comparatives donnent à l’approche précédente une dimension financière en introduisant la comparaison coûts-avantages. Les collectivités publiques y voient une rationalisation des choix budgétaires. Si cette méthode présente un intérêt, l’incapacité à rendre compte de la globalité d’une action sociale est sa limite.
La mesure de la « compétence sociale » est d’estimer le rapport entre l’objectif de l’action sociale, l’accroissement de la compétence sociale des bénéficiaires, et les moyens mis en œuvre à cet effet. Des critères sont affectés d’une cotation négative ou positive. Ce processus d’évaluation a pour principal reproche de ne pas tenir compte de l’approche individualisée des parcours.
La méthode d’évaluation clinique est fondée à la fois sur l’analyse (qualitative) de la valeur ajoutée du travail social, de la situation du bénéficiaire et des pratiques professionnelles. Son point faible est d’écarter toute comparaison en fonction de l’objectif initial imparti et toute référence au projet de l’institution.
Des méthodes axées sur les dynamiques se fixent comme objectif de mettre en parallèle la prestation sociale et les changements intervenus grâce au système d’organisation mis en place.
Plus que le choix d’une méthode, il nous parait plus judicieux de fixer les critères incontournables à appliquer à toute évaluation.
Tout d’abord, l’évaluation vise la production de connaissance et d’analyse mais elle doit aussi conduire à l’amélioration de la démarche (enclencher une dynamique).
Elle doit s’imposer :
- d’associer l’ensemble des parties prenantes : organisation, intervenants sociaux, bénéficiaires…
- de tenir compte des objectifs fixés initialement, du projet de l’institution,
- d’écarter toute vision normative mais de s’assurer contre les subjectivités,
- de rejeter la mise en œuvre d’un « référentiel » universel. Il s’agit de privilégier des outils spécifiques à chaque structure dont on aura permis l’appropriation par les intervenants,
- de tenir compte du contexte et du parcours particulier de chaque bénéficiaire ainsi que de son implication,
- d’exclure toute forme de modélisation
- de bannir la référence exclusive à des critères de rationalité budgétaire.
Réhabiliter la notion d’évaluation en travail social
De préférence à l’évaluation du travail social.
Pourquoi ?
La terminologie est alors plus dynamique car elle sous-entend la participation des professionnels.
Voire même l’appropriation par ces mêmes professionnels de l’évaluation de leur action.
Elle représente alors une véritable évaluation des missions par opposition au contrôle si souvent décrié, pour le subir, par le secteur de l’action sociale et médico-sociale.
L’évaluation des actions suppose une relative proximité, car seul le professionnel est à même d’observer, d’analyser, d’accompagner une démarche individuelle ou collective.
Contradictoirement, l’évaluation nécessite également une certaine distanciation qui va permettre de construire des éléments de décryptage des observations ainsi réunies.
La posture d’évaluation entraîne donc au préalable, la détermination de ce que l’on va évaluer, pourquoi on va l’évaluer, avec quels outils de mesure, quelles méthodes de connaissance, en associant quels types d’acteurs…
La question de l’évaluation doit impérativement se poser avant même le début de l’action ; à mon avis, dès l’analyse des besoins qui vont déterminer le type d’action et le projet qui va permettre d’y répondre.
Paradoxalement, c’est aussi l’évaluation des missions qui va conduire à une démarche prospective sur le devenir d’une action, d’un projet, d’une organisation.
La mesure de l’utilité sociale
On peut l’appeler utilité sociale, valeur ajoutée sociale, plus-value…
Les acteurs des organisations de l’économie sociale et solidaire sont convaincus que leur action entraîne, au-delà des services individuels rendus, un bénéfice collectif à la collectivité sur leurs territoires d’intervention.
Mais la difficulté se pose lorsque l'on souhaite évaluer la production d’utilité sociale.
La première question à se poser est de déterminer la motivation à engager une telle évaluation.
Deux objectifs coexistent.
L’un est interne, il permet de revisiter le projet de l’organisation et de clarifier l’efficacité de ses actions voire de repositionner ses interventions.
L’autre est externe, et s’exerce dans un souci de clarification de l’image de son action auprès des institutionnels.
La caractéristique de cette démarche d’évaluation est qu'elle doit être participative et permettre l’appropriation de valeurs partagées par les acteurs concernés au sein de l’organisation.
Il n’existe pas de définition intrinsèque de l’utilité sociale. Déterminer le contenu concret de l’utilité sociale, objet de l’évaluation, constituera le préliminaire à débattre conjointement.
Reste à travailler sur des outils, référentiels, indicateurs ad hoc, c'est-à-dire adaptés à chaque problématique fixée, qui ne soient pas de simples tableaux de bord dont l’intérêt n’est pas vraiment perçu.
Ce qui démontre l’intérêt de se faire accompagner dans ce processus.
En conclusion, l’évaluation de l’utilité sociale permet de construire un autre modèle économique, fondé sur un autre système de valeurs sociales et solidaires et conforte les intervenants sociaux dans leur légitimité à caractériser l’utilité sociale..
Créer un référentiel d’évaluation
Il est un outil qui peut se révéler intéressant afin d’appréhender l’utilité sociale d’une structure ou d’un projet.
Il s’agit de l’arbre d’objectifs qui exige un travail de réflexion et d’échanges avec toutes les parties prenantes de la structure.
Dans un premier temps, on commence par préciser la finalité de la structure ou de l’action (tronc) et par lister les actions réalisées qui sont facilement identifiables (feuillage).
Ces 2 niveaux délimités, il est possible de déterminer : les objectifs opérationnels puis les objectifs stratégiques (ramifications).
Il s’agit enfin de mettre en relation les différents niveaux.
Un outil très visuel peut être établi, base de nombreux échanges qui sera amendé ensuite aux fils des rencontres.
Il constitue un référentiel d’évaluation, au cœur d’une démarche évaluative. Il peut aussi révéler des incohérences dans la gestion de projets.
L’arbre d’objectifs rend possible la définition de l’utilité sociale de la structure et la mesure des conditions de production de cette utilité (réalisations concrètes et résultats).
Les 3 moments de l’évaluation d’un projet
1 – l’évaluation du projet
Un projet doit être pertinent, c’est-à-dire correspondre aux besoins et attentes des bénéficiaires sur le territoire concerné.
Il doit définir des objectifs à atteindre conformes aux besoins. Il faut également questionner la faisabilité du projet eu égard à son évaluation et à son intégration dans le contexte particulier (cohérence).
2 – l’amélioration continue
Parallèlement à la réalisation de l’action, la démarche d’évaluation va permettre de mesurer les résultats de l’action compte tenu de 2 critères : une action efficiente (des moyens mis en œuvre proportionnés au coût) et une action effective en rapport avec le projet initial.
3 – l’évaluation des résultats de l’action a pour finalité de mesurer les effets, résultats et impacts obtenus à la lecture des résultats escomptés au démarrage du projet.
En ce sens, l’action aura dû être efficace. On sera amené à en analyser également les écarts éventuels.
L’action aura permis aussi de vérifier si elle est utile en termes de réponse aux attentes des bénéficiaires.L’évaluation à ce stade conduira éventuellement à réajuster les interventions.
Voir aussi l’article sur la roue de Deming.
Développer
l’évaluation participative des bénéficiaires d’une action
De nombreuses
formes d’évaluation des actions existent.
Les plus
anciennes, de forme managériale, s’apparentent plutôt à des contrôles. Ces
évaluations sont produites par l’équipe-projet, voire par le gestionnaire, qui
a mené l’action, sur demande des autorités publiques.
Puis on connaît
l’évaluation coproduite. Les travaux dans ce cas réunissent les autorités de
tutelle et l’opérateur. L’évaluation peut être pluraliste et associer un plus
grand nombre de participants, mais limitée à la collecte de données.
Les
bénéficiaires peuvent être associés selon différents degrés : enquêtes de
satisfaction, consultation, concertation...
Les derniers
types d’évaluation relèvent d’une forme plus participative.
La
participation en évaluation* va dépendre de 2 facteurs déterminants de la
dimension, l’envergure de l’évaluation :
- de la
plus ou moins grande diversité des acteurs impliqués dans le processus
d’évaluation : commanditaire, opérateur, partenaires, bénéficiaires
directs et indirects, citoyens...
- de
l’envergure de l’implication de ces acteurs dans les étapes de la démarche
d’évaluation : détermination du projet d’évaluation, validation de son
cahier des charges, conduite et pilotage du déploiement de l’évaluation,
analyse des informations probantes collectées, formulation des préconisations
induites.
La méthode qui
va combiner ces 2 facteurs : à la fois une grande diversité des acteurs
concernés dans toutes les phases de l’évaluation va permettre une participation
des bénéficiaires d’une politique, d’une action.
Cette
évaluation participative répond à certaines conditions.
- Elle ne
peut se concrétiser que grâce à une forte motivation des autorités publiques à
donner la parole aux personnes les plus vulnérables.
- Cependant,
l’évaluation participative ne se décrète pas. Elle ne peut se concevoir qu’en
outillant la parole des personnes démunies au préalable et en les formant à
l’analyse.
- Les
résultats d’une action ne peuvent être probants que dans le cadre du contexte
très précis où elle a été menée avec la prise en compte de tous les points de
vue exprimés afin de construire le jugement de valeur.
Les avantages
de cette façon de procéder sont réels :
- la
matière de l’évaluation va être démultipliée
- elle va
conduire à favoriser de nouvelles compétences expérientielles des publics
défavorisés
- dernier
avantage induit de cette évaluation participative : elle va permettre aux
bénéficiaires de développer la perception de leur capacité à agir pour la
résolution de leurs problèmes.
Les limites à
cette forme d’évaluation sont notamment relatives :
- à son
coût plus élevé
- au temps
nécessaire pour la mener à bien
- à une
participation qui pourrait s’apparenter à une supercherie si l’expression des
personnes démunies n’était finalement pas prise ne compte ou trop
superficiellement.
La mise en
œuvre d’une procédure d’évaluation participative doit donc se faire avec
pondération, par étape et s’inscrire dans le temps.
* voir les travaux de G. Baron et E. Monnier
Evaluation numérique ou participative et globale ?
Evaluation numérique ou participative et globale ?
J’ai lu avec intérêt la rubrique « vos idées » des ASH* et les propos indignés de Patrick CHAILONICK, chef de service éducatif dans un I.M.E., sur « l’évaluation numérique » de l’accompagnement des professionnels.
On souscrit à son indignation lorsque des « évaluateurs zélés avaient substitué une injonction plus pressante qui revenait dans leurs propos » indique l’auteur de la chronique : « Donnez-nous des grilles d’évaluation ».
On comprend que cette expérience ait été mal vécue par les professionnels de l’établissement comme une remise en cause de leurs compétences face à leur incapacité supposée à fournir des références chiffrées de leur activité.
Il s’agit d’une confusion entretenue au sujet des évaluateurs et de leurs évaluations.
Il est vrai que la loi du 2 janvier 2002 a mis en place l’évaluation interne et externe « des activités et de la qualité des prestations délivrées par les établissements sociaux et médico-sociaux ».
De là, à faire un raccourci et calquer une démarche qualité sur la posture d’évaluation, il n’y a qu’un pas mais en réalité, un fossé.
En effet, comme je l’écris dans toutes mes propositions d’évaluation externe, celle-ci n’est pas un contrôle de conformité, une démarche qualité. « Les démarches qualités représentent un apprentissage évaluatif utile mais lacunaire » écrit Pierre SAVIGNAT. Elles portent sur les processus d’organisation, de fonctionnement, de management.
L’évaluation externe se distingue aussi de l’audit, de la certification, de l’expertise... Elle ne peut être menée à partir d’un référentiel extérieur même adapté.
L’évaluation externe n’est pas non plus une évaluation extérieure, même si elle permet d’apporter « un regard nouveau » sur l’institution car, elle se situe au plus près des pratiques quotidiennes de l’établissement.
L’évaluation externe ne va pas uniquement apprécier des écarts et mesurer des résultats à des normes établies. Elle s’oppose en cela aux logiques normatives et prescriptives.
Il ne peut pas plus exister de « méthode prête à l’emploi », d’outils standardisés, de catalogue d’items à balayer.
Les logiciels automatisés rendent compte d’une vison formaliste avec une logique normative, à travers la cotation comme outil structurant qui se bornent à vérifier l’effectivité et la conformité.
Le référentiel ou « cadre de référence spécifique de l’évaluation » comme le nomme le décret du 15 mai 2007 ne peut être un outil standart.
Il est construit collectivement, adapté à chaque projet particulier, permettant d’afficher la réalité complexe de l’établissement évalué.
Le référentiel :
- Est une construction particulière dont les références et les critères seront discutés en amont du processus évaluatif en fonction des éléments propres à l’évaluation de l’établissement.
- combine les différentes références mobilisées propres à l’établissement concerné.
- regroupe des références externes et internes, formalisées par un écrit et exprimées à travers le processus de questionnement.
- est évolutif et peut être réajusté.
L’évaluation, quant à elle, va amener à porter une appréciation globale qui va nécessiter la mobilisation d’autres méthodes.
Le rôle et la place de l’institution et de toutes ses parties prenantes, dans le processus évaluatif est primordial.
Pour Eric. MONNIER, l’évaluation [ quelle que soit sa forme ] « porte sur des actions, des terrains et des variables choisis par les acteurs sociaux (et non par l’analyste), à partir de leurs hypothèses opérationnelles (leur théorie de l’action) ».
Elle va aussi mobiliser des données qualitatives (points de vue des acteurs, professionnels et usagers).
Il s’agit également d’une approche dynamique, et qui vise à favoriser les apprentissages et l’appropriation par les parties prenantes.
L’évaluateur, n’est pas un expert. Il se situera dans un rôle d’aide, d’apport méthodologique, de transfert de compétences. Les experts de la relation interpersonnelle avec les bénéficiaires, matière principale de l’évaluation, ce sont les professionnels.
La démarche d’évaluation externe se doit donc d’être :
- Participative, associant toutes les parties prenantes. La relation interactive entre les professionnels et les bénéficiaires est essentielle. La démarche ira au-delà d’un simple recueil d’avis et de points de vue pour les mobiliser sur l’ensemble du processus évaluatif.
- Intégrée, et spécifique, adaptée aux prestations fournies dans le contexte de la structure.
- Globale et systémique, situant l’action dans le contexte et l’environnement institutionnel de l’établissement.
- Globale et systémique, situant l’action dans le contexte et l’environnement institutionnel de l’établissement.
Il s’agit encore d’adapter les démarches d’évaluation en valorisant la place des acteurs professionnels dans leurs pratiques quotidiennes autour de la relation personnalisée, singulière qu’ils établissent avec les bénéficiaires.
La place centrale de l’usager ou bénéficiaire fonde le processus d’évaluation.
Non pas comme un usager-client capable de définir ses besoins et de résoudre ses problèmes, en consommateur averti, posture intimée comme une obligation procédurale.
Mais en reconnaissant ses compétences, ses capabilités, en prenant en compte ses connaissances expérientielles et en développant sa capacité à agir, à faire ses propres choix.
Cette posture est un long chemin, balisé d’étapes, semé d’embûches, de ruptures de parcours, d’échecs autorisés puisque l’essai pourra être transformé... Le professionnel-collaborateur va cheminer avec le bénéficiaire. Ce chemin, ces étapes, les professionnels peuvent en rendre compte, les comptabiliser et ainsi satisfaire aux pressions des évaluateurs fétichistes du numérique.
* ASH 1er février 2013 p 36
