Définir la démarche d’évaluation continue d’une association

Se doter d’un langage et d’un cadre communs

1 - Commencer par se redire l’horizon collectif

C’est la réponse à la question qu’on ne devrait jamais perdre de vue : « Pourquoi, et pour qui agissons-nous ? ».

Cela relève généralement de la gouvernance que de vérifier régulièrement la pertinence et la permanence du projet associatif. À quels besoins sociaux l’association souhaite-t-elle répondre ? Ont-ils évolué récemment ? Quels changements souhaitons-nous produire ? À quelle échelle géographique ? Combien de temps donnons-nous pour cela ?

2 - Décliner cet horizon de transformation en objectifs stratégiques

C’est une traduction opérationnelle de l’horizon collectif. C’est la réponse à la question « Concrètement, on aura réussi si quoi ? ». Les objectifs stratégiques peuvent être différents selon les cibles : habitants, territoire, acteurs qui les animent... Cette lecture des objectifs stratégiques par type de cible permet d’organiser l’information qui sera collectée ensuite. Elle permettra également de mettre en évidence la diversité des parties-prenantes du projet, et de l’apport de chacune.

3 - Se pencher sur les réalisations

C’est-à-dire, ce qui est mis en œuvre pour atteindre les objectifs stratégiques. On peut également parler d’actions, une stratégie étant la combinaison des actions permettant d’atteindre l’objectif. C’est la réponse à la question : « Qu’allons-nous faire ? ». Une fois encore, on peut raisonner par type de cibles. Pour les habitants, quelles sont les actions prévues, pour le territoire, etc.

4 - Identifier les ressources

C’est-à-dire l’ensemble des moyens mobilisés pour mener à bien les actions. Il peut s’agir de moyens humains, matériels, financiers, ou de ressources immatérielles, comme des compétences, des connaissances, une influence.

Pour une image fidèle de l’ensemble des ressources, ne pas oublier celles que mobilisent les parties-prenantes externes, qui concourent à l’atteinte des objectifs.

5 - Travailler sur les résultats

Ce que produisent les actions, c’est-à-dire les effets directement imputables à l’association. C’est la réponse à la question : « Qu’est-ce que cela change pour nos cibles ? ».

6 - S’intéresser aux impacts si les moyens dédiés à l’évaluation le permettent

Ce sont les effets indirects, positifs ou négatifs, auxquels contribue l’association.

C’est la réponse à la question de départ : « À quels changements de société contribuons-nous ? ».

Notons que la mesure des impacts au sens strict implique des compétences et un travail conséquent, et une approche nécessairement inscrite dans la durée, car les changements ne sont pas immédiatement perceptibles.

Consultez notre page conseil sur la mesure d’impact social !

Une fois ces informations posées, il est une étape absolument déterminante.

7 - Problématiser la démarche d’évaluation

Une évaluation est comme une enquête : il s’agit de se doter de questions de recherche&nbps;– ou questions évaluatives. Autrement dit, « Que veut-on faire dire à notre évaluation ? »

La question évaluative permet de délimiter et problématiser la démarche.

Est-ce qu’on veut montrer qu’on a répondu à un besoin ? Mieux piloter l’action et les ressources ? Se comparer à d’autres ?

Ou montrer que l’ambition et les moyens ne sont pas alignés ? Se mettre d’accord sur le sens de la démarche d’évaluation est essentiel.

Cela conditionne le choix des indicateurs qui vont ensuite être collectés au fil de l’eau.

Pour cela, il convient de se mettre d’accord sur les critères de jugement.

Ce sont les lunettes avec lesquelles on va conduire la démarche d’évaluation.

Il existe différents critères pour formuler une question évaluative :

• Pertinence : on va juger la qualité des actions engagées par rapport aux besoins ; ex : « Dans quelle mesure notre action répond-elle à un besoin peu ou mal couvert ? ».
• Cohérence : on va juger la qualité des moyens engagés par rapport aux objectifs ; ex : « Les actions et les ressources engagées sont-elles suffisantes ou surdimensionnées pour atteindre nos objectifs ? ».
• Efficacité : on va juger la qualité des résultats obtenus par rapport aux objectifs ; ex : « Dans quelle mesure les objectifs ont-ils été atteints ? ».
• Efficience : on va juger la qualité des résultats obtenus par rapport aux moyens engagés ; ex : « Quels sont les freins et les leviers permettant à l’association d’atteindre les objectifs ? ».
• Performance : on va juger la qualité des résultats obtenus par rapport à d’autres acteurs, ou par rapport au passé ; ex : « Dans quelle mesure notre association permet-elle de mieux répondre aux besoins qu’avant ? ».
• Impacts : on va observer les effets indirects, positifs ou négatifs, auxquels les actions engagées contribuent ; ex : « Dans quelle mesure notre coopération a-t-elle contribué à améliorer la situation des associations, des personnes qu’elles touchent ou qui les animent, et de leurs partenaires au service de l’intérêt général ? ».

8 - Raisonner sur les indicateurs

À partir de là et seulement à partir de là, on pourra raisonner sur les indicateurs.

Ce sont les informations, qualitatives ou quantitatives, qui vont permettre de répondre à la question évaluative.

Ces données doivent être parlantes et leur collecte faisable, en tenant compte des délais impartis et des moyens alloués. Selon la question évaluative, certains indicateurs vont être privilégiés.

Il existe différents types d’indicateurs :

• Indicateurs de réalisation : ce sont les données sur les actions conduites ou projetées pour atteindre nos objectifs.
• Indicateurs de moyens : ce sont les données sur les ressources mobilisées pour mener à bien les actions.
• Indicateurs de résultat : ce sont les données sur les effets directement imputables aux actions conduites pour atteindre nos objectifs.
• Indicateurs d’impact : ce sont les données sur les effets indirects, ou changements auxquels les actions conduites contribuent.

Un fois le cadre commun compris et accepté par tous, il va s’agir de s’organiser pour conduire l’évaluation en continu. Cela implique de se doter d’un dispositif d’évaluation au fil de l’eau.

Se doter d’un dispositif d’évaluation au fil de l’eau

Pour qu’elle soit utile et parlante, une évaluation doit être inscrite dans la durée.

• Cela implique de se demander qui impliquer pour piloter la démarche d’évaluation.
• Cela demande d’expliquer le sens de la démarche d’évaluation, de parfois lever les résistances, d’accompagner les personnes, y compris sur l’utilisation des outils numériques le cas échéant. En cas de turn-over, une attention particulière doit être portée à la transmission.

L’enjeu humain va être de réunir les conditions d’une évaluation en continu, comprise non comme une tâche supplémentaire, mais intégrée à l’activité de l’association, et des personnes qui les déploient. Pour cela, des outils communs étant proposés, il n’est pas nécessaire d’être un expert de l’évaluation.

En revanche, cela demande de l’intérêt et de la constance, afin de remonter les données aux moments-clefs. Plus les personnes seront informées qu’une démarche d’évaluation en continu existe, mieux elles joueront le jeu au moment de répondre à vos questions. Ne pas oublier parmi les acteurs à impliquer, les premiers concernés. Ils ont évidemment un rôle à jouer.

• Le dispositif d’évaluation repose aussi sur la feuille de route, qui inscrit la démarche d’évaluation dans le temps. Elle prévoit notamment les différents temps forts dans la mise en œuvre du dispositif d’évaluation : la collecte en continu et les rendez-vous annuels, l’analyse, la capitalisation, les éventuelles réorientations stratégiques. Plus la répartition des rôles sera claire, moins le risque de passer à côté d’informations essentielles est grand.
• Enfin, le dispositif ne serait pas complet sans les instruments de collecte.
  Pour résumer, il s’agit de cartographier quelles données sont collectées, auprès de qui, à quelle fréquence et avec quels outils (questionnaire en ligne, groupe de parole, entretien individuels, feuille de présence...) ?

Le piège de toute démarche d’évaluation est de collecter des informations dont on ne fait rien, de faire perdre du temps aux personnes interrogées, et de se noyer dans la donnée. Si les questions évaluatives sont précises, le risque de collecter des données qui ne seront pas analysées est réduit.

Réfléchir à la capitalisation

Parent pauvre des démarches d’évaluation, la capitalisation est pourtant... capitale !

C’est le dénouement, le moment où l’on va enfin répondre à notre question évaluative.

A-t-on atteint nos objectifs stratégiques ? Partiellement ou totalement ? Quels ont été les leviers&nbps;- et les freins, qui nous ont permis&nbps;– ou non, de les atteindre, voire de les dépasser ?

C’est le moment réflexif, où l’on se demande, si c’était à refaire, ce qu’on pourrait améliorer, inventer, ou arrêter pour atteindre nos objectifs stratégiques. C’est aussi le moment on l’on peut tirer des enseignements à caractère méthodologique, pour faciliter l’essaimage du projet associatif.

• agréger les données remontées ;
• les traiter (parfois il faut vérifier les incohérences, recoder certaines réponses) et les analyser (les faire parler : croiser certaines informations, trier...) ;
• en tirer les enseignements évaluatifs : que les objectifs stratégiques soient atteints ou non, quelles leçons pouvons-nous en tirer ? Que devons-nous modifier ? ;
• diffuser les résultats : afin de valoriser et donner du souffle à l’engagement de chacun, il est important de restituer les résultats, de célébrer les « petites victoires ». S’il n’est pas pertinent de les rendre publics, nous conseillons, a minima, de les partager avec les personnes qui se sont impliquées dans la démarche d’évaluation !

Nota bene : une démarche d’évaluation est toujours perfectible, il est important aussi de garder un peu de recul et d’énergie pour améliorer la méthode d’évaluation elle-même !

En quoi Associathèque va vous aider à évaluer et mesurer vos impacts :

• E-book Comprendre la mesure d’impact social des associations