Évaluation, étude d’impact, capitalisation : faut-il vraiment choisir ?

Dans les projets associatifs et de solidarité internationale, on entend souvent parler d’évaluation, d’étude d’impact ou encore

Dans les projets associatifs et de solidarité internationale, on entend souvent parler d’évaluation, d’étude d’impact ou encore de capitalisation. Trois démarches différentes, trois objectifs… mais dans la réalité, les frontières sont souvent beaucoup moins nettes.

Et c’est plutôt une bonne chose.

Sur le terrain, on ne regarde pas toujours un projet avec une seule paire de lunettes. On cherche à comprendre ce qui était prévu, ce qui a réellement produit des résultats, ce qui a changé, et ce que l’on peut apprendre du chemin parcouru.

C’est cette idée que j’ai voulu représenter dans cette infographie : un même projet, un même chemin, mais plusieurs manières de le regarder.

Évaluer : est-ce que nous avons atteint nos objectifs ?

L’évaluation porte d’abord sur la relation entre ce que l’on voulait faire et ce que l’on a effectivement réalisé.

On revient aux objectifs, aux résultats attendus, aux activités mises en œuvre, mais aussi aux écarts, aux réussites et aux difficultés.

Une question simple peut résumer la démarche :

Est-ce que les résultats observés correspondent aux objectifs que nous nous étions fixés ?

Mais une évaluation sérieuse ne consiste évidemment pas seulement à cocher des cases « atteint / non atteint ».

Elle cherche aussi à comprendre pourquoi les résultats sont là, ou pourquoi ils ne le sont pas. Elle permet d’interroger la pertinence des choix, le fonctionnement du projet, les facteurs qui ont favorisé ou freiné sa mise en œuvre.

C’est notamment le type de regard que je mobilise actuellement dans le cadre de l’évaluation externe du RAEMH – Réseau Afrique Europe pour les Mobilités Humaines. L’enjeu est d’analyser les résultats obtenus, le fonctionnement du réseau, ses forces et ses limites, mais aussi de mettre ces constats en dialogue avec les membres du réseau pour préparer la suite.

L’évaluation devient alors autant un outil d’analyse qu’un outil de dialogue.

Mesurer l’impact : qu’est-ce qui a réellement changé ?

L’étude d’impact déplace le regard.

On ne s’arrête plus seulement aux résultats directement produits par le projet. On cherche à comprendre les changements auxquels il a contribué, parfois plusieurs années après.

La question devient :

Quels effets et quels changements durables sont liés au projet ?

Et là, les choses deviennent plus complexes.

Un projet peut avoir atteint ses objectifs sans produire les changements espérés. À l’inverse, il peut avoir généré des effets qui n’étaient pas prévus au départ.

L’impact peut être positif ou négatif, attendu ou inattendu, direct ou indirect.

Il faut donc sortir d’une lecture strictement linéaire : « nous avons réalisé telle activité, donc nous avons produit tel changement ».

Dans les projets complexes, particulièrement dans le champ associatif et dans la solidarité internationale, les changements sont rarement attribuables à un seul projet. Ils résultent souvent d’une combinaison de facteurs, d’acteurs, de contextes et d’initiatives.

L’étude d’impact consiste alors aussi à remettre le projet dans son environnement et dans le temps long.

Capitaliser : qu’est-ce que le projet nous a appris ?

La capitalisation regarde encore ailleurs.

Elle ne cherche pas uniquement à savoir si les objectifs ont été atteints, ni à mesurer les changements à long terme.

Elle s’intéresse au chemin parcouru.

Qu’est-ce qui s’est passé ? Quelles décisions ont été prises ?Quels choix ont été déterminants ? À quels moments le projet a-t-il bifurqué ?Qu’est-ce qui a fonctionné ?Qu’est-ce qui a moins bien fonctionné ?Et surtout : qu’est-ce que nous pouvons réutiliser de cette expérience ?

La capitalisation permet de transformer l’expérience en connaissances utiles pour l’action.

C’est particulièrement intéressant lorsque les projets comportent des expérimentations, des adaptations ou des moments de changement importants.

Dans les travaux que je mène actuellement avec Electriciens sans Frontières, par exemple, la capitalisation permet de revenir sur les expériences de projets pour identifier des pratiques, des choix, des difficultés, des leviers et des apprentissages. Le but n’est pas simplement de raconter ce qui s’est passé, mais de faire émerger ce qui peut être partagé et réinvesti dans d’autres projets.

Et dans la réalité, les trois se mélangent

C’est probablement le point le plus important.

Dans les projets associatifs, il est rare que l’on puisse cloisonner parfaitement les démarches.

Une évaluation va souvent regarder les effets produits.

Une étude d’impact va nécessairement revenir aux objectifs et aux résultats.

Une capitalisation va s’appuyer sur les résultats obtenus, mais aussi sur les changements observés.

Car derrière ces différents termes, on retrouve souvent trois grandes interrogations :

Avons-nous fait ce que nous avions prévu ?→ Évaluation

Qu’est-ce que cela a changé ?→ Étude d’impact

Qu’avons-nous appris en chemin ?→ Capitalisation

Mais dans la pratique, on peut avoir besoin des trois en même temps.

Regarder les résultats, les impacts… et le chemin

C’est finalement ce qui m’intéresse dans ces démarches : ne pas réduire un projet à ses indicateurs.

Les chiffres et les résultats sont importants. Les changements produits le sont tout autant. Mais le chemin qui a conduit à ces résultats raconte lui aussi quelque chose d’essentiel.

Un projet évolue. Les acteurs changent. Le contexte se transforme. Certaines hypothèses se vérifient, d’autres non. Des opportunités apparaissent. Des difficultés obligent à revoir les plans. Des décisions prises à un moment donné peuvent avoir des conséquences plusieurs années plus tard.

Regarder ce chemin permet de mieux comprendre ce qui a fait la différence.

Et surtout, cela permet de ne pas considérer l’étude comme un exercice de contrôle réalisé à la fin du projet.

Une démarche d’évaluation, d’impact ou de capitalisation peut devenir un espace collectif pour comprendre, questionner et apprendre.

C’est cette approche que je cherche à développer dans mes missions : des démarches rigoureuses sur le fond, mais accessibles, participatives et utiles aux équipes qui portent les projets.

Parce qu’au fond, la question n’est peut-être pas seulement :

« Est-ce que le projet a marché ? »

Mais plutôt :

« Qu’est-ce que le projet a produit, qu’est-ce qu’il a changé, et qu’est-ce que nous pouvons apprendre du chemin parcouru ? »

Chez Co’Oz, je peux intervenir sur chacune de ces démarches, mais aussi construire des dispositifs qui les articulent lorsque c’est plus pertinent pour le projet.