Support 1 Cours de Suivi Et Evaluation [PDF]

Zitiervorschau

SUPPORT DE LA SEANCE 1 DU COURS DE SUIVI ET EVALUATION DES PROGRAMMES DE SANTE Chargé du cours Dr Guillaume KOUASSI, Economiste, Enseignant-chercheur UAO Description du cours Les compétences de suivi et d'évaluation sont des outils essentiels pour travailler dans un environnement de développement dynamique. Ils aident à la prise de décision et permettent d'améliorer l'impact du projet en maximisant les apprentissages disponibles. Ce cours est destiné aux cadres supérieurs qui participent activement à la planification, à la gestion et à l'évaluation des réformes du secteur de la santé dans les pays en développement. Ces cadres supérieurs travaillent soit au sein des ministères de la santé, soit auprès d'ambassades, d'organisations internationales ou d'ONG qui développent des partenariats avec les ministères de la santé. Contexte du cours Le suivi-évaluation est un système d'information et un outil d'aide à la décision constitué d'acteurs, de données dont la production, l'organisation et la circulation sont régies par des procédures, et qui s'inscrit dans le processus de gestion des projets et programmes. Il aide à la gestion axée sur les résultats et doit toujours porter sur ce qui est planifié, pour que les jugements soient plus objectifs et réalistes. Le suivi évaluation est une discipline récente qui gagne de plus en plus en importance dans la gestion des projets et programmes (Neu, 2001). Le suivi évaluation est devenu au fil du temps une des préoccupations majeures des organisations. Son importance s'est accrue au fil du temps, on s'est rendu compte qu'il pouvait être un outil de progrès non seulement pour le projet en cours de réalisation, mais aussi pour ceux à réaliser dans l'avenir. C'est ainsi que dans la majorité des organisations, les chercheurs ce sont attelés à identifier les méthodes et outils qui pouvaient permettre au suivi évaluation du projet de contribuer efficacement à l'atteinte des résultats. 1. Définition : Qu'est-ce que le suivi et l'évaluation d'un projet ? Le suivi est le processus systématique du recueil, de l’analyse et de l’utilisation d’information visant à déterminer en continu les progrès d’un programme en vue de la réalisation de ses objectifs et à guider les décisions relatives à sa gestion. Il porte généralement sur les processus, notamment sur le moment et le lieu où se déroulent les activités, les auteurs des activités et le nombre de gens ou d’entités atteints par celles-ci. 1

Le suivi est entrepris une fois que le programme a démarré et se poursuit tout au long de la période d’exécution du programme. Il est parfois dénommé « évaluation du processus », évaluation des performances » ou « évaluation formative ». L’évaluation est l’appréciation systématique d’une activité, d’un projet, d’un programme, d’une stratégie, d’une politique, d’un sujet, d’un thème, d’un secteur, d’un domaine opérationnel ou des performances d’une institution. Elle porte sur les accomplissements escomptés et réalisés et examine la chaîne des résultats (intrants, activités, extrants, effets et impacts), les processus, les facteurs contextuels et les rapports de cause à effet afin de comprendre les accomplissements ou le manque d’accomplissements. L’évaluation vise à déterminer la pertinence, l’impact, l’efficacité, l’efficience et la durabilité des interventions et les contributions de l’intervention aux résultats obtenus. L’évaluation doit fournir des informations factuelles qui soient crédibles, fiables et utiles. Les constats, recommandations et enseignements d’une évaluation doivent être utilisés pour informer les processus décisionnels subséquents concernant le programme considéré. Le suivi et évaluation des initiatives relatives à la lutte contre violence à l’égard des femmes et des filles se situent à plusieurs niveaux distincts, selon les buts et les objectifs du programme et la portée des activités et des stratégies conçues ou exécutées. 2. Pourquoi le Suivi et Evaluation du programme sont importants ? Le suivi et évaluation fournit les données nécessaires pour guider la planification stratégique, pour concevoir et exécuter les programmes et les projets, et pour mieux allouer et réallouer les ressources.  Pourquoi faire du suivi-évaluation ? Pour améliorer le pilotage et l’efficacité des projets : 

Prendre des décisions suite à des difficultés rencontrées



Mettre en œuvre de nouvelles activités pour être sûr d’atteindre les objectifs



Revoir certains objectifs trop ambitieux à la baisse



Faciliter la prise de décisions multi-acteurs sur des bases objectives

Pour avoir une compréhension du projet partagée par tous les acteurs : 

Se pencher sur le contenu d’un projet et le concrétiser via les activités de celuici



Amener les parties prenantes à parler le même langage, tant sur les objectifs visés par le projet que sur ce à quoi il aboutit réellement 2



Il permet de partager et d’analyse de concert les réussites et les échecs

Pour rendre compte et communiquer : 

Le suivi permet de communiquer auprès des partenaires et de rendre compte de façon objective de l’état d’avancement du projet et des résultats obtenus



Il permet de négocier avec les partenaires d’une évolution des objectifs

Pour capitaliser et apprendre. Le suivi permet de tirer des enseignements, à la fois en termes : 

De gestion de projet (ex. : il peut permettre ultérieurement de dimensionner un projet de façon plus réaliste)



Et de connaissance sur le secteur d’intervention (ex. : mieux connaître un portefeuille de projets ; agréger des données…).

Concevoir et mettre en œuvre un dispositif de suivi Pour pouvoir être correctement intégré au montage du projet, le dispositif doit être : 

Léger : il ne doit pas exiger trop de temps ou d’investissement (financier ou humain)



Concerté : il doit être conduit avec la participation de tous



Ciblé : il s’agira de choisir très clairement les informations qu’il faut connaitre et suivre et de déterminer les indicateurs significatifs dont le nombre sera volontairement limité.

3. Comment assurer le suivi d'un projet ? Le suivi est le processus systématique du recueil, de l’analyse et de l’utilisation d’information visant à déterminer en continu les progrès d’un programme en vue de la réalisation de ses objectifs et à guider les décisions relatives à sa gestion. Il porte généralement sur les processus, notamment sur le moment et le lieu où se déroulent les activités, les auteurs des activités et le nombre de gens ou d’entités atteints par celles-ci. Le suivi est entrepris une fois que le programme a démarré et se poursuit tout au long de la période d’exécution du programme. Il est parfois dénommé « évaluation du processus », évaluation des performances » ou « évaluation formative ». Dans tous les domaines de l'activité humaine, le suivi s'impose au quotidien plus particulièrement au sein de l'organisation. Il ne suffit pas de monter et exécuter un projet ou encore de prendre une décision pour être sûr du résultat escompté. Pour mieux comprendre la notion de suivi en management, plusieurs auteurs ont essayé de lui donner une définition. La Banque mondiale (2008) définit le suivi comme étant un processus continu de collecte et 3

d'analyse d'informations, pour apprécier comment un projet est mis en œuvre, en comparant les résultats obtenus aux performances attendues. Pour Verrière (2002), « le suivi est une activité continue de collecte et de traitement d'informations. Il s'agit d'un processus interne à l'exécution d'une action. Le suivi est une démarche de gestion et de connaissance approfondie, évolutive et critique de l'action en cours de réalisation ». Pour le Pnud (2008), « le suivi est un processus itératif de collecte et d'analyse d'informations pour mesurer les progrès d'un projet au regard des résultats attendus. Il fournit donc aux gestionnaires un retour d'informations régulier qui peut aider à déterminer si l'avancement du projet est conforme à la programmation ». Ces trois définitions insistent sur la collecte, le traitement et l'analyse de l'information par le système de suivi mais, ne disent rien sur l'utilisation de cette information dans la prise de décision, ainsi que sa contribution à l'amélioration du management du projet en cours de réalisation ou des projets à venir. La définition de Casley et Kumar (1987) assimile le suivi à une estimation continue du fonctionnement des éléments du projet dans le contexte de calendriers d'exécution et de l'emploi des apports par les populations visées en fonction des prévisions établies au moment de la conception. C'est une activité interne du projet, un élément essentiel d'une bonne gestion qui, par conséquent, fait partie intégrante de la gestion quotidienne. Cette définition traduit avec une plus grande clarté notre conception du suivi car elle le met au cœur de l'activité du projet, avec une dynamique qui inclut la prise en compte des populations visées.

Étapes de la conception et de la mise en œuvre d’un dispositif de suivi Concevoir un dispositif de suivi : 4

Étape 1 : Identifier à qui servira le suivi et sur quoi il portera A quoi servira le suivi ?

Étape 2 : Définir les indicateurs de mesure du suivi  Qu’est-ce qu’un indicateur ? 5

Un indicateur est une information caractérisant la « performance » d’une action. Il donne une valeur (qualitative ou quantitative) permettant d’apprécier la « performance » en fonction d’un critère de jugement. Un indicateur de suivi renverra fréquemment à des échelles de progression, permettant d’apprécier la performance tout au long de la mise en œuvre du projet. Exemple : le taux de couverture du service d’eau potable sera d’au moins 35 % de la population la 1re année, 60 % la 2e année et 95 % à la fin de la 3e année. Il peut aussi s’agir d’une valeur unique, valable à un moment donné. Exemple : l’ouvrage réalisé a-t-il été réceptionné par les services techniques de la commune ? (Oui/non) Enfin, un indicateur peut être quantitatif (c’est-à-dire chiffré : un nombre, un pourcentage) ou qualitatif (c’est alors une appréciation du type : oui/non, un peu/beaucoup/pas du tout, etc.).  Pour chaque résultat intermédiaire, définir un ou plusieurs indicateurs Dans la mesure du possible, un indicateur quantitatif doit permettre de répondre à plusieurs questions : 

Quantité : combien ?



Qualité : quoi ?



Groupe cible : qui ?



Localisation : où ?



Période : à partir de quand et en combien de temps ?

Un indicateur qualitatif doit donner des échelles de valeur aussi objectives que possible. Ceci implique de caractériser les différentes réponses possibles. Par exemple, pour mesurer la capacité de gestion du comité de gestion d’une coopérative : 

« Bonnes capacités de gestion » = sortie d’un compte d’exploitation ;



« Capacités de gestion moyennes » = tenue d’un cahier de caisse, mais rien de plus ;



« Capacités de gestion insuffisantes » = pas de cahier du tout.

 Vérifier si la liste d’indicateurs ainsi obtenue est réaliste La tentation récurrente est de définir un grand nombre d’indicateurs, avec l’espoir de tout maîtriser. 6

Cela n’est pas réaliste : on n’aura pas les moyens de les suivre tous (penser au recueil de données, puis à leur traitement…). Il faut donc savoir se contenter d’un nombre limité d’indicateurs, portant sur les points qu’il semble essentiel de suivre. Tout dépend des moyens de chaque projet et du type d’indicateurs, mais dans bien des cas, une douzaine d’indicateurs constituera un maximum à ne pas dépasser. Le cas échéant, il convient de revoir ses ambitions à la baisse en réduisant le nombre de questions de suivi précédemment définies.  Préciser les caractéristiques de chaque indicateur retenu Les caractéristiques de chaque indicateur doivent ensuite être précisées : définition précise, valeurs ciblées, modalités de mesure, etc.

Étape 3 : Déterminer les activités complémentaires potentiellement nécessaires Les indicateurs retenus sont-ils suffisants pour permettre de guider le pilotage du projet ? N’y a-t-il pas lieu de compléter les informations fournies par ces indicateurs ?

7

Dans un certain nombre de cas, on sera amené à prévoir des activités complémentaires, pour affiner l’analyse. Il pourra s’agir : 

D’une évaluation à mi-parcours (évaluation externe, a priori),



D’une enquête de satisfaction (ex. : pour apprécier la satisfaction des usagers d’un service à l’échelle d’un quartier à un instant donné),



D’une étude de cas sur un sujet spécifique (ex. : pour documenter et aider à mieux comprendre les tenants et aboutissants liés au foncier dans un village),



De réunions de réflexion collective (type « focus group »)…

Là encore, il convient d’être réaliste quant aux moyens nécessaires pour mener ces activités, et d’opérer un arbitrage entre leur intérêt (vis-à-vis des objectifs du dispositif de suiviévaluation et de ceux du projet) et leur coût : le jeu en vaut-il la chandelle ? Étape 4 : Organiser le dispositif de suivi-évaluation  Préciser le calendrier Le dispositif de suivi doit aider à la prise de décision dans le cadre du pilotage du projet. Aussi, il convient de faire coïncider le calendrier du suivi avec celui du pilotage du projet. Par exemple, si le pilotage est organisé autour d’un comité de pilotage Nord/Sud annuel, il faut que les données issues du suivi soient disponibles à temps pour ce comité de pilotage. Quand faut-il recueillir les données et quand faut-il les analyser ? Le plus simple est de raisonner de façon rétrospective (« rétro-planning »), en partant de la date à laquelle les données analysées seront utilisées. Parfois, il peut être utile de réaliser un chronogramme des activités de suivi. Ce pourra notamment être le cas lorsque le dispositif inclut autre chose que des indicateurs (enquêtes, évaluation à mi-parcours, …), ou lorsque le recueil de données lié à certains indicateurs exige du temps. Ceci permet alors de mieux visualiser le chevauchement d’activités à mener et leur étalement dans le temps.

 Identifier les personnes à responsabiliser Il importe de bien identifier : 

Les personnes qui seront en charge de recueillir les données, 8



Celles qui seront en charge d’analyser les données recueillies,



Puis celles qui les transmettront aux décideurs.

Dans le cas où des activités complémentaires ont été prévues (évaluations à mi-parcours, enquêtes…), qui élaborera les termes de référence ? Qui pilotera l’activité ?  Estimer le cout du dispositif et sa faisabilité Bien des dispositifs de suivi ont échoué car ils étaient trop coûteux, notamment en temps de travail. Il convient donc d’estimer le coût que représentera la mise en œuvre du dispositif, en particulier le recueil des données, mais aussi leur analyse. À noter que la conception même du dispositif, nécessite un investissement humain à ne pas négliger.

 Étapes de la conception et de la mise en œuvre d’un dispositif de suivi Mettre en œuvre un dispositif de suivi : Étape 1 : Recueillir les données L’idée

est

recueillies,

d’avoir et

leur

un évolution

tableau dans

permettant le

temps.

d’archiver La

forme

les du

données

tableau

sera

liée : 

au type d’indicateur : qualitatif et/ou quantitatif



à la fréquence du recueil de données : mensuel, trimestriel ou annuel

Il s’agira le plus souvent d’un tableau réalisé avec un tableur (ex. : avec Excel). Dans le cas où le volume de données le justifierait, une base de données pourrait être créée (ex. : avec Access). Le

logiciel

devra

être

facilement

utilisable

par

tous

les

acteurs

concernés par le recueil et l’analyse des données. Étape 2 : Analyser les données 2.1

Interpréter

les

données

recueillies

Exemple : comment interpréter une baisse des revenus des cultivateurs ? Par des raisons ponctuelles liées à une mauvaise récolte, ou par des raisons plus structurelles liées à une insatisfaction quant au service fourni par la coopérative ? Dans un certain nombre de cas, il peut être utile de prévoir l’organisation de séances d’échange et de réflexion rassemblant les acteurs concernés, afin d’aboutir à une analyse plus fine des données recueillies. Il convient alors de les préparer avec soin : 

qui inviter ? 9



quelle préparation en amont pour plus d’efficacité le moment venu ? Il peut parfois y avoir un travail d’analyse préparatoire à réaliser afin de faire gagner du temps au groupe ;



bien clarifier les objectifs de ce travail d’analyse et ce qu’on en attend au final, tant sur la forme que sur le fond.

 2.2 Élaborer des outils d’aide à la décision Ces outils sont destinés à présenter les résultats de l’analyse aux décideurs. Le type d’outils à élaborer dépend de l’utilisation qu’on veut en faire et des personnes à qui ils sont destinés : 

S’il s’agit d’aider des élus à prendre des décisions, il faut un support concis, donnant une vision synthétique et analytique des données recueillies.



Au contraire, s’il s’agit de techniciens, on pourra parfois avoir besoin de données plus exhaustives.

Un ou plusieurs tableaux de bord peuvent ainsi être élaborés. Ils doivent fournir : 

une vision synthétique de ce sur quoi des décisions devront être prises, ou tout au moins des informations à maîtriser pour prendre des décisions (combinaison de tableaux, graphiques, chiffres clé, etc. sur une ou plusieurs pages)…



… assortie de clés de lecture (éléments d’analyse synthétique, concise : commentaires à côté des données présentées et/ou note d’analyse).

2.2 Élaborer des outils d’aide à la décision (suite) L’important est de transmettre des informations appropriées : 

éviter les tableaux illisibles car surchargés ou trop complexes ;



privilégier quelques informations claires et ciblées sur les décisions à prendre (l’exhaustivité n’est pas forcément utile) ;



un graphique est souvent plus parlant qu’un tableau, pour illustrer l’évolution dans le temps d’un indicateur ;



tenir compte du profil des personnes à qui l’information doit être transmise (élu ou technicien ? alphabétisé en français ou pas ?...).

La qualité d’un dispositif de suivi se mesure en particulier à l’utilisation effective de ses résultats par le dispositif de pilotage du projet : 

S’il n’est pas (ou peu) utilisé, c’est qu’il ne répond pas véritablement aux attentes des instances de pilotage et il convient de le revoir en ce sens ;



S’il est très utilisé, il convient de restituer cette utilisation aux acteurs du dispositif de suivi-évaluation (personnes en charge du recueil et de l’analyse des données). Sinon, 10

ces deniers risquent de se démotiver avec le temps et le dispositif pourrait alors se gripper. Tableau de synthèse du dispositif de suivi :



Rôle du suivi

Pour comprendre le rôle du suivi dans un projet, il convient de se pencher sur ses objectifs, actions, résultats et acteurs. Il convient également de préciser que son champ sera également fonction de ou des objectif (s) (Verrière, 2002). Le rôle du suivi est en fait d'assurer un contrôle continu et systématique des activités et des résultats du projet par la surveillance, la vérification et la maîtrise du processus de mise en 11

œuvre tout au long de son exécution. En effet, il s'agit de vérifier si les ressources humaines, matérielles et financières mises en place sont bien définies, administrées et judicieusement utilisées. Dans ce contexte, l'objectif principal du suivi est de constater les anomalies, tirer la sonnette d'alarme et attirer l'attention des décideurs du projet lorsqu'il y a déviation ou dérapage par rapport aux buts initiaux et aux incidences désirées, afin qu'ils puissent y apporter des solutions pour un nécessaire réajustement (Casley et Kumar, 1987). En résumé Suivre la progression de votre projet permet de vérifier que les tâches se déroulent en concordance avec les délais, les ressources, les coûts et les objectifs définis au démarrage. Pour améliorer ce suivi, utilisez des outils adaptés tels que les réunions de suivi ou le logiciel de gestion de projet.



Types de suivi

Il existe plusieurs types de suivi en Management de projets mais, leur regroupement fait ressortir deux grandes catégories à savoir le suivi des réalisations et le suivi du déroulement (Verrière, 2002).

 Le suivi des réalisations Le suivi des réalisations consiste à vérifier dans quelle mesure les ressources du projet sont employées en se référant au budget alloué et au calendrier prévu. Il vise également à savoir si les résultats sont obtenus dans les délais et s'ils tiennent compte de l'efficacité et de l'efficience dans la gestion. Ce type de suivi cherche également à identifier les problèmes et à les corriger immédiatement. 12

Le suivi des réalisations est lui-même subdivisé en trois catégories de suivi à savoir : le suivi des délais, des coûts et le suivi des aspects physiques (Fofana, 2008). 

Le suivi des délais

Le suivi des délais consiste à veiller à ce que l'ensemble des activités du projet soient réalisés à temps, dans les délais impartis et selon le calendrier prévu. Son objectif principal est de mesurer les écarts (lorsqu'ils se produisent) entre les délais réels et ceux planifiés, et d'essayer d'y apporter des explications aussi bien sur les causes que sur les conséquences que cela pourrait avoir sur le début et l'achèvement des autres activités. 

Le suivi des coûts

Le suivi des coûts sert à vérifier si l'exécution des activités du projet est réalisée en suivant la ligne budgétaire qui avait été prévue. Il permet de comparer tout au long de l'exécution du projet, les coûts effectifs avec les coûts prévus et relever les écarts à l'attention des décideurs, expliquer les causes et proposer des mesures correctives pour éviter ainsi tout dérapage de coûts (Oger, 2009). 

Le suivi des aspects physiques

Pour ce qui est du suivi des aspects physiques, il s'occupe de l'état d'avancement des réalisations physiques du projet. Il couvre trois aspects essentiels à savoir : le suivi des ressources, le suivi des approvisionnements et le suivi de la conformité physique des réalisations (Fofana, 2008). · Le suivi des ressources Le suivi des ressources concerne l'élaboration et le suivi des procédures de mise en œuvre qui utilisent de façon optimale les ressources disponibles. Son rôle principal est de veiller au planning d'utilisation des ressources, de dénoncer le cas échéant et à temps toutes les déviances et les erreurs de gestion constatées et ceci par comparaison au planning initial. · Le suivi de la conformité physique des réalisations Le suivi de la conformité physique des réalisations cherche à vérifier et s'assurer que l'exécution du projet s'effectue suivant les règles de l'art, tout en respectant scrupuleusement ce qui avait été prévu dans le cahier de charge, en conformité avec les normes de qualité. · Le suivi des approvisionnements

13

Le suivi des approvisionnements enfin permet de vérifier que tous les intrants nécessaires à la réalisation sont fournis et mis à la disposition du projet en quantité suffisante, en qualité et suivant le niveau de coûts prévu tout au long de son exécution du projet. L'efficacité et la crédibilité du suivi des réalisations dépendent de la fiabilité et de la pertinence des informations fournies par le système d'information mis en place dans le cadre du projet ; cela dépend également de la pertinence des indicateurs choisis. Ce problème de crédibilité se pose avec une plus grande acuité lorsque le processus de traitement de l'information est manuel. Le suivi des coûts pose le problème de la pertinence des prévisions budgétaires. Certains auteurs demandent de s'appuyer sur les projets similaires qui ont été réalisés dans le passé pour estimer les réalisations à venir, d'autres par contre pensent qu'il faudrait s'appuyer sur la situation présente pour pouvoir évaluer les coûts à venir. Un troisième courant qui se situe au milieu de cette logique pense qu'il faudrait utiliser les informations provenant des projets similaires passés, ajouté aux informations provenant de la situation présente pour effectuer une bonne estimation des coûts prévisionnels (Oger, 2009). Si le suivi des réalisations donne la possibilité au manager de projet de s'assurer que les délais des activités sont respectés, les coûts sont maîtrisés et les aspects physiques sont bien gérés, il ne permet pas d'avoir une visibilité sur le déroulement, avec une analyse critique des outils et méthodes utilisés, ainsi que de la fiabilité et de la pertinence de l'information obtenue. Il est donc nécessaire d'envisager la mise en place d'un système de suivi du déroulement du projet.  Le suivi du déroulement Le suivi du déroulement permet d'examiner et de vérifier le degré d'efficacité des méthodes et outils utilisés dans le suivi de la réalisation du projet. En effet, pour assurer un bon suivi, il faut que les méthodes et outils utilisés permettent de collecter et de générer une information pertinente, capable d'éclairer les décideurs dans leur processus décisionnel. Le suivi du déroulement étudie également l'attitude des bénéficiaires tout au long du projet, ainsi que la qualité du produit et /ou du service fourni(s), il est aussi question de voir comment l'environnement externe affecte la mise en œuvre normale du projet. En effet selon Casley et Kumar (1987), le suivi des réactions des bénéficiaires est la clé de réussite de tout le suivi d'un projet. Au fur et à mesure que l'on évolue dans l'exécution du projet, la réaction des bénéficiaires contribue à intensifier la demande dont les services fournis font l'objet, soit à rendre ces services de plus en plus inutiles. Si les attentes des bénéficiaires ne concordent pas 14

avec les raisons d'être du projet, cela montre que l'exécution du projet n'évolue pas dans le sens de l'atteinte des objectifs développementaux. 

Méthodes et outils du suivi o La méthode Pert

La méthode Pert est une technique permettant de planifier et suivre l'exécution d'un projet. Elle consiste à représenter sous forme de graphe, un réseau de tâches dont l'enchaînement permettra d'aboutir à l'atteinte des objectifs du projet (Maders et Clet, 2005). C'est une méthode de pilotage qui aide le gestionnaire du projet à prendre des décisions d'ajustement sur les objectifs, les délais et les moyens. Sa mise en œuvre implique au préalable un découpage précis du projet en tâches, l'estimation de la durée de chaque tâche, la nomination d'un chef de projet chargé d'assurer le suivi, de rendre compte si nécessaire et de prendre des décisions au cas où il ya des écarts par rapport aux prévisions. Le Pert permet une vision claire des différentes tâches du projet, des ressources mises en œuvre et le temps alloué à l'exécution de chaque tâche. Il permet également de suivre au cours du projet l'adéquation entre les prévisions et les réalisations et éventuellement réévaluer les besoins en termes de ressources humaines, financières et matérielles. Mais, le Pert ne permet pas d'avoir une visibilité sur l'évolution globale du projet, c'est là une limite de cette méthode. En effet, elle focalise ses centres d'intérêt sur les différentes activités du projet. Ceci étant, le Pert ne peut pas être utilisé comme élément de communication pour les différents intervenants dans le projet. Dans la pratique, on distingue le Pert-temps et le Pert-charge (Vallet, 1991). Au total, la technique PERT (Program of Evaluation and Review Technique) est la technique d'établissement et de remise à jour des programmes. Utilisé pour représenter des problèmes d'ordonnancement, le PERT consiste à mettre en ordre sous la forme d'un graphe plusieurs tâches qui, grâce à leur dépendance et à leur chronologie, concourent toutes à la réalisation d'un projet. Il permet de calculer le meilleur temps de réalisation d'un projet et d'établir le planning correspondant. Le PERT permet de représenter les projets sous la forme d'un réseau d'activités et d'évènements. Les activités sont représentées par des flèches. Les cercles représentent les différents points d'évaluation. La longueur de la flèche peut éventuellement être proportionnelle à la durée de l'activité. Cette technique ne permet cependant pas de représenter des activités complexes de conception. La technique PERT permet uniquement de représenter des activités séquentielles. En outre une activité ne peut être exécutée qu'une seule 15

fois et il n'est pas possible d'établir des relations -OU- entre les différentes activités. Le chemin critique peut seulement être calculé en l'absence de boucles dans le diagramme. Les possibilités des diagrammes PERT sont donc assez limitées.



Le Pert-temps

Le Pert-temps est un diagramme dates-dates dont le suivi permanent des réalisations permet de visualiser les tendances de dérive des délais d'un projet. Le calcul de ces dérives permet des révisions et des ajustements successifs du planning tout au long de l'exécution du projet.



Le Pert-Charge

Le Pert- charge est une extension de la technique du Pert-temps mais, permet de prendre en compte les ressources affectées au projet (Vallet, 1991). C'est un outil de suivi des ressources permettant de montrer l'affectation des personnes en homme jour sur une tâche donnée et de réviser éventuellement le taux d'affection des ressources si une tâche se montre plus longue (ou plus courte) que prévue initialement. Le Pert- charge permet également de présenter pour chaque fin de période (jour, semaine, mois...) le nombre de ressources qui ont été utilisé, d`apporter une visibilité à une date donnée sur ce qui reste à faire et d'envisager les réajustements par rapport au planning initial (Vallet, 1991). Si le Pert permet de suivre l'évolution du projet en termes de tâches réalisées et de ressources utilisées il ne permet pas de fournir des informations sur l'état d'avancement du projet, c'est d'ailleurs le rôle du diagramme de Gantt.

16



Le diagramme de Gantt

Le diagramme de Gantt permet d'avoir une vision globale sur l'état d'avancement de l'exécution du projet. Il permet de savoir à un moment donné de la vie du projet, la quantité des ressources consommées et les ressources qui restent à consommer. La comparaison de ces valeurs permet de calculer la quantité restante et une mise en parallèle avec l'étape où le projet se trouve va donner la possibilité de justifier les écarts et d'envisager des ajustements nécessaires pour atteindre les objectifs du projet. D'après Maders et Clet (2005) au fur et à mesure que le projet avance, le diagramme de Gantt doit être complété pour permettre une visualisation de la situation et ainsi prévoir les actions correctives qui s'imposent. Le diagramme de Gantt est aussi un outil de communication majeur entre les différents acteurs impliqués dans la réalisation du projet. Le Pert et le diagramme de Gantt sont donc complémentaires, dans la mesure où le Pert permet de contrôler le suivi de l'exécution des tâches alors que le diagramme permet d'avoir une vision globale sur l'évolution de l'exécution du projet en termes de temps et de ressources. 17

La maîtrise et l'utilisation effective et optimale de ces différents outils et méthodes, appuyée de la pratique et de l'expérience des acteurs du projet, permet d'atteindre voire de dépasser les attentes des parties prenantes.

o Le tableau de bord Le tableau de bord est un document constitué d'un ensemble d'indicateurs qui permet au gestionnaire du projet de surveiller, contrôler, voire maîtriser l'avancement du projet et les aléas (Maders et Clet, 2005). Compte tenu de l'exhaustivité des informations nécessaires au suivi du projet et qu'il faut absolument collecter, le tableau de bord du projet doit être un document synthétique qui rassemble tous les tableaux de bord de suivi des différentes activités du projet. Chaque tableau de bord de suivi d'une activité doit contenir les différents types d'informations et de prévisions concernant les échéances par action, les charges de travail par intervenant, les dépenses par poste budgétaire, l'état d'avancement général du projet et le portefeuille de risque. Généralement, on distingue les tableaux de bord de suivi des consommations de ressources et les tableaux bord de suivi des coûts. L'analyse des écarts significatifs et des causes de ces écarts entraine des mesures correctives et la réactualisation des tableaux de suivi. Mais, le véritable problème du tableau de bord reste le choix des indicateurs. En, effet si 18

l'indicateur qui devrait aider à apprécier une situation est mal choisi, il est évident que les décisions prises à la suite de l'analyse de cet indicateur ne donneront pas le résultat attendu. Voici un exemple de tableau pour un projet faisant appel à quatre personnes au niveau des ressources. Avancement du projet XXX au 08/02/2002  

 

ACTIVITES

Dates

Pr Début

 

 

PRÉPARATION DU PROJET

  01/10/01

Etablir le cahier des charges

Fin

ETAT AA BB CC DD  

 

 

O

O

O

O

  01/10/01 13/11/01

O

O

O

O

Planifier

  03/10/01 23/10/01

O

O

O

O

Répartir les tâches

 

 

 

O

 

 

 

Établir le Gantt

 

 

 

O

 

 

 

Développer un support projet

  29/10/01 07/11/01

O

 

 

O

 

 

Ressources  

Prévoir le budget

 

   

 

 

 

O

 

O

 

O

O

O

O

 

 

 

 

 

 

 

  

Définir les besoins en information

 

 

 

 

 

 

  

DÉFINIR LE CONTENU

  01/10/01

Analyser l'existant

  01/10/01 08/02/02

O

O

O

O

Recherche des experts du domaine

  13/11/01 08/02/02

O

 

 

 

 

 

Le Tableau de Bord permet de lire d'un coup d'œil sur le tableau les principales activités du projet, celles réalisées, celles en cours et celles en retard, méritant que l'on s'y intéresse. En outre, on pourra voir les dates de début et de fin prévues et réelles, ainsi que le nombre de ressources attribuées à telles ou telles tâches. C'est un outil pratique de communication de projet, qui peut être mise sur l'intranet ou l'extranet de l'entreprise. Il n'existe pas une forme standard de présentation du Tableau de Bord. Il existe cependant des logiciels spécialisés qui permettent la conception et le suivi quotidien du Tableau.

o Identification des indicateurs 19

Pour évaluer, les objectifs que l'on fixe dans le cadre d'un projet et que l'on souhaite atteindre sont souvent matérialisés en termes techniques par des indicateurs qualitatifs ou quantitatifs. Les indicateurs de suivi sont un moyen d'apprécier les divers aspects d'un projet, programme ou stratégie de développement : ressources, processus, produits, résultats et impacts (Rapport Banque mondiale, 2008). Ils permettent aux gestionnaires de projets de suivre l'état d'évolution de l'action entreprise, d'en déterminer les résultats, de les apprécier et d'apporter les mesures correctives. D'après le programme de l'auto apprentissage du suivi évaluation de la Banque mondiale (2008), il est important d'associer les principales parties prenantes à la définition des indicateurs, car il y aura ainsi plus de chances que celles-ci sachent les comprendre et les utiliser pour la prise de décision. Ceci étant, les indicateurs de suivi doivent être précisés dès l'origine du projet. En effet, ils facilitent la mise en œuvre, et l'efficacité par un renforcement continu des capacités de gestion. o Les types d'indicateurs Le choix des indicateurs de performances est l'un des déterminants nécessaires à la réussite d'un projet de développement, ils doivent être choisis non seulement en fonction des coûts associés à la collecte des données pertinentes, mais surtout par rapport aux objectifs du projet. D'après Casley et Kumar (1987) le choix des indicateurs appropriés présente une importance fondamentale pour le suivi des bénéficiaires, ils doivent faire la lumière des questions sur lesquelles les responsables peuvent exercer une influence afin d'améliorer les réalisations du projet. En effet des indicateurs peu appropriés peuvent condamner à l'échec un système d'information. Les indicateurs de suivi peuvent être regroupés en trois grandes catégories :  Les indicateurs de résultats qui permettent de cerner et d'apprécier les performances du projet ;  Les indicateurs de réactions des bénéficiaires au cours de l'exécution du projet ;  Les indicateurs explicatifs externes qui permettent de surveiller certaines forces exogènes sur lesquelles un projet ne peut pas avoir d'influence. Le suivi obéit à des techniques de collecte de données, aussi bien qualitatives que quantitatives. La réalisation d'une analyse quantitative ou qualitative et la proposition des actions correctives sont des éléments qui caractérisent les activités de suivi. Ces données doivent être enregistrées avec une fréquence qui selon le cas peut être journalière avec des synthèses à la fin de la semaine ou du mois. Elle peut également être hebdomadaire ou mensuelle. o La fréquence du suivi 20

Le suivi est généralement interne, il est réalisé par l'organisme d'exécution lui-même. Il peut être assuré par la direction du projet ou par un comité restreint créé à cet effet et opérant sous l'autorité du responsable du projet. La fréquence du suivi dépend généralement des besoins du projet, elle peut être journalière, hebdomadaire ou mensuelle. d- Le suivi dans le processus de mise en œuvre d'un projet Le suivi est une démarche qui commence dès la formalisation du projet. Il sera ensuite utilisé pour fournir les informations nécessaires qui permettront aux managers d'avoir une bonne lisibilité de l'évolution des réalisations et du déroulement du projet tout au long de son exécution. Pour la Banque mondiale (2008), il est intéressant de bien positionner le suivi comme démarche tout au long du cycle de projet, laquelle démarche se concrétisera par des étapes différentes de mise en place du dispositif de suivi, son exploitation optimale et son adaptation au projet. Figure 1 : Le fil conducteur d`un projet Identification des acteurs, des études de faisabilité, des actions Suivi de la démarche Evaluation Exploitation/vérification des données Exploitation du suivi Mise en œuvre Pilotage, relevé régulier de données et mesure d'écarts Suivi pilotage Programmation Schéma de planification et construction des indicateurs Elaboration du dispositif de suivi Source :

(Verrière, 2002)

Cette figure montre la place du suivi dans les différentes phases du projet. Elle permet de constater que le suivi est une opération qui revêt une importance capitale pour le projet depuis la conception, en passant par sa mise en œuvre et même après la fin de l'exécution. Mais, la 21

pertinence du suivi dépend surtout des outils et des méthodes utilisés. Cela montre bien que pour qu'un système de suivi d'un projet de développement soit efficace, efficient et pertinent, il faut que son élaboration et sa mise en œuvre répondent effectivement aux besoins du projet. 4. Qu’est-ce que l’évaluation ? : L'évaluation pour apprécier la qualité et faciliter la décision a- Définition : L'évaluation de projets, un outil de progrès L’évaluation est l’appréciation systématique d’une activité, d’un projet, d’un programme, d’une stratégie, d’une politique, d’un sujet, d’un thème, d’un secteur, d’un domaine opérationnel ou des performances d’une institution. Autrement dit, elle est une fonction qui consiste à porter une appréciation aussi systématique et objective que possible, sur un projet en cours ou achevé, un programme ou un ensemble de lignes d'actions, sa conception, sa mise en œuvre et ses résultats. Elle porte sur les accomplissements escomptés et réalisés et examine la chaîne des résultats (intrants, activités, extrants, effets et impacts), les processus, les facteurs contextuels et les rapports de cause à effet afin de comprendre les accomplissements ou le manque d’accomplissements. L’évaluation vise à déterminer la pertinence, l’impact, l’efficacité, l’efficience et la durabilité des interventions et les contributions de l’intervention aux résultats obtenus. L’évaluation doit fournir des informations factuelles qui soient crédibles, fiables et utiles.

Les constats,

recommandations et enseignements d’une évaluation doivent être utilisés pour informer les processus décisionnels subséquents concernant le programme considéré. Il existe un grand nombre de définitions de l'évaluation, cela traduit la réalité qui lui permet d'avoir une grande diversité de démarche. L'évaluation a un sens assez large. Elle englobe les examens périodiques auxquels procède l'équipe de direction, tout comme des interventions à appellation précise effectuées à des dates fixes, comme l'évaluation à mi-parcours, l'évaluation terminale et l'évaluation rétrospective (Casley et Kumar, 1987). Par contre, la Banque mondiale (2008) définit l'évaluation comme étant « une mesure, aussi systématique et objective que possible, des résultats d'un projet, d'un programme ou d'une politique en vue de déterminer sa pertinence, et sa cohérence, l'efficience de sa mise en œuvre, son efficacité et son impact ainsi que la pérennité des effets obtenus ». Enfin pour Neu (2001), « évaluer, c'est apprécier la qualité pour faciliter la décision ». Ces trois définitions prises individuellement restent incomplètes mais ensemble, elles traduisent avec une plus grande fidélité la réalité de l'évaluation dans sa pratique et sa finalité. 22

C’est une démarche qui doit être construite en même temps que le projet car elle nécessite de recueillir des informations particulières pour pouvoir ensuite comparer un AVANT avec un APRES, soit un référent avec un référé.

b- Les démarches évaluatives Les démarches évaluatives se distinguent par leurs rythmes et leurs fréquences. Selon (Neu, 2001), il existe quatre types de démarches évaluatives. 

Dans le temps

Cette démarche vise à vérifier et à modifier la stratégie d'une organisation, à orienter, poursuivre ou interrompre un partenariat, un projet ou un programme. En effet, l'évaluation doit apprécier la qualité d'un projet, à un moment particulier de son déroulement, pour contribuer aux orientations d'un processus plus long et plus vaste (Verrière, 2002). On parle aussi d'évaluation « évènement » (Neu, 2001) qui a souvent besoin de s'appuyer sur des informations récoltées tout au long du déroulement du projet. Les évaluations « évènement » interviennent dans le projet à des rythmes différents et à des moments précis à savoir : avant, pendant, juste après ou longtemps après. On distingue :  L’évaluation ex ante pour désigner les études préalables à la conception et au lancement du projet ;  L’évaluation à mi-parcours qui permet de réajuster les stratégies de mise en œuvre pour un bon déroulement et pour une atteinte des objectifs du projet ;  L’évaluation finale qui généralement est réalisée juste après la fin du projet pour en faire le bilan et voir s'il y a lieu de le reconduire ; 23

 L’évaluation ex post qui correspond à des études réalisées plusieurs mois, voire plusieurs années après la fin du projet, pour mesurer ses effets sur la population bénéficiaire. 

Dans le jeu des acteurs

Plusieurs acteurs sont associés à la réalisation d'une évaluation parmi lesquels on retrouve le maître d'œuvre qui est l'organisation pour qui l'évaluation est réalisée, le maître d'ouvrage qui est celui ou l'organisation qui réalise l'évaluation, les bénéficiaires et les autres partenaires (Etat, bailleurs de fonds...).  Dans le type de démarche induite Le type de démarche dépend généralement de l'objet à évaluer. C'est ainsi que chaque famille d'objet renvoie à des ensembles d'outils et de méthodes très modelés par des démarches parfois très normées (Neu, 2001).  Dans leur rôle d'aide à la décision Une évaluation doit contribuer à éclairer le gestionnaire dans sa prise de décision. Il s'agit de tirer des leçons du processus de gestion du projet mis en œuvre dans le passé et de guider les actions ultérieures par des propositions pertinentes, pour éclairer les décisions qui doivent être prises en compte dans un champ bien délimité à l'avance (Bergeron, 2008). c- Le type d'évaluation suivant la finalité Suivant la finalité de l'évaluation on distingue deux types : l'évaluation formative et l'évaluation sommative (Bergeron 2008).



L'évaluation formative

L'évaluation formative vise à améliorer le fonctionnement d'un projet, d'un programme où d'une politique existante. Cela dit, elle est effectuée durant la mise en en œuvre du projet et correspond à l'évaluation en cours ou à mi-parcours. Cette évaluation associe acteurs et operateurs, qui vont se former durant l'évaluation pour ensuite orienter le cours du projet si nécessaire. Cependant, cette évaluation peut être réalisée aussi bien par l'équipe de suivi évaluation interne au projet que par une équipe d'évaluation externe. Lorsque l'évaluation est mise en œuvre par l'équipe de suivi évaluation interne au projet, les conclusions de l'étude courent le risque de ne pas avoir un point de vue neutre ou d'être l'influencées par la direction du projet, ce qui pourrait biaiser la prise de décision (Fofana, 2008). Ce type, d'évaluation reste limité car, il ne permet pas d'avoir une lisibilité claire des résultats et de l'impact du projet. 24



L'évaluation sommative

L'évaluation sommative vient couvrir les limites observées dans l'évaluation formative. En effet, elle est effectuée pour évaluer les résultats des projets et programmes, ainsi que les effets générés. Ceci étant, elle est réalisée juste après, ou alors bien après la fin du projet. Dans le dernier cas, il s'agira de mesurer l'impact du projet sur les populations bénéficiaires. Pour une bonne conduite des projets de développement, les évaluations formatives et sommatives restent complémentaires. d- Les méthodes et techniques d'évaluation Les méthodes et les techniques d'évaluation dans la conduite des projets de développement font partie des préoccupations majeures des organisations. Elles constituent un label qui est le gage de qualité qui va donner une crédibilité aux observations effectuées à l'issue de l'évaluation. Les organisations en quête permanente d'une satisfaction maximale de cette préoccupation, sont toujours dans un processus continu de perfectionnement de ses techniques et méthodes. Il n'est pas ici question de détailler toutes les méthodes et techniques de suivi évaluation mais, de présenter les plus pertinentes utilisées en management de projets de développement. Les principales techniques et méthodes actuellement utilisées dans l'évaluation des projets et programmes sont le cadre logique, la Marp, le Focus group, la Swot et la Zopp. 

Le cadre logique

La méthode du cadre logique est une démarche qui a une importance particulière pour le suivi évaluation de projets de développement. En effet, elle a été mise au point dans les années 70 pour améliorer la clarté et la qualité de la conception des projets (Rapport Ifad, 2008). C'est une matrice qui donne une vue synoptique du projet tout au long de sa durée. Il présente les objectifs, les hypothèses, les principales activités à mener, les indicateurs de résultat... Pour être utile, le cadre logique doit être suffisamment détaillé et particulièrement mis à jour, de manière à refléter la situation du projet au moment considéré. Par exemple, le cadre logique initial pouvait comporter des réalisations ou même des composantes qui ne sont plus pertinentes et ont donc été laissées de côté (Rapport Ifad, 2008). La mise au point d'un système de suivi évaluation commence bien avant le démarrage du projet. La conception initiale conditionne grandement la facilité avec laquelle le suivi sera mis en œuvre et prévoit également comment l'évaluation sera réalisée. Lorsqu'un cadre logique existe dans un projet, il sera plus facile de mener une activité d'évaluation. Par contre lorsqu'il est absent, le travail du responsable chargé de l'évaluation 25

sera d'abord de le reconstituer. En effet, la vue globale qu'il apporte sur le projet permet d'orienter les questions d'évaluations (Bergeron, 2008). La présentation sommaire du projet par le cadre logique est une insuffisance qui doit susciter la prudence du Manager de projet. En effet, ce dernier doit veiller à ce que les différents outils de collecte et d'analyse des données soient toujours à jour, pour fournir des informations détaillées sur le contenu du cadre logique. Le tableau suivant présente le schéma de conception de la matrice du Cadre Logique. La matrice du cadre logique

Objectifs Globaux. Pourquoi le projet estil entrepris ?

INDICATEURS OBJECTIVEMENT VERIFIABLES (IOV)

SOURCES DE VERIFICATION

HYPOTHESES

Comment mesurer le degré de réalisation des objectifs ?

Où trouver les données requises pour mesures les indicateurs ?

Quels sont les facteurs externes revêtant de l'importance pour la réalisation des projets ?

//

//

//

//

//

//

//

//

//

Objectifs spécifiques. Quel effet particulier attend-on du projet ? Résultats. Quels résultats le projet se propose d'atteindre ? Activités. Comment le projet compte atteindre ces résultats ?

La méthode du Cadre Logique, comme toutes méthodes, possède des intérêts et des inconvénients. Au titre des intérêts, on peut dire que le Cadre Logique :  Favorise la réflexion critique au sein de l'organisme qui assure l'exécution du projet ;  Lance des avertissements avant que les choses commencent à mal tourner afin que des mesures correctives puissent être prise ;  Améliore les modalités de compte rendu et fait en sorte qu'ils présentent plus d'intérêt pour les responsables et le personnel local, l'organisme de financement et les autres structures intéressées ; 26

 Facilite et améliore l'évaluation du projet tant sur le plan interne que sur le plan externe. Au nombre des inconvénients du Cadre Logique, on note qu'il :  Nécessite du temps pour sa conception et sa mise en œuvre ainsi que des équipes spécialisées ou correctement formées ;  Est parfois très couteux si les indicateurs retenus sont difficiles à trouver ;  Est une approche parfois subjective. 

La Marp

La méthode active de recherche participative (Marp) est une approche rapide et interactive avec les populations bénéficiaires. Elle est née d'une constatation d'échec de nombreux projets de développement. Ces échecs s'expliquaient par deux observations : d'une part les projets avaient été élaborés par les experts extérieurs sur la base des diagnostics réalisés sans consultation des populations bénéficiaires. D'autres part, ces diagnostics était souvent le résultat d'enquêtes très décalés dans le temps et très coûteuses en moyens et en hommes qui souvent, n'arrivaient pas à des recommandations de bonne qualité (Rapport Ifad, 2008). D'après le groupe Urd (2002) la Marp est un ensemble d'approches et d'outils, utilisés pour permettre aux populations rurales et urbaines de présenter leurs connaissances sur leur situation et leur condition de vie. Cette technique établit un processus de communication plus proche et plus révélateur que les questionnaires. Par exemple, la Marp permet de consulter directement les bénéficiaires par rapport à leur perception du bien-être. Mais cette méthode fait aussi appel à des outils très sophistiqués souvent difficiles à utiliser qui peuvent biaiser les résultats. 

Le Focus groupe

Le focus group est une technique de recherche qualitative qui met en jeux un groupe de personne ayant les mêmes attentes par rapport à un projet et qui prend en compte les aspects spécifiques de ce groupe et qui sont liés lié à sa culture, son organisation sociale ou son niveau de vie, afin de déterminer l'attitude qu'il adopte à l'égard du projet ou du programme (Wikipédia, 2009). Le faible coût est un avantage qui permet à cette méthode d'être de plus en plus utilisée dans l'évaluation des projets. 

La Swot

La Swot est une matrice qui permet de déterminer les options stratégiques envisageables dans le mangement de projet. Le terme Swot provient de l'anglais et signifie Strengths (forces), Weaknesses (faiblesses), Opportunities (opportunités), Threats (menaces). Il s'agit d'une 27

analyse qui identifie les opportunités et menaces de l'environnement externe au projet, ainsi que les forces et faiblesses relatives à la gestion des ressources humaines, matérielles et financières de l'environnement interne. Dans l'évaluation de projets de développement, la Swot est principalement centrée sur l'évaluation ex ante mais peut aussi être utilisé dans les autres types d'évaluation de projets ou programmes. Elle combine les facteurs de l'environnement du projet pouvant l'influencer positivement ou négativement, permettant ainsi de réduire les incertitudes quant à l'affinage des stratégies et la prise de décision (Rapport Cota, 2008). 

La Zopp

La Zopp est une méthode de planification qui est utilisée dans toutes les phases du projet. Dans le système d'évaluation, Il s'agit d'une planification des interventions par objectif. C'est une méthode développée dans les années 1980 par la Gtz, elle est utilisée pour effectuer des pré-évaluations (Rapport Cota, 2009). La Zopp permet de formuler les hypothèses que les évaluateurs devront suivre sur le terrain. e- Les caractéristiques et les domaines de qualité d'une bonne évaluation

 Les finalités d'une évaluation Plusieurs caractéristiques propres à la démarche évaluative peuvent être observées. Elles concernent surtout la finalité de l'évaluation, les objets à évaluer et les parties prenantes. L'évaluation possède quatre grandes finalités qui intègrent les spécificités de l'objet à évaluer et les besoins en information des parties prenantes. Ses finalités sont les suivantes (Rapport Banque mondiale, 2008) :  Décider : L'évaluation permet au responsable du projet de prendre une décision dans la mesure où elle apporte les éléments qui l'éclairent et l'oriente dans sa prise de décision.  Gérer : L'évaluation apporte aux gestionnaires de projets et opérateurs les informations nécessaires pour une bonne orientation de la gestion ainsi qu'un bon contrôle des opérations sur le terrain.  Informer : L'évaluation permet d'informer les bénéficiaires sur l'évolution du projet, de faire connaître aux contributeurs les résultats atteints, en adéquation avec les objectifs de départ.

28

 Savoir, comprendre et tirer des enseignements : En comparant les observations effectuées au cours de l'évaluation d'un projet avec les constats réalisés dans d'autres projets, le chercheur peut savoir les raisons de cette variation en essayant d'expliquer les écarts, de les comprendre et enfin d'en tirer des enseignements dans le sens de l'application dans les projets futurs.

 Les critères d'évaluation et leurs importances D'après la Banque mondiale (2008), sept critères peuvent être retenus pour effectuer l'évaluation d'un projet. Il s'agit de la pertinence, la cohérence, l'efficience, l'efficacité, l'impact, la durabilité et la réalisabilité. Chaque critère permet d'orienter les questions évaluatives qui sont associées aux différentes phases de la structure logique du projet. L'importance des critères d'évaluation peut être observée à trois niveaux :  Au niveau déontologique, c'est le « politiquement correct » de l'évaluation, c'est-àdire le respect des standards ;  Dans les discussions et réflexions sur les questions d'évaluation, les critères aident à ne rien oublier et à classer les préoccupations ;  Une évaluation sur tous les critères, renforce la logique des conclusions et donc leur solidité.

 Les étapes de la démarche évaluative Pour mettre en œuvre une démarche évaluative, quatre phases sont nécessaires et peuvent être envisagées suivant deux points de vue, celui de l'organisation commanditaire et celui du bénéficiaire (Rapport Banque mondiale, 2008).

 Du point de vue du commanditaire On distingue la phase des préalables, la phase de préparation et la phase de valorisation. 

La phase des préalables

Selon la nature du projet, de l'organisation et ses procédures de gestion, les préalables peuvent être différents. Généralement, il faut consulter les partenaires et les responsables du projet qui choisissent le bon moment pour réaliser l'évaluation, en faisant un avant-projet qui est en 29

réalité une ébauche du travail à réaliser. Il faut ensuite prévoir le budget et nommer le responsable et un comité de pilotage. 

La phase de préparation

Il s'agit d'une phase qui nécessite non seulement l'intervention de l'organisation commanditaire mais aussi celui du réalisateur de l'évaluation. Pour l'organisation commanditaire, elle comporte six étapes constituées par la prise de connaissance de l'objet à évaluer, l'identification précise des critères et questions d'évaluation, le recensement de l'information disponible, la conception d'une démarche évaluative et la définition d'un dispositif d'évaluation, d'un programme de travail, d'un budget et d'un calendrier (Rapport Banque mondiale, 2008). Enfin, il faut rédiger les termes de références qui précisent le mandat de l'évaluateur. 

La phase de valorisation

La phase de valorisation concerne surtout la prise en compte des recommandations et des enseignements de l'évaluation dans l'amélioration du management du projet. Elle permet également de diffuser les informations générées par l'évaluation auprès des différents acteurs du projet.  Du point de vue de l'évaluateur Au niveau de l'évaluateur, deux phases sont nécessaires pour la réalisation de son mandat. Il s'agit des phases de préparation et de réalisation. 

Phase de préparation

Pour l'évaluateur, cette phase comporte six étapes qui commence par la prise de connaissance des termes de références du projet et se poursuit par la précision des questions évaluatives avec le commanditaire, le recensement de l'information disponible, la conception d'une démarche évaluative, la définition d'un dispositif de travail accompagné d'un programme, d'un budget et d'un calendrier et enfin l'évaluateur peut répondre à l'offre et procéder à la signature du contrat. 

Phase de réalisation

La phase de réalisation commence par l'exploitation des données disponibles et s'il y a lieu, la collecte et l'exploitation des informations complémentaires. Elle se poursuit par l'analyse et l'interprétation et se termine par l'argumentaire et les conclusions, la restitution des travaux qui est une occasion de discuter et confronter les points de vue et enfin la rédaction du rapport final. Étape 6 : Auto-évaluer/évaluer un projet de développement 30

Que signifie évaluer ? Une évaluation finale (ou intermédiaire) est un exercice ponctuel. À la fin du projet (ou à un instant donné, pour une évaluation intermédiaire, ex. à miparcours) : 

on regarde derrière soi pour effectuer un bilan des actions réalisées et apprécier les résultats obtenus sur la base d’une grille objective ;



on en tire des conclusions ;



puis on se projette dans l’avenir en faisant des recommandations pour améliorer des actions futures.

Pourquoi évaluer ? 

porter un regard critique sur le projet, améliorer la qualité de l’existant et imaginer le futur,



informer l’ensemble des parties prenantes et les bénéficiaires sur la nature et les résultats du projet, sur ses objectifs en matière de développement et sa méthode de travail,



établir un état des lieux servant de socle à la construction des actions à venir et des compétences nécessaires pour les mettre en œuvre,



rendre compte, justifier l’emploi des moyens auprès des bailleurs de fonds.

  Qu’évalue-t-on ? La mise en œuvre et le déroulement des actions : 

Organisation matérielle des actions : nombre de personnes touchées, choix des formations…



Compétences mobilisées et matériels utilisés,



Mobilisation des partenaires et des bénéficiaires,



Cohérence des actions entres elles et avec leur environnement,

L’évaluation porte alors essentiellement sur des faits concrets. Les résultats des actions : 

Dispositions à agir, à avoir envie de changer les choses.



Changements des comportements individuels et collectifs, immédiats et ultérieurs.

L’évaluation porte alors sur des résultats matériels et immatériels. L’objectif du projet et ses objectifs généraux : L’évaluation porte alors sur l’impact du projet Étape 6 : Auto-évaluer/évaluer un projet de développement 31

Évaluer,

ce

n’est

pas

suivre.

Suivre, ce n’est pas évaluer.

Les différentes formes d’évaluation 32

Évaluation interne, externe ou participative ? L’évaluation interne (ou autoévaluation) est décidée et réalisée par les acteurs du projet. Ces derniers choisissent l’objet de l’évaluation et définissent leurs termes de référence. L’autoévaluation devient assistée quand les acteurs du projet font appel à un appui externe qui accompagnera la démarche (facilitation, accompagnement méthodologique). L’évaluation externe fait appel à des intervenants extérieurs. Les critères sont définis par les commanditaires qui peuvent être les partenaires financiers, l’organisme d’appui ou les porteurs du projet. L’évaluation externe participative permet une négociation des termes de références entre les commanditaires, l’équipe projet et les partenaires : elle favorise ainsi la participation des acteurs locaux. Ce type d’évaluation met souvent en place un comité de pilotage. Cette instance mixte peut réunir des partenaires financiers, techniques, des représentants du projet, des bénéficiaires et le(les) évaluateur(s) externe(s). La participation des « bénéficiaires » reste souvent limitée.

Avantages et inconvénients des évaluations internes et externes Évaluation interne

33

Évaluation externe

34

5. Quelles différences et complémentarités entre le suivi du projet et l'évaluation du projet ? Quelle est la différence entre le suivi et l'évaluation ? L'évaluation examine la démarche, les actions ou les projets ou politiques proposés, les attentes versus les résultats, l'atteinte des objectifs. Le suivi est lié aux variables et aux indicateurs, lesquels mesurent davantage l'évolution du changement. Dans le management de projets, le suivi et l'évaluation sont deux concepts différents mais complémentaires. L'évaluation ne peut être facilement et correctement réalisée que s'il y a eu au préalable un suivi rigoureux. En effet, l'évaluation s'effectue en s'appuyant sur l'exploitation des informations générées par les instruments mis en place par le système de suivi du projet et les résultats obtenus par le système d'évaluation auront une forte corrélation avec ceux du système de suivi. Dans ce sens, le suivi est un outil au service de l'évaluation, interne (auto évaluation ou temps évaluatif programmé par les équipes lors de la réalisation), mixte, ou externe. Dans les projets où le système de suivi est faible ou inexistant, l'analyse du projet lors de l'évaluation est limitée et partielle. L'évaluation dans ce cas sera l'occasion de mettre en place un dispositif de suivi évaluation, basé obligatoirement sur les critères et indicateurs qui auront été utilisés dans le cadre du projet (Neu, 2001). 35

Les différences entre le suivi et l'évaluation peuvent être observées au niveau des objectifs, des principales activités et la fréquence de réalisation (Bergeron, 2008).  Au niveau des objectifs, le suivi vise à améliorer l'efficience par la comparaison des réalisations aux prévisions, la compréhension, la justification et le réajustement des écarts. L'évaluation examine les relations qui existent entre les activités et les résultats, ce qui permet de fournir les informations nécessaires à l'amélioration de l'efficacité du projet ;  Au niveau des activités, le suivi recueille régulièrement les informations nécessaires à la compréhension de l'évolution du projet dans le sens de l'atteinte des objectifs ou non. L'évaluation cherche systématiquement à mesurer les effets avec des méthodes rigoureuses ;  Au niveau de la fréquence le suivi est une démarche continue qui s'effectue depuis le début jusqu'à la fin du projet. Il met en œuvre un dispositif outillé, qui permet la mesure continue des différentes réalisations du projet pour fournir les informations nécessaires à la gestion quotidienne. L'évaluation est intermittente et s'effectue à certains moments bien précis de la vie du projet, elle s'intéresse aux effets produits par le projet même après sa fin. Il s'agit d'un outil d'aide à la décision qui permet d'avoir la photographie d'un projet ou de son impact à un moment donné pour l'apprécier par comparaison à une référence. En outre, le suivi et évaluation se présente différemment pour : 

Un programme de prévention en milieu scolaire,



Un programme de formation à l’emploi systématique de protocoles de dépistage dans le secteur de la santé,



L’application des lois relatives à la violence domestique,



Une campagne de sensibilisation visant à amener les hommes à s’impliquer,



L’institutionnalisation d’une réponse communautaire concertée.

Tableau 1 : Différence et complémentarité entre le suivi et l'évaluation Suivi Objectifs

· Améliorer l'efficience, modifier le plan ou l'affectation des ressources · Clarifier les objectifs et leur transformation en indicateurs de performance · Comparer régulièrement les

Evaluation · Examiner les relations causales conduisant des activités aux résultats, expliquer pourquoi certains résultats attendus n'ont pas été atteints · Examiner la mise en œuvre · Fournir des enseignements, améliorer l'efficacité, les effets l'impact de la future 36

programmation réalisations · Communiquer les progrès aux responsables et les alerter sur les difficultés Principales · Définition des indicateurs, recueil · Appréciation, mesure systématique des effets, activités régulier d'informations, comparaison recherche des causalités par des méthodes avec plan, comptes rendus rigoureuses Fréquence

· Périodique : journalier, mensuel, · Episodique, à mi-parcours, en de programme, à trimestriel, ...selon les variables et les posteriori programmes

Source : Rapport Banque mondiale, 2008

6. MISE EN PLACE DU SYSTEME DE SUIVI EVALUATION DANS LES PROJETS Un système de Suivi Evaluation performant doit pouvoir intégrer les aspects formels axés sur les données collectées au cours du travail traditionnel de Suivi Evaluation et les éléments informels de suivi et communication. Le Suivi Evaluation, doit être dans toutes les circonstances envisagées comme un système intégré de réflexion continu et de communication qui doit être planifié, géré et doté de moyens adaptés. A. Les phases de conception et de mise en place du système de Suivi Evaluation. La conception d'un système de Suivi Evaluation comporte se fait généralement en six (06) étapes ou phases. Des tâches précises sont réalisées au cours de ces différentes phases et permettent de répondre à des questions bien précises. 1- Définition de l'objectif et du champ d'application du système de Suivi Evaluation Les réponses aux préoccupations telles que le budget de fonctionnement du Suivi Evaluation, le nombre d'indicateurs à suivre, la fréquence des rapports, le types de communication nécessaire etc. sont facilement trouvées lorsqu'une définition claire de l'objectif et du champ d'action du Suivi Evaluation est faite. Ainsi donc, au moment du démarrage du projet, il est primordial que cette réflexion soit approfondie par toutes les parties concernées. L'objectif du Suivi Evaluation du projet lorsqu'il est clairement défini permettra de préciser ce que l'on attend du système d'autant plus qu'en élaborant cet objectif, on est nécessairement amené à réfléchir sur la nature du projet et sur la nature des informations dont on aura besoin pour une gestion satisfaisante du projet.

37

Pour définir clairement l'objectif du système de Suivi Evaluation, il est conseillé de se poser la question suivante : 

Pourquoi avons-nous besoin de mettre en place un système de Suivi Evaluation ?

Une fois que tous les acteurs se seront mis d'accord et auront la même vision de l'objectif du système, il faudra préciser son champ d'application. En effet, compte tenue de la nature du projet, le système peut être extrêmement complexe ou très simple. Qu'il soit complexe ou non, le système présentera des avantages et des inconvénients en termes, notamment, du degré de précision et de compétence requise, du personnel ou des outils nécessaires et du budget. Le degré de complexité du système dépendra de l'objectif du Suivi Evaluation ainsi que des ressources et de l'expertise disponibles. Les réponses aux questions suivantes aident à définir clairement le champ d'application du système. · Quelles est l'importance du financement potentiel disponible ? · Quel est le degré de participation souhaitable et faisable des parties prenantes ? · Quel doit être le degré de détail des données quantitatives ou qualitatives ? · Quel est le type d'étude de référence souhaitable et faisable ? · Quelles sont les capacités actuelles des parties prenantes en matière de Suivi Evaluation ? 2- Identification des questions relatives à la performance, les indicateurs et les besoins en matière d'information. Cette phase est importante puisqu’étroitement liée à l'élaboration du Cadre Logique du projet. Il s'agit de définir pour chaque niveau hiérarchique des objectifs, un ou les indicateurs permettant de mesurer le degré de réalisation de l'objectif. Généralement, les objectifs sont complexes et les indicateurs correspondant ne permettent pas toujours d'expliquer le degré de satisfaction de tel ou tel objectif. Même si l'on dispose d'informations quantitatives permettant de répondre à cette question, il est vivement conseillé de confronter plusieurs sources d'information quantitatives et qualitatives pour véritablement maîtriser l'évolution du projet et suivre les liens qui existent entre ces différentes informations. La question essentielle à se poser est : qu'avons-nous besoin de savoir pour suivre et évaluer le projet de façon à bien le gérer ? Une fois ces informations identifiées, il sera alors plus facile de repérer les indicateurs spécifiques véritablement nécessaires.

38

Il ne faut cependant pas perdre de vue le fait que l'information évolue avec le temps. Il faut donc assurer une mise à jour régulière des indicateurs et des informations permettant de les mesurer afin de bien suivre les modifications apportées à la stratégie du projet dans le temps. 3. Collecte et organisation de l'information. Au cours de la phase de démarrage du projet, les parties prenantes doivent définir clairement la nature des informations à collecter, l'organisation pratique de la collecte et du stockage des informations en tenant compte rigoureusement des ressources humaines et financières disponibles. Très souvent, il faudra recourir à des méthodes différentes de collecte de l'information (qualitative ou quantitative) selon les indicateurs. Quel que soit la méthode retenue, il y aura des avantages et des inconvénients en termes de coûts, de fiabilité des données, des compétences nécessaires, de capacité à quantifier les résultats et de richesse de l'information produite. En choisissant la méthode, il importe d'impliquer toutes les personnes concernées par la collecte et l'analyse des informations. L'implication de ces acteurs dans le choix et l'élaboration des méthodes permet une meilleure compréhension et une utilisation optimale des méthodes retenues. Si les méthodes sont choisies par d'autres, il importe de bien former les personnes qui les mettront en œuvre . 4. Modalités de la réflexion critique Cette étape permet de développer des pratiques pour que l'interprétation des données et l'appréciation que cette analyse implique pour les activités du projet s'inscrive dans une approche participative. La réflexion critique consiste dans le cas d'espèce à interpréter l'expérience des données en vue de créer de nouvelles perceptions et d'aboutir à un accord sur les actions à entreprendre. A ce titre, un débat actif lors des réunions d'équipe et de réunions avec les bénéficiaires est essentiel pour que l'information issue du Suivi Evaluation soit partagée, analysée et suivie d'une action. L'analyse critique permet donc d'aller au-delà de la collecte, du traitement et de l'examen des données. Cette étape permet aux acteurs de répondre entre autres aux questions suivantes : o Pourquoi en est-il ainsi ? o Quelles sont les conséquences de cet état de choses pour le projet ? o Que faire pour améliorer la situation ? 39

L'examen régulier de ces questions avec les différents acteurs impliqués permet de mieux comprendre les situations et de prendre les décisions adéquates. En définitive, cette étape consiste à faire une description détaillée des méthodes / approches à utiliser pour chaque type d'acteurs et pour chaque objectif, à identifier le responsable de chaque activité de réflexion et à établir un calendrier de réflexion critique sur lequel figurent les principales activités permettant la réflexion, les objectifs de l'activité, les personnes impliquées et le chronogramme. 5. Communication et établissement des rapports. Cette étape consiste à : o Établir la liste exhaustive de tous les acteurs concernés, de leurs besoins en matière d'information ; o Définir la forme sous laquelle l'information sera présentée ; o Définir la façon dont les informations seront utilisées ; o Établir un calendrier détaillé pour la production de l'information ; o Responsabiliser les acteurs par rapport à chaque type d'information pour qu'elle soit effectivement disponible à temps. 6. Moyens et compétences nécessaires La définition précise du nombre d'agents du Suivi Evaluation, de leur qualification, de leurs responsabilités et de leurs liens avec les autres acteurs du projet est fondamentale pour que le système fonctionne véritablement. Une ligne budgétaire spécifique et suffisamment dotée doit être prévue pour le Suivi Evaluation. Les responsabilités en matière de Suivi Evaluation devront être précisées dans les profils de postes, dans les termes de référence des personnes concernées et dans le manuel de procédures du projet. Il s'agit également au cours de cette dernière étape de définir clairement les informations qui doivent être stockées et accessibles, quand, comment et pour qui, le degré d'information nécessaire et approprié, les compétences nécessaires pour mettre en place le système de gestion de l'information du projet etc. Au total, la mise en place du système de Suivi Evaluation exige de : o Bien maîtriser les relations qui existent entre le Suivi Evaluation et les autres fonctions de gestion du projet ;

40

o Mettre en place des procédures de Suivi Evaluation qui permettent à toutes les parties prenantes de tirer régulièrement des enseignements clairs de leurs actions respectives ; o Utiliser les processus et méthodes de réflexion, de communication et de prise de décisions existant chez les acteurs concernés et les partenaires comme base du Suivi Evaluation ; o Mettre en place les moyens et les compétences nécessaires à la mise en mise en œuvre du système. B. Qualité et mise à jour du système de Suivi : Evaluation n projet évolue dans un environnement dynamique, en perpétuel changement. Les informations dont on a besoin pour suivre et évaluer le projet peuvent changer d'une période à une autre. Les exigences en termes de coût et de compétences ne sont pas statiques tout au long de la vie du projet. Une fois que le système est mis en place, il faut donc s'assurer qu'il fonctionne bien, qu'il est de bonne qualité et le tenir à jour afin de suivre l'évolution des informations, des compétences et des contextes. Le respect d'un certain nombre de critères de base peut aider à évaluer la qualité du système et à le mettre à jour. Ce sont : 1- L'utilité du système. Le système mis en place doit effectivement permettre de répondre aux besoins d'information pratique des utilisateurs identifiés ; autrement il n'a pas de raison d'être. Tous les éléments du système doivent jouer leur partition dans la réalisation des objectifs du système en amont et du projet en aval. Il faut qu'on ressente que le Suivi Evaluation apporte une valeur ajoutée à la gestion du projet en général. A ce titre, il faudrait donc s'assurer que les informations de bonne qualité sont disponibles à temps et dans la forme requise pour permettre à toutes les parties concernées de s'en servir à toutes fins utiles à la réalisation des objectifs globaux et spécifiques du projet. 2- La faisabilité. Les méthodes, l'enchainement des activités, le calendrier d'exécution des tâches, les procédures et normes retenues doivent être réalistes. Le budget consacré au Suivi Evaluation doit permettre de couvrir toutes les charges générées par le système. Les objectifs doivent donc être réalisables en termes de coût, de disponibilité des informations et des compétences. 41

Un système trop complexe et très couteux ne servira à rien s'il ne répond pas aux exigences, à la stratégie et aux activités du projet. 3- La fiabilité. Les produits du système doivent être fiables. Les informations collectées ne doivent pas être caduques afin d'éviter de faire des analyses sur la base d'éléments dépassés conduisant indubitablement à une prise de décisions contraire à la réalité. Il faut donc alimenter régulièrement le système avec des informations nouvelles. La matrice du cadre logique doit être régulièrement revue pour mettre à jour les indicateurs, les sources de vérification, les hypothèses. C'est à ces conditions que le Suivi Evaluation peut réussir la noble mission qui est la sienne : le retour d'information sur les enseignements tirés.

C. Les étapes du suivi et évaluation d’un programmes de santé : 1. Description des cadres de S/E (Conceptuel, Logique et Résultats) ; 2. Identification des interventions/approches majeures permettant d’améliorer le programme ; 3. Discussion de l’impact principal et des indicateurs de résultat et identification des forces et faiblesses de ces indicateurs ; 4. Exemples spécifiques sur la manière dont les indicateurs de S&E sont utilisés pour l’amélioration du programme et la prise de décision ; 5. Développement d’un cadre conceptuel et identification des indicateurs de S&E d’une des interventions identifiées ; discussion également des sources de données, des forces et faiblesses des indicateurs (but des études de cas).

42

Bibliographie Indicative AFITEP, 1992. Dictionnaire de management de projet, deuxième édition. Collection AFNOR, Paris, 218 pages. Association des Cliniques Privées de Côte d’Ivoire. Apport du secteur privé dans le système sanitaire ivoirien [En ligne]. Cotonou; 2012 [cité le 4 mai 2015]. Lien: https://www.google. com/search?client=safari&rls=en&q=acpci&ie=UTF-8&oe=UTF-8#q=Présentation+ACPCI. pdf&rls=en&start=10 Commissions des Communautés Européennes, 1993. Gestion du Cycle de Projet : approche intégrée et cadre logique. Commissions des Communautés Européennes, Séries Méthodes et Instruments pour la gestion du cycle de projet, 67 pages Département de l'Evaluation des Opérations, 1999. Conception de projet : Suivi et évaluation. Banque Mondiale, Leçons et Pratiques Vol 2, N° 8, 16 pages. Département de l'Evaluation des Opérations, 1999. Méthodes utilisées pour porter un jugement sur leurs résultats et leurs effets. Banque Mondiale, Leçons et Pratiques Vol 2, N° 10, 16 pages. DANHOEGBE Edmond, 2007. Note de cours de Management des projets et suivi évaluation des projets et programmes ; 198pages. 43

G. Rubio, G. Prennushi et K. Subbarao, 2000. Projet pour commentaires : Suivi et Evaluation. Banque Mondiale, 28 pages. Vallet, G., 1997. Techniques de suivi de projet : assurer les conditions d'achèvement d'un projet. DUNOD, Paris, 187 pages.

44