Qu’est-ce qu’un examen systématique ? Notre évaluatrice explique comment fonctionne cet important outil d’aide à la prise de décision et ce qu’il peut vous apprendre.

Qu’est-ce qu’un examen systématique ?

Un examen systématique est une synthèse des travaux disponibles sur un sujet particulier ; il s’apparente à une analyse documentaire. Il a vocation à recenser, évaluer et synthétiser les résultats de plusieurs études pour répondre à des questions spécifiques. La principale différence avec une analyse documentaire tient à son approche systématique de la collecte des données factuelles, évitant ainsi d’éventuels biais dans les résultats.

Comment avons-nous procédé pour notre examen systématique ?

L’année dernière, la division Évaluation du Groupe BEI a effectué un examen systématique de l’efficacité énergétique dans les immeubles d’habitation. C’était la première fois que nous recourions à un examen systématique. Afin de tirer le meilleur parti de ce projet pilote, nous avons collaboré avec l’Initiative internationale pour l’évaluation d’impact, connue sous le nom de 3ie, un chef de file mondial dans la production et la synthèse de données factuelles rigoureuses. De ce processus, nous avons tiré certains enseignements utiles à d’autres évaluateurs que nous souhaitons partager :

• De l’intérêt de recourir à un examen systématique
• De l’utilité de commencer par un inventaire des données factuelles
• Les avantages et les inconvénients à garder à l’esprit lors d’un examen systématique

Quel est l’intérêt de recourir à un examen systématique ?

Il existe souvent une grande quantité de données factuelles. De surcroît, les résultats des données factuelles peuvent parfois sembler contradictoires, soit en raison de la qualité de la recherche, soit parce que les résultats sont influencés par les circonstances dans lesquelles la recherche a été menée. Du fait qu’ils rassemblent, évaluent puis synthétisent les données factuelles, les examens systématiques en facilitent l’utilisation.

Ils sont par conséquent particulièrement utiles aux décideurs qui ont peu de temps devant eux et qui veulent comprendre ce qui fonctionne et ce qui ne fonctionne pas, et dans quelles circonstances. Mais les examens systématiques sont tout aussi utiles aux évaluateurs et aux chercheurs qui peuvent distinguer les domaines où il existe déjà des données factuelles solides en grande quantité et les domaines où des lacunes subsistent.

Dans le cadre d’un examen systématique :

• le champ d’application et les méthodes sont définis d’emblée dans un protocole d’étude, qui définit des critères d’inclusion clairs (transparence) ;
• la recherche est exhaustive et comprend des études publiées et non publiées, toutes langues confondues (recherche non biaisée) ;
• une évaluation critique de la qualité des études incluses est effectuée afin d’en évaluer la fiabilité (recherche rigoureuse) ;
• l’extraction et l’organisation des données sont systématiques et reproductibles (transparence).

Qu’est-ce qu’un inventaire des (lacunes dans les) données factuelles ?

L’inventaire des lacunes dans les données factuelles est un outil conçu pour donner un aperçu des données factuelles disponibles sur un sujet.

De l’utilité de commencer par un inventaire des données factuelles

Au lieu de convenir d’un sujet et d’une question de recherche pour notre examen systématique, puis de recueillir les données factuelles disponibles et de synthétiser les résultats, nous avons commencé l’examen par une cartographie des données factuelles. Cette approche a l’avantage de dresser un inventaire de toutes les données factuelles disponibles, ce qui peut contribuer à déterminer les futures priorités de recherche et éviter les doubles emplois.

L’inventaire des lacunes dans les données factuelles permet par conséquent de :

• rendre les données factuelles existantes plus accessibles ;
• recenser les lacunes en matière de synthèse (domaines comportant une recherche primaire importante qui n’a pas encore fait l’objet d’une synthèse dans le cadre d’un examen systématique) ;
• faire ressortir les lacunes dans les données primaires factuelles (domaines comportant peu ou pas de données factuelles) ;
• guider les décisions pour de futurs travaux d’évaluation.

Cette approche en deux étapes (inventaire des données factuelles avant l’examen systématique) nous a permis d’éviter un examen systématique « vide ». Un examen vide ne répondrait pas à nos questions de recherche. Il nous apprendrait plutôt qu’il est nécessaire de mener une recherche primaire plus approfondie.

Quels enseignements avons-nous tiré sur les inventaires de données factuelles et les examens systématiques ?

Les inventaires des lacunes dans les données factuelles peuvent permettre d’éviter un examen systématique vide. Toutefois, il convient de noter que ces inventaires :

• prennent beaucoup de temps (6-12 mois selon la quantité de données factuelles) ;
• ne nous permettent pas de savoir ce que disent les données factuelles ;
• n’évaluent pas la qualité des données primaires factuelles recensées (un aspect particulièrement important pour la littérature grise et les études non publiées) ;
• sont particulièrement utiles aux évaluateurs et aux chercheurs, mais présentent moins d’intérêt pour le personnel opérationnel.

Les résultats des examens systématiques sont plus solides que les résultats d’une étude unique. Ils permettent de tirer des conclusions sur ce qui fonctionne et sur ce qui ne fonctionne pas au-delà de contextes spécifiques. Il convient toutefois de noter les points suivants :

• les questions auxquelles les examens systématiques peuvent répondre seront toujours guidées par les données factuelles disponibles ;
• si les examens systématiques portent sur des études d’efficacité (essais comparatifs randomisés/données factuelles quasi expérimentales), il est peu probable qu’ils soient en mesure de nous en apprendre beaucoup sur les mécanismes (pourquoi/comment) et d’expliquer les résultats.

Nous avons pu recenser un bon nombre d’études mesurant la même réalisation (consommation d’énergie), ce qui nous a permis de réaliser une méta-analyse. L’avantage d’une méta-analyse tient à ce qu’elle peut combiner plusieurs études de petite dimension et ainsi augmenter la taille de l’échantillon et la précision des résultats.

La fonction d’évaluation procède à des évaluations indépendantes des activités du Groupe BEI. Elle l’aide à rendre des comptes à ses parties prenantes et à tirer des enseignements sur la manière d’améliorer constamment son travail, contribuant ainsi à une culture d’apprentissage et à une prise de décision fondée sur des données factuelles.

Pour en savoir plus sur la fonction d’évaluation (eib.org).