Was ist eine Evaluierungssynthese? Unsere Evaluatorin erklärt, wie dieses wichtige Entscheidungstool funktioniert und was es bringt

Was ist eine Evaluierungssynthese?

Eine Evaluierungssynthese fasst den Stand der Evaluierungen zu einem bestimmten Thema zusammen. Es ist eine systematische Übersichtsarbeit, ähnlich wie bei einer wissenschaftlichen Literaturauswertung. Sie identifiziert, bewertet und aggregiert Ergebnisse aus verschiedenen Studien, um konkrete Fragen zu beantworten. Im Unterschied zu einer Literaturauswertung betrachtet sie jedoch die Evidenz systematisch, um potenzielle Voreingenommenheiten bei den Ergebnissen auszuschließen.

Wie sind wir vorgegangen?

Letztes Jahr nahm die Evaluierungsabteilung der EIB-Gruppe eine Evaluierungssynthese von Energieeffizienzinterventionen an Wohngebäuden vor. Das war für uns Neuland. Um bestmöglichen Nutzen aus diesem Pilotprojekt zu ziehen, arbeiteten wir mit der International Initiative for Impact Evaluation (3ie) zusammen, die weltweit führend die rigorose Evidenz von Entwicklungsvorhaben fördert und synthetisiert. Dabei haben wir einiges gelernt, was auch für andere Evaluierende nützlich sein könnte:

• Vorteile der Evaluierungssynthese
• Warum eine Evidenzkarte ein guter Start sein kann
• Evaluierungssynthese – Pro und kontra

Welche Vorteile hat eine Evaluierungssynthese?

Oft liegt bereits eine sehr umfangreiche Evidenz vor. Außerdem erscheinen Ergebnisse aus der Evidenz manchmal widersprüchlich, entweder aufgrund der Qualität der Forschung oder weil Ergebnisse durch die Forschungsumstände beeinflusst werden. Wird die Evidenz im Rahmen der Evaluierungssynthese beschafft, beurteilt und anschließend zusammengefasst, kann sie leichter genutzt werden.

Das macht sie besonders nützlich für Entscheidungstragende, denen es an Zeit mangelt und die wissen wollen, was unter welchen Umständen besser oder schlechter funktioniert. Ebenso nützlich sind Evaluierungssynthesen auch für Evaluierende und Forschende, die wissen wollen, wo es bereits eine solide Evidenz gibt und wo noch Lücken bestehen.

Für eine Evaluierungssynthese gilt Folgendes:

• Der Umfang und die Methoden werden vorab in einem Studienprotokoll festgelegt, das klare Ein- und Ausschlusskriterien festlegt (transparent)
• Die Suche ist umfassend und beinhaltet veröffentlichte und unveröffentlichte Studien in allen Sprachen (unvoreingenommen)
• Die Qualität der Studien wird kritisch geprüft, um die Zuverlässigkeit der berücksichtigten Studien zu bewerten (rigoros)
• Die Datenextraktion und -organisation ist systematisch und reproduzierbar (transparent)

Was ist eine Evidenzkarte?

Eine Evidenzkarte (Evidence Gap Map) gibt einen Überblick über die vorhandene Evidenz zu einem Thema.

Warum eine Evidenzkarte ein guter Start sein kann

Anstatt uns auf ein Thema und eine Forschungsfrage für unsere Evaluierungssynthese zu einigen, die vorhandene Evidenz zu beschaffen und eine Synthese der Ergebnisse zu erstellen, begannen wir mit einer Evidenzkarte. Der Vorteil dabei ist, dass dabei sämtliche verfügbare Evidenz zusammengetragen wird. Dies hilft, künftige Forschungsprioritäten zu ermitteln und Doppelarbeit zu vermeiden.

 

Die Evidenzkarte:

• macht die vorhandene Evidenz besser zugänglich
• identifiziert Syntheselücken (Bereiche, in denen viel Primärforschung vorliegt, die aber noch nicht in einer Evaluierungssynthese zusammengefasst wurde)
• zeigt primäre Evidenzlücken auf (Bereiche mit wenig oder keiner Evidenz)
• kann als Entscheidungshilfe für die künftige Evaluierungsarbeit dienen

Durch den zweistufigen Ansatz (zuerst Evidenzkarte, dann Evaluierungssynthese) vermieden wir eine „leere“ Synthese. Diese hätte unsere Forschungsfragen nicht beantwortet. Sie hätte uns nur gezeigt, dass weitere Primärforschung notwendig ist.

Was haben wir daraus gelernt?

Evidenzkarten können helfen, eine „leere“ Evaluierungssynthese zu verhindern, aber:

• sie sind zeitaufwendig (sechs bis zwölf Monate, je nach Umfang der Evidenz)
• sie lassen nicht erkennen, was die Evidenz aussagt
• sie bewerten nicht die Qualität der ermittelten Primärevidenz (besonders wichtig für graue Literatur/nicht veröffentlichte Studien)
• sie sind am nützlichsten für Evaluierende und Forschende, aber weniger interessant für operative Mitarbeiterinnen und Mitarbeiter

Ergebnisse von Evaluierungssynthesen sind robuster als Ergebnisse einer einzigen Studie. Sie lassen Schlussfolgerungen darüber zu, was über konkrete Kontexte hinaus besser oder schlechter funktioniert. Aber:

• Die Fragen, die sie beantworten können, hängen immer von der verfügbaren Evidenz ab.
• Wenn sie auf Effektivitätsstudien fokussiert sind (randomisierte Kontrollversuche/quasi-experimentelle Evidenz), geben sie eher keinen Aufschluss über die Mechanismen (warum/wie) und erklären die Ergebnisse eher nicht.

Wir fanden eine gute Anzahl von Studien, die denselben Outcome maßen (Energieverbrauch). Somit konnten wir eine Metaanalyse durchführen. Der Vorteil einer Metaanalyse ist, dass sie mehrere kleinere Studien kombinieren und dadurch den Stichprobenumfang erweitern und die Genauigkeit der Ergebnisse steigern kann.

Die Evaluierungsfunktion führt unabhängige Evaluierungen der Aktivitäten der EIB-Gruppe durch. Sie hilft der Gruppe, Rechenschaft gegenüber ihren Stakeholdern abzulegen und ihre Arbeit weiter zu verbessern. Damit fördert sie eine Kultur des Lernens und evidenzbasierte Entscheidungen.

Mehr über die Arbeit der Abteilung Evaluierungen unter Evaluierung (eib.org)