Ob eine Evaluierung vor Ort oder in Online-Interviews sinnvoller ist, hängt von der Situation ab

In der Pandemie hat sich unser Berufs- und Privatleben auf digitale Plattformen verlagert, von virtuellen Meetings über Happy Hours bis hin zu Online-Yoga.

Für die Evaluierung bedeutete das Online-Interviews statt der üblichen Ortstermine – eine große Umstellung. Jetzt ist die Pandemie vorbei, und wir müssen entscheiden: Von nah oder fern? Sollten wir weiter die Vorzüge bequemer Online-Interviews nutzen, oder ist es sinnvoll, sich die Projekte wieder vor Ort anzusehen und die Gespräche dort zu führen?

Wir haben Evaluierungsfachleute der Europäischen Investitionsbank zu ihren jüngsten Erfahrungen befragt. Ihre Einschätzungen können Evaluierenden anderer Institutionen bei der Entscheidung helfen, was in welchen Fällen die beste Lösung ist.

Online-Interview und Ortstermin im Vergleich

Online oder vor Ort? Beide Formate haben ihr Für und Wider.

Ortsbesuche und persönliche Interviews liefern umfassende Einblicke in den Projektkontext und die Ergebnisse. Außerdem bieten sie Gelegenheit zum spontanen Austausch – auf der Fahrt zum Projektstandort etwa oder am Rande von Gesprächsterminen. Auch der Augenkontakt und andere Formen der nonverbalen Kommunikation lassen sich im persönlichen Kontakt besser beobachten. Sie liefern oft wichtige Informationen und sind notwendig, um Vertrauen zu schaffen. Auf der anderen Seite ist nicht zu übersehen: Reisen kosten mehr Zeit und mehr Geld, und sie belasten die Umwelt.

Dagegen sind Online-Interviews effizient und flexibel so planbar, dass alle teilnehmen können. Neben dem logistischen Aufwand entfallen auch die Kosten für das Budget und für die Umwelt. Besonders vorteilhaft sind virtuelle Formate für Menschen, die sich im persönlichen Gespräch eher unwohl fühlen. Manche empfinden Online-Interviews als weniger einschüchternd. Es fällt ihnen leichter, sich zu öffnen und frei auszudrücken. Aber virtuelle Meetings können auf Kosten der Gesprächstiefe gehen. Sie machen es schwerer, nonverbale Signale zu lesen und Vertrauen aufzubauen.

Was zu bedenken ist

Einige Dinge sind bei der Entscheidung zwischen online und vor Ort zu berücksichtigen:

-- Das Evaluierungsthema und welche Rolle die Gesprächsinformationen spielen. Das hängt vor allem vom Evaluierungsziel ab. Persönliche Interviews vor Ort sind unverzichtbar, wenn sie die Hauptinformationsquelle sind, um zu verstehen, ob Projekte erfolgreich waren und in welchem Kontext die Ergebnisse stehen.

Ein gutes Beispiel ist ein jüngster Evaluierungsbesuch der EIB in Subsahara-Afrika. Es ging um eine sektorbezogene Evaluierung von drei Landwirtschaftsprojekten, die von der Europäischen Investitionsbank finanziert wurden. Bei dem Besuch vor Ort konnten die Fachleute direkt mit verschiedenen Projektbeteiligten sprechen. Dazu zählten Mitarbeitende lokaler Banken, die EIB-geförderte Kredite vergaben und geschult wurden, Behörden sowie Menschen, denen die Projekte zugutekamen.

Das EIB-Team konnte auch mit Vertretern anderer internationaler Finanzinstitute sprechen, die in dem Land und dem Sektor aktiv sind. Das weitete ihren Blick für die Herausforderungen und gemeinsamen Anstrengungen vor Ort.  Unter dem Strich brachte dies ein tieferes Verständnis des offiziellen Rahmens, in den die Initiativen eingebettet sind – ein Verständnis, das aus der Ferne so nicht möglich gewesen wäre.

Ein weiteres Plus: Bei der Projektbesichtigung konnten die Evaluierenden die greifbaren Ergebnisse der Investitionen sehen. Die Gespräche mit Betroffenen und Beteiligten vermittelten ihnen ein genaueres Bild der Bedingungen und des Umfelds vor Ort. Dadurch verstanden sie die gesamte Dimension und Wirkung der Initiativen besser und gewannen ein klareres Bild davon, wie die finanzielle Unterstützung der Projekte die lokale Entwicklung fördert.

-- Die Zuverlässigkeit der Daten. Wenn verlässliche Monitoringdaten vorliegen, können Online-Interviews eine gangbare Alternative sein. Das gilt besonders, wenn die Daten einen umfassenden Einblick in das Projekt und seine Ergebnisse liefern.

Ein Beispiel bei der EIB ist die Evaluierung der Effektivität des Europäischen Fonds für strategische Investitionen. In diesem Fall lieferten virtuelle Interviews mit Fondsverantwortlichen einen guten Überblick über das Programm und seine Wirkung, ohne dass die einzelnen geförderten Unternehmen befragt werden mussten.

-- Praktische Zwänge. Bei der Entscheidung zwischen Online-Interview und Vor-Ort-Besuch sind auch die digitale Infrastruktur, die Zugänglichkeit und logistische Aspekte zu berücksichtigen. Oft bringt es wertvolle Aufschlüsse, wenn die Evaluierungsteams persönlich in entlegene Gebiete reisen, in denen die Bank Projekte finanziert. In manchen Fällen zwingen jedoch praktische Gründe zu Online-Interviews, etwa wenn Orte unzugänglich oder unsicher sind.

Flexibilität ist nötig

Die Fachleute der EIB sind dafür, die Vorteile beider Möglichkeiten immer abzuwägen. Im Einzelfall müssen sie klären, was mit der Evaluierung erreicht werden soll, wie zuverlässig ergänzende Daten sind und welche praktischen Zwänge es gibt. Die Entscheidung ist komplex und richtet sich nach jeweiligen Erfordernissen der Evaluierung.

Wer diese versteht, kann die Vorteile von Online-Interviews und Vor-Ort-Besuchen optimal nutzen, angepasst an die Situation. Die Coronazeit hat unsere Arbeitswelt verändert. Wie überall müssen wir auch bei der Evaluierung neu überlegen, wie wir die nötigen Informationen sammeln und dabei das richtige Verhältnis von „aus der Ferne“ und „persönlich“ finden.

Marla Hinkenhuis ist Teilnehmerin des Graduiertenprogramms der Europäischen Investitionsbank; Mónica Lledó Moreno und Milena Reinfeld arbeiten als Senior Evaluation Officers in der Evaluierungsabteilung, die die Aktivitäten der EIB-Gruppe unabhängig prüft.

Mehr über die Arbeit der Abteilung Evaluierungen unter http://www.eib.org/evaluation