Wieso eigentlich sich die Mühe machen, ein Projekt zu evaluieren? Auf diese Frage gibt es mehr als eine Antwort. Zunächst ist eine Evaluation für die Messung des Erfolgs eines Wisskomm-Projekts wesentlich. Denn sie kann Aufschluss über die Wirkung, Reichweite und die erreichte Zielgruppe des Projekts geben. Diese Informationen sind ebenfalls elementar für die Weiterentwicklung und Verbesserung von Wisskomm-Projekten. Darüber hinaus ist auch für Förderer der Wissenschaftskommunikation interessant zu wissen, was Projekte leisten und wie sie auf die Gesellschaft und die Zielgruppe wirken. Zeigt ein Projekt Wirkung, besteht ein Anreiz für Förderer, weitere Fördermittel in dieses oder ähnliche Projekte zu investieren.
Und worauf kommt es bei einer guten Evaluation nun an? Laut der Gesellschaft für Evaluation (DeGEval) zeichnet sich eine qualitativ hochwertige Evaluation dadurch aus, dass sie nützlich, durchführbar, fair und genau ist. Eine nützliche Evaluation richtet sich an ihrem zu Beginn festgelegten Motiv aus und liefert im Ergebnis Informationen, die für die beteiligten Personen wirklich relevant sind. Wird die Evaluation effizient gestaltet und berücksichtigt sie die Projektumstände und -ressourcen, so gilt sie ebenfalls als durchführbar. Zusätzlich ist sie fair, wenn der Umgang mit allen Beteiligten respektvoll und rechtskonform ist. Ist die Evaluationsdurchführung nachvollziehbar und lassen sich Evaluationsergebnisse auf Basis wissenschaftlicher Gütekriterien als korrekt und verlässlich kategorisieren, dann gilt die Evaluation darüber hinaus als genau.
Wie läuft eine Evaluation konkret ab? Die Evaluation eines Projekts beginnt bereits vor der Durchführung des Projekts und dauert bis über das Projektende hinaus an. Betrachten wir als Beispiel das Wisskomm-Projekt der fiktiven Person Rahel. Das Wisskom-Projekt von Rahel ist eine Ausstellung zum Thema Robotik. Diese verfolgt die Ziele, auf spielerische Weise Wissen über das Thema zu vermitteln und Bedenken gegenüber Robotik abzubauen. Durch eine Evaluation möchte Rahel herausfinden, ob die Ausstellung diese Ziele erreicht. Das Konkretisieren des Projektziels ist ein wichtiger Schritt im Evaluationsprozess, da Rahel dadurch spezifische Evaluationsfragen formulieren kann: Verbessert die Ausstellung das Verständnis des Themas Robotik bei den Besucher:innen? Welche Erkenntnisse sind für Besucher:innen besonders eindrücklich? Das Formulieren der Evaluationsfragen hilft Rahel, im nächsten Schritt ein passendes Evaluationsdesign zu entwickeln. Da sich Rahel für die Wirkung der Ausstellung interessiert, entscheidet sie sich für eine summative Evaluation während des Projekts.
Als Evaluationsinstrumente wählt Rahel ein spielerisches Wissens-Quiz und eine Pinnwand, auf der Besucher:innen eindrückliche Erkenntnisse sammeln können. Durch das Durchführen des Quiz sowohl am Anfang als auch am Ende des Ausstellungsbesuchs soll anhand eines Vorher-Nachher-Vergleichs die Wirkung der Ausstellung ermittelt werden. Da die Datenerhebung sehr aufwendig ist, entschließt sich Rahel, die Durchführung auf eine Woche zu beschränken, dafür aber alle Besucher:innen einzubeziehen (d.h. eine Vollerhebung durchzuführen). Nach der Durchführung werden der Datensatz bereinigt, eine Auswertungsstrategie entwickelt und die Ergebnisse in einem Evaluationsbericht aufbereitet.
Das Beispiel verdeutlich, warum es empfehlenswert sein kann, die Evaluation bereits vor Beginn der Projektdurchführung zu planen. Sind Motivation und Ziel der Evaluation im Vorfeld bekannt, können die weiteren Evaluationsschritte während der Projektdurchführung auf diese abgestimmt werden. Dadurch wird die Wahrscheinlichkeit des Erkenntnisgewinns durch die Evaluation gesteigert. Somit ist die Evaluation kein abschließender Projektschritt, sondern ein laufender Prozess, der das Projekt von Anfang an begleitet.
Jana Rosenfeld für Zum Staunen*
