Wirkungsanalyse

Indikatoren: Kleine Hilfe für große Wirkung

Um die Wirkung eines Förderprojekts bestimmen zu können, braucht es exakte Indikatoren, an denen sich der Erfolg festmachen lässt. Nur, wie lassen sich solche Indikatoren ermitteln?

Um herauszufinden, ob ein Förderprojekt seine Ziele und die beabsichtigten Wirkungen erreicht, müssen diese in objektivierbare Kenngrößen übersetzt werden. Diese Kenngrößen werden Indikatoren genannt.

Anhand dieser Indikatoren lässt sich feststellen, ob ein Ziel erreicht wurde oder ein bestimmtes Ereignis eingetreten ist. So sind gelbe Blätter an den Bäumen ein Hinweis dafür, dass es Herbst wird, und herumwirbelndes Laub ein Indikator für Wind.

Direkte und indirekte Indikatoren

Es lassen sich direkte und indirekte Indikatoren unterscheiden:

Direkte Indikatoren beziehen sich auf die angestrebte Wirkung. Sie lassen sich besonders gut formulieren für zählbare Sachverhalte wie Outputs oder leicht messbare Wirkungen.

Im Optimalfall sind sie sogar SMART. Besteht eines der Ziele etwa darin, Jugendliche in Ausbildung zu bringen, ließe sich der Indikator direkt ableiten als „Anzahl der Jugendlichen, die nach dem Training innerhalb von Zeitraum X einen Ausbildungsplatz erhielten“.

Nun sind Indikatoren keineswegs immer so klar und direkt ableitbar wie in diesem Beispiel. Vielmehr erscheinen manche Aspekte schlicht nicht überprüfbar. Wie etwa sollten sich Verhaltensänderungen bei ausbildungsschwachen Jugendlichen konkret und messbar feststellen lassen?

In diesen Fällen kommen indirekte Indikatoren zum Einsatz. Diese weisen zwar nur mittelbar – eben indirekt – auf ein Ergebnis hin. Aber sie sind dennoch ein probates Mittel, um einen schwer messbaren Sachverhalt bzw. ein weiches Ziel zu operationalisieren oder wenn sich die Zielerreichung gar nicht oder nur mit hohem Aufwand feststellen lässt.

Zielt etwa ein Projekt darauf ab, das Selbstbewusstsein ausbildungsschwacher Jugendlicher zu stärken, könnten indirekte Indikatoren für einen Zuwachs des Selbstbewusstseins sein, dass Einzelne nun deutlicher die eigene Meinung vertreten, eine andere Körperhaltung einnehmen oder überzeugendere Argumente finden.

Die Übersicht veranschaulicht die einzelnen Dimensionen direkter und indirekter Indikatoren:

Indikatoren im Projektzyklus

Indikatoren machen Ziele überhaupt erst überprüfbar. Zugleich liefern sie die relevanten Daten, inwieweit angestrebte Wirkungen erreicht werden. Entsprechend sind Indikatoren ein wesentliches Element, um Projekte über einen gesamten Projektzyklus hinweg wirkungsorientiert steuern zu können.

In der Planungsphase dienen Indikatoren dazu, die Ausgangssituation, die Bedarfe und die Wirkungsziele zu beschreiben („Was soll sich ändern und woran machen wir das fest?“). In der Projektumsetzung helfen Indikatoren dabei, zu prüfen, ob alles nach Plan verläuft und inwiefern Anpassungen notwendig sind („Sind wir noch auf Kurs?“). Und bei der abschließenden Bewertung dienen Indikatoren dazu, das Erreichte einordnen und vergleichen zu können („Wurden die gesteckten Ziele tatsächlich getroffen?“).

Indikatoren sollten bereits in der Planungsphase eines Projekts entwickelt werden – und zwar für das gesamte Projekt. Natürlich spricht nichts dagegen, im Projektverlauf weitere Indikatoren zu ergänzen. Generell sollte aber schon zum Projektstart hinreichend klar sein, welche Daten wann genau erhoben werden.

Sinnvollerweise existieren Indikatoren für jedes Ziel, analog zur Wirkungslogik des Projekts, mithin also auf Input‑, Output‑, Outcome- und Impact-Ebene. Darüber hinaus sind weitere Indikatoren sinnvoll, etwa um die Qualität der eigenen Arbeit bewerten zu können.

Indikatoren finden und entwickeln

In die Ziel- und Indikatorenentwicklung sollten alle Personen einbezogen werden, die an der Planung, Durchführung und Auswertung des Projekts beteiligt sind.

Entscheidend ist dabei, dass nicht nur die unmittelbar Projektbeteiligten eingebunden sind, sondern auch Förder*innen und andere wichtige Stakeholder. Auf diese Weise ist sichergestellt, dass alle Sichtweisen hinreichend berücksichtigt werden.

Um Indikatoren zu entwickeln, sind vier Schritte erforderlich. Grundlage ist dabei, dass bereits Ziele (auf Output- und Wirkungsebene) formuliert wurden:

Ideen sammeln: Im ersten Schritt ist zu überlegen, woran sich erkennen ließe, dass ein bestimmtes Ziel erreicht wurde. Je mehr Anhaltspunkte es gibt, desto besser.
Strukturieren und verfeinern: Im zweiten Schritt geht es darum die gesammelten Indikatoren zusammenzufassen und zu untergliedern. Gibt es Doppelungen? Wo sind Ergänzungen notwendig, um etwa „weiche Ziele“ wie eine angestrebte Stärkung des Selbstbewusstseins umfassend überprüfbar zu machen? Welche Indikatoren sind zählbar? Welche lassen sich eher beschreiben?
Formulieren: Bei wem soll was in welchem Zeitraum erreicht werden? – Je exakter Indikatoren diese Fragen beantworten, desto genauer lässt sich die Zielerreichung prüfen.

Aber Achtung: Die Herausforderung, Indikatoren SMART zu formulieren, kann dazu verleiten, vor allem zählbare Indikatoren zu formulieren. Das ist jedoch nicht zielführend. Vielmehr ist eine Kombination aus Indikatoren gefragt, auf deren Basis quantitative und qualitative Veränderungen festgestellt werden können.

Parallel zur Formulierung der Indikatoren ist zu überlegen, wie die Daten auf Basis des jeweiligen Indikators erhoben werden und woher die dafür notwendigen Informationen kommen. Denn ein Indikator nützt wenig, wenn die zu sammelnden Informationen nicht mit einem vertretbaren Aufwand erhoben werden können oder man an diese gar nicht erst herankommt.

Priorisieren: Im letzten Schritt geht es darum, aus der Vielzahl an Indikatoren diejenigen herauszufinden, mit denen die Zielerreichung sinnvoll und treffend, aber in einem ausgewogenen Aufwand-Nutzen-Verhältnis überprüft werden kann. Ziel ist keineswegs, möglichst viele Indikatoren zu haben und Terrabyte an Daten zu produzieren, sondern ein kleines, aber aussagekräftiges Set zu entwickeln.

Für jedes Ziel sollte es mindestens einen Indikator geben, es empfehlen sich jedoch insbesondere bei schwer überprüfbaren Zielen (z.B. Verhaltens- oder Einstellungsänderungen) mehrere Indikatoren, die die Zielerreichung aus verschiedenen Blickwinkeln betrachten. Bei der Priorisierung sollte auch in den Blick genommen werden, welche Berichtsanforderungen erfüllt werden müssen.

Indikatoren helfen bei der Überprüfung der Zielerreichung. Um Aussagen treffen zu können, wann in einem Projekt die Zielerreichung als Erfolg angesehen wird, müssen den Indikatoren „Soll-Werte“ zugeordnet werden, die sich an der Ausgangssituation orientieren.

Die Ausgangssituation (Baseline) spiegelt wider, wie sich die Lage vor dem Projektstart darstellt („5 % Jugendliche ohne Ausbildungsplatz im Stadtteil“).
Die Zielerreichung (Soll-Werte) beschreibt die geplante Veränderung („Quote Jugendlicher ohne Ausbildungsplatz im Stadtteil sinkt im Zeitraum X um 2 %“).

Kurz & knapp

Um die Wirkungen eines Förderprojekts feststellen zu können, bedarf es klar definierter, messbarer Indikatoren.

Die passenden Kenngrößen zu ermitteln, erfordert Fingerspitzengefühl, weil es einerseits nicht zu viele Indikatoren sein sollten, diese aber andererseits aussagekräftig genug sein müssen, um auf deren Basis quantitative und qualitative Aussagen über die Zielerreichung zuzulassen.

Folgende Punkte sollten dabei beachtet werden:

Die Indikatoren wurden gemeinsam mit den Stakeholdern entwickelt.
Jedem Ziel ist mindestens ein Indikator zugeordnet.
Unterschiedliche Aspekte eines Ziels werden durch verschiedene Indikatoren abgedeckt.
Es gibt nicht mehrere Indikatoren, die dasselbe messen.
Die Indikatoren sind SMART, berücksichtigen aber auch weiche Ziele, d.h. mehr qualitative Veränderungen, die sich eher beschreiben als zählen lassen.
Den Indikatoren sind (soweit möglich) Soll-Werte zugeordnet.

Indikatoren nehmen eine Schlüsselstellung in der wirkungsorientierten Projektsteuerung ein. Im Ergebnis heißt das: Projekte, die sich intensiv mit Indikatoren auseinandersetzen, sind auf einem guten Weg hin zu mehr Wirkung.

Und um herauszufinden, wie wirkungsorientiert Sie bereits arbeiten, können Sie auch unser Wirkometer befragen, das Ihnen in 10 Minuten Auskunft gibt, an welcher Stelle Sie stehen …