2.5.2 Evaluierung der Projektergebnisse und Maßnahmen
Artikel Vorgehensmodell
Bei der Evaluierung von Ergebnissen und Maßnahmen geht es um die systematische Analyse der Wirkungen, die durch die Umsetzung des Soll-Konzepts einer Organisationsuntersuchung erzielt werden.
Die Ergebnisse von Organisationsprojekten können auf verschiedenen Ebenen wirken. Es wird in diesem Zusammenhang unterschieden zwischen:
- Output: direktes, messbares, operatives Ergebnis des Produktionsprozesses der Verwaltung (Beispiel: Anzahl der Bewilligungsbescheide nach dem Bundesausbildungsförderungsgesetz).
- Outcome: langfristige, strategische, politisch beabsichtigte Wirkung, (im Beispiel: Erhöhung der Anzahl der Studierenden).
Eine Voraussetzung für die Evaluierung von Projektergebnissen und Wirkungen ist die saubere Definition von Zielen und Indikatoren für die Zielerreichung. Dies sollte schon vor dem Beginn eines Projektes bei der Zielformulierung (Projektinitierung) berücksichtigt werden. Nur konkret definierte Ziele sind im Nachhinein bewertbar.
Weitere Voraussetzung für die Wirkungsmessung ist die Durchführung einer Ausgangsmessung. Nur bei Kenntnis der Ausgangslage sind Veränderungen überhaupt identifizierbar.
Durchführung
Die Evaluierung besteht aus zwei Hauptteilen:
- der Informationsgewinnung anhand empirischer Methoden sowie
- der Bewertung anhand transparenter Kriterien.
Um eine Analyse der Wirkungen durchführen zu können, sind zunächst die Kriterien festzulegen, anhand derer die Bewertung später erfolgen soll. Die Festlegung sollte gemeinsam durch die Evaluierenden und den Auftraggeber der Evaluierung erfolgen. Die Kriterien sind von den Zielen des Organisationsprojektes gemäß Projektauftrag abzuleiten.
Beispiel: Ziel der Organisationsuntersuchung einer Behörde war die Entwicklung geeigneter Maßnahmen zur Verkürzung der Durchlaufzeit eines antragsgebundenen Prozesses um 50% und der Senkung der Prozesskosten um 20%. Die Qualität des Produktes sollte dabei gleich bleiben. Die Maßnahmen wurden im Anschluss an die Untersuchung durch die Behörde umgesetzt und sollen jetzt einer Wirkungsanalyse unterzogen werden. Folgende Bewertungskriterien lassen sich von den Projektzielen ableiten:
| Projektziel | Bewertungskriterium für Evaluierung | Indikator/ Messgröße |
|---|---|---|
| Durchlaufzeit um 50% senken | Durchlaufzeit | Durchlaufzeit |
| Prozesskosten um 20% senken | Prozesskosten | Prozesskosten |
| Qualitätsniveau beibehalten | Qualitätsniveau | Anzahl erfolgreicher Widersprüche |
Abhängigkeit von Projektziel - Evaluierungskriterium - Indikator (Beispiel)
Die Wirkung organisatorischer Maßnahmen auf den Output ist in der Regel anhand quantitativer Messgrößen einfach zu bewerten. Zu diesem Zweck findet ein Soll-Ist-Vergleich zwischen dem gewünschten, zum Ziel erklärten Output (vor Umsetzung der Maßnahmen) und dem tatsächlich erreichten Output nach Umsetzung der Maßnahmen statt. Die Maßnahmen sind dann als wirksam zu bewerten, wenn die Ist-Werte die Soll-Werte erreichen beziehungsweise in der gewünschten Richtung übersteigen.
Beispiel:
- Durchlaufzeit des Prozesses vor Umsetzung einer organisatorischen Maßnahme: 10 Tage
- Soll-Wert der Durchlaufzeit (Ziel der Maßnahme): 5 Tage (50%)
- Ist-Wert der Durchlaufzeit nach Umsetzung der organisatorischen Maßnahme: 7 Tage
Ergebnis: Die Maßnahmen sind nicht im erwarteten Umfang wirksam, da das Ziel nicht erreicht wurde.
Wesentlich schwieriger zu bewerten ist die Wirksamkeit organisatorischer Maßnahmen auf der strategischen Ebene des Outcome, da sich dieser aufgrund seines eher qualitativen Charakters nur bedingt und über Umwege messen lässt. Hinzu kommt, dass die Wirkung in der Regel erst mit einer gewissen zeitlichen Verzögerung zu ermitteln sein wird.
Die Erreichung der Ziele und somit die Wirksamkeit einer Maßnahme wird in aller Regel nur mit Hilfe von Indikatoren gemessen werden können. Messgrößen sind dabei quantifizierbare Werte, welche auf dem Weg von Soll-Ist-Vergleichen Aufschluss über die Erreichung von Zielen geben. Indikatoren sind Kenngrößen, die über einen festgelegten, nicht oder nur sehr schwer messbaren Tatbestand Auskunft geben sollen.
Unterschieden werden können Indikatoren bezüglich ihrer Wirkungsebene entsprechend den obigen Ausführungen in Output- und Outcome-Indikatoren.
Outputindikatoren stellen die unmittelbaren und konkreten Ergebnisse der durchgeführten Maßnahmen dar. Outcome-Indikatoren dagegen beziehen sich auf den Nutzen beziehungsweise die Resultate, welche durch den Output im Hinblick auf die Zielsetzungen erreicht werden konnten.[1] Die Entwicklung von Indikatoren zur Wirkungsmessung erfolgt in den folgenden Schritten:
| Schritte | Beispiel (Fortführung) |
|---|---|
| Messziele festlegen: Über welchen Aspekt soll der Indikator Auskunft geben? | Qualitative Entwicklung eines Leistungserstellungsprozesses (Antragsverfahren) |
| Ableitung beobachtbarer Sachverhalte: Über welchen Sachverhalt kann das Messziel beobachtet werden? | Widersprüche gegen die Bescheide |
| Korrespondenzregeln finden: Welcher Zusammenhang besteht zwischen dem beobachteten Sachverhalt und dem Messziel? | Die Qualität der Antragsbearbeitung hat abgenommen, wenn die Anzahl der erfolgreichen Widersprüche steigt. |
| Ableitung des Indikators | Anzahl der begründeten Widersprüche, auf die ein Abhilfebescheid ergeht |
| Überprüfung des Indikators auf Validität und Reliabilität: Lässt der Indikator tatsächlich Aussagen über die Wirkung einer Maßnahme zu? Ist die Messung jederzeit unter gleichen Voraussetzungen wiederholbar? | Die Anzahl der erfolgreichen Widersprüche kann auch durch andere Aspekte beeinflusst sein. Beispiel: Abhilfebescheid ergeht aufgrund mangelnder Mitwirkung des Antragstellers (nicht vorgelegte, für die Antragsprüfung zwingend erforderliche Unterlagen). Im Rahmen des Widerspruchsverfahrens führen die dann vorgelegten Unterlagen zur Stattgabe. In diesem Fall muss ein weiterer Indikator gefunden werden, um die Ergebnisse zu validieren. |
Schritte zur Entwicklung von Indikatoren
Die Evaluierung von Organisationsprojekten und deren Ergebnissen hat nicht nur große Bedeutung für das abgeschlossene Projekt selbst. Werden die Erfahrungen und Erkenntnisse aufbereitet und für alle zugänglich gemacht, können auch langfristige Wirkungen für die erfolgreiche Durchführung und Umsetzung künftiger Organisationsprojekte erreicht werden.
