6.5.2 Qualitative Bewertungsmethoden
Artikel Methoden und Techniken
Qualitative Bewertungsmethoden spielen dann eine Rolle, wenn nicht-monetäre Aspekte (z. B. Qualität oder Sicherheit) in die Bewertung verschiedener Alternativen einbezogen werden sollen, also wenn rein quantitative Wirtschaftlichkeitsbetrachtungen keine eindeutigen Ergebnisse liefern oder wenn sie nicht sinnvoll durchführbar sind.
6.5.2.1 Nutzwertanalyse
In der Praxis werden quantitative Bewertungsverfahren häufig mit der Nutzwertanalyse kombiniert eingesetzt. Die Nutzwertanalyse (Muster siehe Praxisbeispiele) ist ein vielseitig einsetzbares Werkzeug, das bei diversen Auswahlentscheidungen sinnvoll anzuwenden ist. Der Nutzwert ist dabei der subjektive Wert, der durch die Eignung zur Bedürfnisbefriedigung bestimmt wird. Ziel der Nutzwertanalyse ist es, verschiedene komplexe Lösungsalternativen in Abhängigkeit zu den Präferenzen des Entscheidungsträgers und dem daraus abgeleiteten systematischen Zielsystem in eine Rangfolge zu bringen. Bei der Nutzwertanalyse ist das Ergebnis der Gesamtnutzwert. Die Alternative mit dem höchsten Gesamtnutzwert entspricht am besten den formulierten Vorstellungen und Zielen. In die Nutzwertanalyse können sowohl qualitative als auch quantitative Kriterien einbezogen werden. Quantitative Kriterien sind jedoch nur insoweit einzubeziehen, als es sich nicht um Zahlungs- bzw. Kosten-/Ertragsgrößen handelt. Diese sind in einem quantitativen Verfahren (z.B. Kapitalwertmethode) zu erfassen und dürfen nicht doppelt einfließen. Um eine höhere Objektivität zu erreichen, ist es empfehlenswert, die Bewertungen von mehreren Personen unabhängig voneinander vornehmen zu lassen.
6.5.2.1.1 Einsatzbereich
Stehen Lösungsalternativen zur Entscheidung an, die nicht oder nicht ausschließlich monetär bewertbar sind, ist die Nutzwertanalyse ein geeignetes Hilfsmittel zur Bewertung organisatorischer Gestaltungsvorhaben. Sie eignet sich ebenfalls, wenn durch die zur Bewertung anstehenden Lösungsvorschläge mehrere, nicht gleich gewichtete Ziele erfüllt werden sollen.
6.5.2.1.2 Verfahrenbeschreibung
Die Vorgehensweise der Nutzwertanalyse besteht aus systematischen, genau definierten Schritten, die aus Gründen der Objektivität und Transparenz der Ergebnisse genau befolgt werden sollte:
1. Bestimmung und Gewichtung der Bewertungskriterien
Um aus mehreren Lösungsalternativen die am besten geeignete auswählen zu können, werden Kriterien benötigt, anhand derer die Güte der Alternativen bewertet werden kann. An dieser Stelle wird das im Laufe der Erstellung des Projektauftrages genau definierte Zielsystem benötigt. Dort wurden die Muss- und Kann-Ziele für die Organisationsuntersuchung festgelegt, anhand derer jetzt die Kriterien für die Bewertung der Lösungsvorschläge bestimmt werden. Die Muss-Ziele sind in der Nutzwertanalyse nicht näher zu untersuchen, da ihre Erfüllung ohnehin Vorrausetzung ist. Es kommt nicht auf den Grad der Zielerfüllung an. Die aus den Kann-Zielen abgeleiteten Kriterien müssen hingegen durch die Vergabe von Punkten gewichtet werden (Gewichtungsfaktor Gf = Wert, der ausdrückt, wie wichtig die Erreichung eines Kriteriums ist). Je höher die Punktzahl, die für ein Kriterium vergeben wird, desto wichtiger und einflussreicher ist es. Zur Ermittlung der Gewichtungsfaktoren wird ein Paarvergleich empfohlen. Hierbei wird jedes Kriterium mit jedem anderen verglichen. Das Kriterium, das wichtiger ist, erhält eine höhere Anzahl an Punkten, das unwichtigere eine geringere. Sind beide Kriterien gleich wichtig, erhalten beide gleich viele Punkte. Eine detaillierte Beschreibung des Vorgehens befindet sich im Kapitel Prioritätenanalyse.
Hierfür kann folgende Tabelle zum Einsatz kommen:
Tabelle mit einem Beispiel zur Ermittlung der Gewichtungsfaktoren der Kriterien bei einer Nutzwertanalyse mit der Punkteskala 0-1-2 (Vergrößerung öffnet sich im neuen Fenster)
Beispiel zur Ermittlung der Gewichtungsfaktoren der Kriterien bei einer Nutzwertanalyse mit der Punkteskala 0-1-2
2. Beurteilung der Alternativen
Die Nutzwertanalyse ist ein Hilfsmittel für die Auswahl verschiedener Lösungsalternativen. Es werden in der Nutzwertanalyse jedoch nur die Alternativen betrachtet, die alle vorgegebenen Muss-Ziele erfüllen. In diesem Schritt wird beurteilt, wie gut eine Lösungsalternative die einzelnen Kriterien erfüllt. Der Grad der Zielerfüllung wird durch den Zielerfüllungsfaktor (Zf = Wert, der ausdrückt, wie gut ein bestimmtes Kriterium aus der Sicht des Bewertenden erreicht ist) ausgedrückt. Der Zielerfüllungsfaktor ist eine Punktzahl, die für alle Kriterien den gleichen Höchstwert haben muss. In der Regel wird der Punktwert durch eine Bewertungsskala von 0 – 10 ausgedrückt, wobei der Punktwert 10 vergeben wird, wenn eine Alternative das betrachtete Kriterium überragend erfüllt, der Punktwert 0, wenn das Kriterium nicht erfüllt wird:
| Erfüllung des Kriteriums | Zielerfüllungsfaktor |
|---|---|
| nicht erfüllt | 0 |
| gerade noch ausreichend | 1 |
| ausreichend | 2 |
| ausreichend – befriedigend | 3 |
| befriedigend | 4 |
| befriedigend - gut | 5 |
| gut | 6 |
| gut - sehr gut | 7 |
| sehr gut | 8 |
| sehr gut - überragend | 9 |
| überragend | 10 |
Zuordnung des Zielerfüllungsfaktors zum Grad der Zielerfüllung
Für jedes Kriterium und jede Lösungsalternative wird nun der Punktwert für den Zielerfüllungsfaktor vergeben. Es empfiehlt sich zeilenweise vorzugehen, um die Überschaubarkeit des Bewertungsvorganges sicherzustellen. Die Vergabe des Zielerfüllungsfaktors kann auf zwei Arten erfolgen:
- subjektive Schätzung/Diskussion der Zeilerreichung (wobei zu beachten ist, dass mehrere Bewertende ein ausgewogeneres Ergebnis erreichen)
- Abbildung der Beziehung Kriterienausprägung/Zielerfüllungsfaktor in einem Diagramm:
öffnet große Darstellung der Abbildung: Diagramm Kriterienausprägung/Zielerfüllungsfaktor (Vergrößerung öffnet sich im neuen Fenster)
Diagramm Kriterienausprägung/Zielerfüllungsfaktor
Welches Vorgehen gewählt wird, ist auch abhängig davon, ob ein Ziel quantifizierbar ist (beispielweise Kapazität eines Speichermediums) oder ob es sich um ein rein qualitatives Kriterium handelt.
3. Berechnung des Ergebnisses: Bestimmung der Teilnutzwerte und des Gesamtnutzwertes; Interpretation
Durch die Multiplikation der Gewichtungsfaktoren mit den Zielerfüllungsfaktoren werden für jede Lösungsalternative die Teilnutzwerte der einzelnen Kriterien errechnet:
Abbildung: Formel Teilnutzwert (TN) (Vergrößerung öffnet sich im neuen Fenster)
Der Gesamtnutzwert einer Alternative ergibt sich aus der Summe ihrer Teilnutzwerte:
Abbildung: Formel Gesamtnutzwert (GN) (Vergrößerung öffnet sich im neuen Fenster)
Dieses Vorgehen wird in der folgenden Tabelle veranschaulicht:
Beispiel zur Bestimmung eines Nutzwertes (Vergrößerung öffnet sich im neuen Fenster)
Beispiel zur Bestimmung eines Nutzwertes
Die Gesamtnutzwerte der einzelnen Lösungsalternativen werden nun in eine Rangfolge gebracht (im Beispiel hat Alternative 2 einen höheren Nutzwert als Alternative 1). Liegen die Nutzwerte nahe beieinander, so ist eine eindeutige Wertung nicht möglich und weitere Schritte zur Bewertung der Lösungsalternativen sollten unternommen werden. Möglich wäre
- das Hinzufügen weiterer Kriterien zur Nutzwertanalyse, die Verfeinerung der Wertmaßstäbe (Bewertungsskala von 10 auf 100 Punkte erhöhen) oder die Durchführung einer Risikoanalyse.
Um dem Entscheidungsträger eine ausreichende Grundlage für seine Entscheidung zu unterbreiten, sind die Ergebnisse sowohl der quantitativen als auch der qualitativen Methode darzustellen und eine beschreibende Begründung für den Entscheidungsvorschlag damit zu verbinden. Es ist darauf zu achten, dass die Gewichtung der monetären Bewertung in einem angemessenen Verhältnis zu der Gewichtung der qualitativen Bewertung steht. Sofern das Ergebnis nach Nutzwerten konträr zum Ergebnis bei der monetären Bewertung ausfällt ist ein darauf beruhender Entscheidungsvorschlag vertieft zu begründen. Eine Verrechnung der monetären Werte mit den Ergebnissen der Nutzwertanalyse der einzelnen Alternativen ist nicht zulässig.
6.5.2.1.3 Bewertung
Vorteile: Die Nutzwertanalyse liefert eine verhältnismäßig sachliche Bewertung verschiedener Lösungsalternativen auf Grundlage identischer Kriterien und Maßstäbe. Das Vorgehen ist nachvollziehbar und lässt auch einen Zeitvergleich (z. B. Vergleich des ursprünglichen Plans mit dem tatsächlichen Ist) zu.
Nachteil: Das verwendete Punktesystem täuscht eine Genauigkeit der Methode vor, die aufgrund der subjektiven Gewichtung und Bewertung der Zielerfüllung durch die Bewertenden nicht vorhanden ist.
6.5.2.2 Prioritätenanalyse
Sobald mehrere Ziele zu berücksichtigen sind, ist die Priorität der einzelnen Ziele zu bestimmen. Bei der Prioritätenanalyse wird eine Rangfolge für mehrere unabhängige Ziele (Einzelkriterien) durch Gewichten ihrer Bedeutung gebildet. Dabei kann eine unübersichtliche Kriterien- oder Zielsammlung sehr schnell vereinfacht und in eine Rangfolge gebracht werden. Zu diesem Zweck wird jedes einzelne Kriterium in einer Präferenzmatrix (Muster siehe Praxisbeispiele) mit jedem anderen paarweise verglichen und je nach Bedeutung mit 0, 1 oder 2 Punkten bewertet. Die Summe der Einzelbewertungen führt zu einer Aussage über das Gesamtgewicht jedes einzelnen Kriteriums. Um eine höhere Objektivität zu erreichen, werden solche Bewertungen meist von mehreren Personen vorgenommen. Dabei bewertet jeder die Kriterien für sich. Aus den verschiedenen Rangreihen, die so entstehen, wird eine einheitliche Gesamtrangreihe gebildet.
6.5.2.2.1 Einsatzbereiche
Die Prioritätenanalyse ist geeignet, eine Vielzahl voneinander unabhängiger Kriterien hinsichtlich ihrer Bedeutung zu gewichten. Besonders für die Priorisierung von Projektzielen ist die Prioritätenanalyse ein gutes Hilfsmittel.
6.5.2.2.2 Verfahrensbeschreibung
1. Vorbereitung
Zunächst werden die Kriterien oder Ziele formuliert, die später gewichtet werden sollen. Dabei ist wichtig, dass die Kriterien voneinander unabhängig und hinreichend aussagefähig sind. Lautet ein Bewertungskriterium beispielsweise allgemein "Wirtschaftlichkeit", sollte es weiter konkretisiert werden, zum Beispiel in Kosten pro Leistungseinheit, Wartungskosten, Serviceintervalle oder ähnliches.
2. Durchführung
Die formulierten Kriterien werden in eine Präferenzmatrix eingetragen und zeilenweise bewertet. Dabei werden die Bewertungspunkte in das entsprechende Feld eingetragen. Die Punkte können folgendermaßen vergeben werden (weitere Alternativen sind denkbar):
Tabelle zur Darstellung Punktvergabe für die Kriterien A : B (Vergrößerung öffnet sich im neuen Fenster)
Punktvergabe in der Präferenzmatrix
Das folgende Beispiel legt die Standardvariante zu Grunde:
Beispiel:
Tabelle zur Darstellung der Standardvariante zur Präferenzmatrix (Vergrößerung öffnet sich im neuen Fenster)
Beispiel Präferenzmatrix
3. Auswertung
Die einzelnen Punktwerte jeder Zeile werden addiert. Die Summe gibt die Rangfolge der Kriterien wieder. Dabei gilt, dass das Kriterium mit der höchsten Punktzahl den ersten Rang belegt und somit am wichtigsten ist. Auf die Erfüllung dieses Kriteriums durch eine Lösungsvariante muss besonders viel Wert gelegt werden.
6.5.2.2.3 Bewertung
Vorteile:
- Die Methode ist einfach anwendbar.
- Komplexe Kriterien- oder Zielsammlungen werden überschaubar.
- Die Nachvollziehbarkeit von Entscheidungen wird durch die Anwendung der Methode und Dokumentation der Ergebnisse gewährleistet.
Nachteile:
- Subjektive Beeinflussung der Ergebnisse durch die Bewertenden ist möglich.
6.5.2.3 Portfolioanalyse
Die ursprünglich aus dem Bereich Finanzwirtschaft stammende Analysemethode wird im Bereich der strategischen Planung angewendet. Sie eignet sich insbesondere dazu, für verschiedene Produkte oder Aufgabenbereiche Strategien abzuleiten, die die Erreichung der langfristigen strategischen Ziele einer Institution unterstützen. Auch für Organisationen der öffentlichen Verwaltung ist es notwendig, die eigene Kompetenz und Positionierung kritisch zu überprüfen und strategische Ziele für Dienstleistungen und Prozesse zu formulieren. Die Portfolioanalyse kann solche strategischen Erörterungen unterstützen.
6.5.2.3.1 Einsatzbereiche
Der Einsatz der Portfolioanalyse ist besonders dann geeignet, wenn die strategische Perspektive verschiedener Handlungsalternativen bewertet werden soll.
6.5.2.3.2 Verfahrensbeschreibung
Voraussetzung für die Portfolioanalyse ist die Untersuchung der Organisation und ihrer Aufgaben hinsichtlich ihrer Stärken und Schwächen und die Analyse des Umfeldes hinsichtlich vorhandener Chancen und Risiken. Ergebnis dieser Betrachtung ist ein Überblick über die strategischen Aufgaben der Organisation und der Faktoren, die deren Erfolg beeinflussen könnten. Die folgende Abbildung zeigt beispielhaft das Aufgabenportfolio einer Bundesbehörde, welches hinsichtlich Nachfrage und benötigter Fachkompetenz bewertet und eingeordnet wurde. Die Größe der Kreise gibt die Höhe des Aufwands wieder, der durch die Wahrnehmung der Aufgabe entsteht:
Grafik: Portfolioanalyse der Aufgaben einer Bundesbehörde (Vergrößerung öffnet sich im neuen Fenster)
Portfolioanalyse der Aufgaben einer Bundesbehörde
Anhand dieser Informationen, die aus einer sorgfältigen Untersuchung der Behörde und des Umfeldes stammen, können nun Handlungsalternativen entwickelt und/oder hinsichtlich ihres Nutzens für die strategischen Ziele der Behörde bewertet werden.
In der Abbildung ist beispielsweise zu erkennen, dass die Wahrnehmung der Aufgabe 2 einen vergleichsweise hohen Aufwand verursacht, dabei aber nur auf wenig öffentliches Interesse stößt. Zusätzlich ist die notwendige Fachkompetenz in der Behörde kaum vorhanden. Eine mögliche Handlungsalternative ist die Auslagerung der Aufgabe an eine andere Organisation oder der Wegfall der Aufgabe. Aufgabe 5 hingegen stößt auf eine hohe Nachfrage, die Kompetenz in der Behörde ist vorhanden. Diese Aufgabe könnte ausgebaut werden.
Zu beachten ist, dass die Handlungsspielräume in der öffentlichen Verwaltung meist eingeschränkt sind, so dass nicht alle abgeleiteten Alternativen tatsächlich durchführbar sind.
