Definition der Elemente eines Bewertungssystems
Ein Bewertungssystem besteht aus drei Kernelementen: einer Interventionslogik, den Bewertungsfragen und Indikatoren.
/file/30499_deelements_de.png
Interventionslogik
Der Programmplan oder die Interventionslogik stellt die logische Verknüpfung zwischen dem zu lösenden Problem (oder dem angestrebten Ziel), den zugrundeliegenden Faktoren des Problems und den zur Lösung des Problems oder Erreichung des Ziels verfügbaren politischen Optionen dar. Die Interventionslogik dient als Bewertungsgrundlage.
Bewertungsfragen
Bewertungsfragen definieren den Fokus von Bewertungen mit Blick auf die jeweiligen politischen Ziele. Sie helfen auch, Fortschritte, Wirkungen, Erfolge, Wirksamkeit, Effizienz und Relevanz der Politik nachzuweisen (z. B. „inwieweit haben LEP-Interventionen zu einer effizienteren landwirtschaftlichen Nutzung von Wasser beigetragen?“). Bewertungsfragen bilden den Fokus von Bewertungen.
Indikatoren
Ein Indikator ist ein Instrument zur Erfolgsmessung hinsichtlich eines Ziels (z. B. eine verwendete Ressource, ein erzeugter Output, ein erzielter Effekt). Indikatoren dienen auch zur Beschreibung des (wirtschaftlichen, sozialen oder umweltbezogenen) Kontexts. Die von einem Indikator gelieferten Informationen werden als Messinstrument verwendet. Indikatoren sind aggregierte Daten, die es erlauben, ein Phänomen zu quantifizieren (und vereinfachen). Indikatoren stellen die Messinstrumente dar, mit denen Nachweise für alle Bewertungen gesammelt werden.
Zusammenführung aller Bewertungselemente
Um Bewertungen durchführen zu können, müssen diese drei Elemente mit verschiedenen Bewertungsansätzen, Methoden, Daten und Informationen untermauert werden.
Ein Bewertungsansatz ist eine Herangehensweise an eine Bewertung. Er deckt die Konzeption und praktische Durchführung einer Bewertung, sodass Nachweise der Wirkungen und Erfolge von Interventionen gesammelt werden können. Bewertungsmethoden sind Familien von Bewertungstechniken und -instrumenten, die verschiedene Zwecke erfüllen. Sie beinhalten im Allgemeinen Abläufe und Protokolle, die bei der Durchführung jeder Bewertung einen systematischen, stimmigen Ansatz sicherstellen. Bewertungsansätze und -methoden ermöglichen es, die Wirkungen und Folgen einer spezifischen Intervention zuzuschreiben. Sie helfen politischen Entscheidungsträgern so, den tatsächlichen Wert jeder Intervention zu verstehen.
Daten, Daten, Daten
Daten sind quantitative Informationen zu ausgewählten Indikatoren oder Variablen, die an der Quelle selbst (z. B. anhand von Erhebungen, Monitoring oder Statistiken von Organisationen) oder aus bereits bestehenden Quellen (Studien, aggregierte Statistiken usw.) erhoben werden können. Auch qualitative Informationen können erfasst werden, um für die Bewertung Kontext zu schaffen. Qualitative Informationen können primär von verschiedenen Interessenträgern (Managern einer Intervention, Begünstigten usw.) anhand von verschiedenen qualitativen oder kombinierten Methoden (Erhebungen, Fallstudien, Fokusgruppen, Interviews usw.) gesammelt werden. Daten und Informationen bilden die Nachweise für die Bewertung.
Verknüpfungen für ein stimmiges Bewertungssystem
Die folgende Abbildung zeigt die Verknüpfungen für eine Übereinstimmung zwischen der Interventionslogik und den anderen Bewertungselementen, den Bewertungsfragen und Indikatoren. Diese müssen vor Beginn der Bewertung festgelegt werden.
/file/30500_delinkages_de.png
Die blau hinterlegten Kästchen zeigen die Beziehung zwischen den Bedarfen, die in der SWOT-Analyse und Bedarfsabschätzung ermittelt (und als Ziele formuliert) wurden, und den Aktionen (Maßnahmen, Aktivitäten, Projekte), die im Rahmen der bereitgestellten Finanzmittel ausgeführt werden, um diese Ziele und erwarteten Wirkungen zu erreichen. Diese blau hinterlegten Kästchen bilden die Interventionslogik. Die erwarteten Effekte sind als Outputs, Ergebnisse und Wirkungen definiert:
- Outputs sind Aktionen, die mit den einer Intervention zugeteilten Mitteln finanziert und umgesetzt werden. Outputs können in Form von Einrichtungen oder Werken vorliegen (z. B. Bau einer Straße, Investition in einem landwirtschaftlichen Betrieb, Unterkünfte für Tourismus). Sie können auch die Form immaterieller Dienstleistungen annehmen (z. B. Schulungen, Beratungsdienste, Information).
- Ergebnisse sind die direkten Vor- bzw. Nachteile, die Begünstigte am Ende ihrer Teilnahme an einer öffentlichen Intervention oder nach Fertigstellung einer im Rahmen einer Intervention finanzierten Einrichtung erfahren. Ergebnisse können festgestellt werden, wenn ein Begünstigter oder Betreiber eine Aktion abschließt und darüber Bericht erstattet, wie die zugeteilten Mittel ausgegeben und verwaltet wurden. Diese Berichterstattung kann vielerlei Formen annehmen; es kann beispielsweise berichtet werden, dass der Bau einer Straße die Zugänglichkeit verbessert hat oder dass Firmen, denen Beratungsdienste erbracht wurden, Zufriedenheit melden. Diese Ergebnisse sollten regelmäßig überwacht werden. Politische Entscheidungsträger können die Durchführung der Intervention entsprechend den festgestellten Ergebnissen anpassen.
- Wirkungen sind im Allgemeinen die Veränderungen, die längerfristig mit einer bestimmten Intervention verbunden sind. Solche Wirkungen können in verschiedenen Zeitrahmen eintreten, verschiedene Akteure betreffen und auf verschiedenen Ebenen relevant sein (lokal, regional, national, EU).
Die rot hinterlegten Kästchen kennzeichnen Bewertungsfragen. Dies sind generell Fragen nach Ursache und Wirkung, die Nettowirkungen erfassen sollen und mit den Zielen verknüpft sind. Bewertungsfragen können durch Beurteilungskriterien konkretisiert werden, die definieren, wie für jedes (Gesamt- und spezifische) Ziel Erfolg erreicht werden soll. Bewertungsfragen verknüpfen Ziele mit Indikatoren.
Die grün hinterlegten Kästchen kennzeichnen Indikatoren. Diese sollten sowohl mit den Beurteilungskriterien oder Bewertungsfragen als auch mit den erwarteten Effekten (Outputs, Ergebnisse und Wirkungen) übereinstimmen.
Es können verschiedene Arten von Indikatoren verwendet werden:
- Outputindikatoren messen Aktivitäten, die direkt innerhalb des Programms umgesetzt werden. Diese Aktivitäten bilden den ersten Schritt zur Verwirklichung der operativen Ziele der Intervention. Sie werden in physikalischen oder monetären Einheiten gemessen (z. B. Anzahl der organisierten Schulungen, Anzahl der landwirtschaftlichen Betriebe, die Investitionsförderung erhalten, Gesamtvolumen der Investition).
- Ergebnisindikatoren messen die direkten und unmittelbaren Effekte der Intervention. Sie können Informationen über Veränderungen bieten, die beispielsweise im Verhalten, in der Kapazität oder in der Leistung direkt Begünstigter auftreten. Diese Indikatoren werden ebenfalls in physikalischen oder monetären Einheiten gemessen (z. B. Bruttozahl der geschaffenen Arbeitsplätze, erfolgreiche Schulungsergebnisse). Ergebnisindikatoren werden zur Beantwortung der Bewertungsfragen zu spezifischen Zielen herangezogen.
- Wirkungsindikatoren beziehen sich auf das Resultat von Interventionen über die unmittelbaren Effekte hinaus. Wirkungsindikatoren werden im Allgemeinen „netto“ ausgedrückt, d. h. vom Gesamtwert werden diejenigen Effekte abgezogen, die sich nicht auf die Intervention selbst zurückführen lassen. Außerdem werden indirekte Effekte berücksichtigt (z. B. totale Faktorproduktivität in der Landwirtschaft, landwirtschaftliche Emissionen, Wasserqualität, Ausmaß ländlicher Armut). Wirkungsindikatoren messen die Effekte eines Programms auf das Gebiet, in dem es durchgeführt wird. Wirkungsindikatoren werden zur Beantwortung der Bewertungsfragen zu Gesamtzielen herangezogen.
Indikatoren sind oft mit Zielwerten verknüpft. Diese Zielwerte werden auf der Grundlage vorhandener Informationen festgelegt. Programme sollen diese erreichen, um die erwarteten Effekte und Ziele zu realisieren und die festgestellten Bedarfe zu decken.
Die folgende Abbildung veranschaulicht die Verknüpfungen für eine Übereinstimmung zwischen den einzelnen Bewertungselementen am Beispiel eines hypothetischen politischen Programms zum Klimawandel.
/file/30501_dediagnostic_de.png
