Checkliste zu konkreten Fragen in Projekten/Programmen (Anwendung insbesondere in Verbindung mit Bewertungsbogen ab Version 9.0; s. Anhang) Fragestellung Konkrete Erläuterung (was wollen wir wissen) 1. Was ist über das Projektumfeld zu erfahren? Wie ist die soziale, ökonomische bzw. (öko)geografische Ausgangslage? Wo findet das Projekt statt? 2. Wer/ welche Personenkreise profitieren vom Projekt, und in welcher Weise? Was erfahre ich über die Zielgruppe(n), bzw. was soll anders oder besser für diese werden? 3. Was will das Projekt bzw Programm erreichen? „Ziel“ ist ein Zustand, der erreicht werden soll. Sind eine (oder die wichtigsten) Zielsetzung(en) Dieser sollte möglichst konkret beschrieben sein. klar erkennbar? Bsp: Einkommen verbessert durch... u.ä. 4. Wer (Organisation, Personal) führt das Projekt/Programm vor Ort? Wer ist operativ wofür verantwortlich? Wer macht konkret was vor Ort? 5. Was konkret sind die wichtigsten Projekthilfsmittel und –aktivitäten bzw Teilprojekte, um Ziel(e) 3 zu erreichen? Was wird für die Zielerreichung konkret getan, erstellt, übergeben? Mit welchen Hilfsmitteln, Ausrüstung? 6. Sind Risiken/ unerwünschte Nebenwirkungen und/oder Missbrauch denkbar? Sind diese verunmöglicht oder ausreichend unter Kontrolle? Erfahre ich etwas über projektbedrohende Risiken (z.B. Einflussnahme durch Dritte, Korruption, Ressourcenverschwendung) und evtl. Gegenmassnahmen (risk management)? 7. Wann hat das vorliegende Projekt/ Programm begonnen, und wie lange soll die Aktion dauern? Konkrete Daten: Beginn, wievielte Phase, wann Ende usw. 8. Wie werden Ergebnisse/ Projektwirkung von den Zuständigen festgestellt oder gemessen? Abschätzung oder Nachweis der erzielten Ergebnisse, siehe Ziel. Verfahren/Methodik der Abschätzung? =Wirkungsprüfung? 9. Hält die Verbesserung an, nachdem das Projekt Was wird zu Vorkehrungen dazu gesagt, dass die zuende ist? Für wie lange? Projektwirkung nach Weggang nicht verloren geht, Nachhaltigkeit? 10. Was kostet dieses Projekt/Programm insgesamt von Beginn bis Ende? Pro Jahr? Kosten für Material, Ausrüstung, Personal, Betrieb, technische Beratung, Leitung vor Ort, Betreuung insgesamt. Die 10 Fragen wurden in die Gruppen „Ausgangslage und Ziel“ (1-3), „Arbeitsweise vor Ort“ (4-7) und „Wirkung, Nachhaltigkeit, Kosten“ (8-10) zusammengefasst. Die Skala zu jeder einzelnen Frage ist wie folgt: keine Angaben vorhanden: 0 Punkte (0 %) Nur punktuelle oder nebensächliche Angaben vorhanden: 1 Punkt relevante Sachaussage gegeben, aber Wesentliches bleibt offen: 2 Punkte Das meiste Wichtige ist konkret und klar, man weiss fast alles: 3 Punkte Punkt vollständig beantwortet, es bleiben keine Fragen mehr: 4 Punkte (100%) Vorbemerkung zur Anwendung Zur korrekten Anwendung sollten Projektbeschrieb und allfällige Angaben zum selben aus anderen Quellen (z.B Finanzzahlen aus Jahresbericht, AidRating-Fragebogen-Daten allgemein, Periodika) vorliegen. AidRating- Fragebogen und die Kriterienliste sollten bekannt sein und ebenfalls vorliegen. Schritte: (1-5 können individuell, Schritt 6 muss im Team erfolgen). 1. Das gesamte Material sollte mindestens einmal ganz durchlesen. Erste Notizen sollten auf dem Bewertungsblatt, Teil 1 festgehalten werden. 2. auf der grafischen Skala zu jeder Frage rechts eintragen, was als erster Eindruck über die Ausagekraft bleibt. Links wäre Wert 0, rechts wäre Wert 4. 3. Stichworte zu den einzelnen Fragen und insbesondere zu den untenstehenden Punkten a) bis jj) eintragen, ebenso wie jene allgemeiner Art. 4. Gefundene Angaben (siehe Schritt 3) nutzen, um die Beurteilung der Aussagekraft auf der Skala neu zu bestimmen. Abgleich mit „erstem Eindruck“. 5. Festlegen des provisorischen Wertes zu Fragen 1 bis 10 (Erste Wertspalte auf Seite „Teil 2“) 6. Diskussion der Ergebnisse und allfälliger Unterschiede im Team; Einigung auf definitiven Wert. Ergebnis: Wertskala definitiv, Gesamtwertung. Gruppe 1: Ausgangslage, Zielgruppen, Ziel Die erste Fragengruppe betrifft die Umstände, auf die ein Projekt trifft, und das Ziel bzw. die Ziele, die verfolgt werden. 11 Ausgangslage (Umfeld): Es ist längst bekannt, dass Lösungsvorschläge in der EZA nur dann eine Chance haben, wenn sie in Kenntnis der wesentlichen Rahmenbedingungen vor Ort erarbeitet worden sind. Interessierte können hieraus ablesen, wie gut das HW das Interventionsgebiet und die Problematik kennt. Unser Rating bewertet, wie viel Angaben vorhanden sind zu: a) geografische Angaben zum Projektort/ -gebiet (wo, Gebiet, Klima) b) Umfeld/Umwelt (Population, Vegetation, Landwirtschaft, Siedlungsform, Böden, Wasser, Umweltzustand, usw.) c) Soziokulturelles (Wer lebt hier; Vorgeschichte, Untergruppen, Lebensweise, auch Konflikte) d) Wirtschaftliches (Ressourcen und deren Mangel, Lebensgrundlagen, usw.) e) Dimensionen (Gebietsgrösse, Anz. Einwohner, usw.) 2 12 Zielgruppe(n): Es sollte klar sein, wer von den Projektleistungen profitieren soll. Das können alle im Projektgebiet sein oder ausgewählte Gruppen. Man kann hieraus ersehen, wie gut das HW abgeklärt hat, wer welche Hilfe erhalten soll und vielleicht auch, welche Kriterien zur Anwendung kamen. Unser Rating bewertet, was an Angaben vorhanden ist zu: f) Benennung der Zielgruppe (n) (Wer soll profitieren?) g) Angaben zu deren Grösse (Anzahl, wie viele aus der Zielgruppe; Auswahl, usw?) h) Angaben zu deren Lebensumständen i) Angaben zu ihren besonderen Problemen, die anzugehen sind 13 Ziel(e): Wohin sollte die Reise gehen, wenn kein Ziel bekannt wäre? Diese Grundtatsache gilt auch für EZA-Tätigkeit. Allerdings kommt es auch vor, dass HW nicht nur „eigene“ Ziele in ihren Tätigkeiten verfolgen, sondern andere unterstützen, etwa Selbsthilfegruppen. Dies ist aus unserer Sicht völlig in Ordnung. In solchen Fällen wollen wir Konkreteres wissen, zum Beispiel was solche Gruppen an Unterstützenswertem gegebenenfalls tun. Die Erfahrung zeigt, dass Projektziele oft durch eine Art Umkehrung der beschriebenen Probleme durch Projekttätigkeiten angedeutet werden. Wegen der Unwägbarkeiten bevorzugen wir explizite Nennungen, akzeptieren aber solche Umschreibungen, sofern die Massnahmen sich konkret auf die beschriebenen Probleme beziehen lassen (siehe etwa Beispiel Helvetas). Weniger vorteilhaft sehen wir Beschriebe, in denen eine Tätigkeit selbst als „Ziel“ angegeben wird, denn diese lässt einen Mangel an Fokussierung vermuten. Unser Rating bewertet, wie viel an Angaben vorhanden ist zu: j) Was sind die Ziele ganz konkret (bzw. welche Probleme werden gelöst?) k) Wie (durch welche Wirkungen) sind diese Ziele auf die Zielgruppe(n) bezogen l) Wenn keine eigenen Ziele, sondern beispielsweise als „Ziel“ die „Unterstützung“ von etwas: Was wird konkret unterstützt? Gibt es wichtige Ziele, die ohne Unterstützung nicht bzw. dank ihr besser erreicht werden können? Gruppe 2: Zuständigkeit, Arbeitsweise, Risikovorsorge Diese Gruppe befasst sich mit dem, wie die Projektarbeit konkret gemacht werden soll, durch wen, und wie lange sie dauern soll. 3 21 Zuständigkeit: Wir fragen, wer vor Ort, also gegenüber den Empfängern und weiteren Anspruchsgruppen, die Verantwortlichkeit für den EZA-Beitrag hat. Diese Frage dürfte sich selber begründen. Sie ist immer relevant und ist bei Kooperationen1 mehrerer HW oder „Konsortien“ besonders wissenswert. Sie sollte auch mühelos zu beantworten sein. Unser Rating bewertet, wie viel Angaben vorhanden sind zu: m) Wer hat die verantwortliche Leitung (sowohl Organisationen als auch Personen) oder Koordination n) Wer hat sonst noch wesentliche Funktion(en); und welcher Art sind diese o) Wer ist gegebenenfalls „desk officer“ im Aussenbüro oder an der Zentrale 22 Arbeitsweise, Mittel und Tätigkeiten: Was wird im Projekt ganz konkret getan? Mit welchen Hilfsmitteln? Die Bandbreite ist riesig und kann von der simplen Überweisung und/oder Verteilung von Geld reichen bis hin zu einem eigenen mehr oder weniger grossen Unternehmen mit Büros, Lagerhäusern, Fuhrpark, Verarbeitungsanlagen, usw. Unser Rating bewertet, wie viel Angaben vorhanden sind zu: p) Haupttätigkeiten des Projektes? Programme: Was wird in den Teilprojekten getan? p1): Bei Programmen: Anzahl Teilprojekte, deren Kohärenz q) Wie und mit was für Ausrüstung werden diese ausgeübt? (Was gibt es an Gerätschaften, wird gebaut, gepflanzt, Lehrmaterial erstellt, gibt’s Feldversuche, Angestellte, viele Reisen, usw.) r) Was wird geschaffen oder geliefert: Etwas materiell Greifbares (Hardware wie Gebäude, Strassen, sonstige Infrastrukturbauten, usw.) oder geht es eher um „Immaterielles“ wie Ausbildung, Dienstleistungen? Oder um Kombinationen von beidem? 23 Risikovorsorge: Risikomanagement beinhaltet in jeder Tätigkeit die Fähigkeit und Bereitschaft, auf Bedrohungen des Projekterfolges vorbereitet zu sein, entsprechende Vorsichtsmassnahmen zu treffen und gegebenenfalls damit umzugehen, bis hin zu möglichen Änderungen am Vorgehenskonzept. Unser Rating bewertet, wie viel Angaben vorhanden sind zu: s) Wird in irgendeiner Weise davon gesprochen, dass Risiken auftreten könnten 1 Im Verlauf der Studie ist aufgefallen, dass viele Projekte gar nicht oder nur in eingeschränktem Mass von den jeweiligen HW selber durchgeführt werden. Auch dies wird deutlicher mit unserer scheinbar so trivialen Frage zur Zuständigkeit. Das Ausmass des Delegierens der eigentlichen Arbeit vor Ort an andere und seine Implikationen wären wert, einmal für sich selber untersucht zu werden. 4 t) Was erfährt man über die wichtigsten Risiken (welche werden beachtet) u) Was erfährt man über Vorkehrungen bzw. Gegenmassnahmen, schon getroffenen oder geplanten? 24 Beginn, Dauer: Wer ein Ziel hat, macht sich normalerweise Gedanken darüber, wie lange er/sie braucht, es zu erreichen. Und beim Berichten wird angegeben, wann eine Tätigkeit (im „Feld“) begonnen hat und wann sie voraussichtlich zu Ende sein soll. Die Dauer, zusammen mit beispielsweise dem Jahresbudget, erlaubt abzuschätzen, was die Aktion eigentlich kostet. Bei langer Dauer seit Beginn lässt sich erwarten, dass viel über die Wirkung zu erfahren ist. AidRating bewertet, wie viel Angaben vorhanden sind zu: v) Beginn (Datum oder Jahr) w) Geplantes Ende (Datum oder Jahr) x) Dauer y) Allfällige Zwischenschritte wie Phasen, Modifikationen usw. y1) bei Programmen: Veränderungen bei Teilprojekten Gruppe 3: Kosten, Wirkung, Nachhaltigkeit Diese Gruppe befasst sich mit den wesentlichsten planerischen Rahmenbedingungen in jeder Tätigkeit. Bei Kosten wäre zu erwarten, dass diese besonders leicht zur Verfügung stehen und auch angegeben werden. Die anderen beiden, Wirkung und deren Nachhaltigkeit, werden in jedem ernstzunehmenden Entwicklungsdiskurs als am wichtigsten angeführt. 31 Ergebnisse bzw. Wirkungsprüfung: Worin besteht die Daseinsberechtigung eines jeden Projektes, wenn nicht in der Wirkung im Sinn der Zielgruppe? Was zu einem Projekt als Erstes angegeben werden sollte, wäre dies. Es ist meist die Rede von Output – Outcome – Impact. Anders gesagt: „Produkt- ErgebnisAuswirkung(en). Wie wird so etwas gemessen? Bei schon älteren Projekten durch konkrete Ergebnisse in Zahlen oder Fakten. Bei noch jüngeren zumindest durch Angaben dazu, wie man die Wirkung abzuschätzen oder zu messen gedenkt. Unser Rating bewertet, wie viel Angaben vorhanden sind zu: z) Umschreibung der belegten oder nachprüfbaren2 Wirkung(en), möglichst in Bezug auf die Projektziele. Output und Outcome sind Vorstufen zur eigentlichen Wirkung! aa) Nachprüfbare Indikatoren3, nach denen Ergebnisse und Wirkung abgeschätzt wird 2 Wie bei Forschungsergebnissen üblich bedeutet hier „nachprüfbar“ nicht notwendigerweise, dass jemand hingehen und messen oder nachzählen soll. Sondern: Es ist so beschrieben, dass man weiss, wie, aufgrund welcher Methodik, die Aussage gestützt wird. 5 bb) Angaben zur Dimension (wie viele ... haben; was für Mengen, Flächen, usw...) cc) Methoden, wie erstere (die Indikatoren) gezählt, gemessen, geschätzt werden (oder bei jungen Projekten: wie dies erfolgen soll) 32 Nachhaltigkeit: Unter Nachhaltigkeit verstehen wir das Verbleiben einer Wirkung (vorzugsweise der beabsichtigten) über die Projektdauer hinaus. Schon über eine Erwähnung überhaupt waren wir froh, da dies zeigt, dass der Punkt in den Überlegungen vorkommt. Die Forderung nach Nachhaltigkeit ist eine der schwierigsten Anforderungen überhaupt. Und doch weiss man inzwischen einiges. Zum Beispiel, dass es möglich ist, einige Vorkehrungen hierfür schon während der Projektdauer zu treffen. Dass etwa keine teuren (Parallel-) Strukturen aufgebaut werden sollten. Dass nicht neue Abhängigkeiten geschaffen werden. Dass die Partner in die notwendigen Fertigkeiten zu Weiterführung, Unterhalt, usw. eingewiesen werden. Dass künftige Kosten und Erträge rechtzeitig und realistisch abgewogen werden. Und es gibt weitere. Unser Rating bewertet, wie viel Angaben vorhanden sind zu: dd) Erwähnung der Thematik Nachhaltigkeit überhaupt ee) Anmerkungen zu Bereichen, in denen Nachhaltigkeit nach Projektende gesichert werden sollte ff) Angaben zu entsprechenden Vorkehrungen (wie/warum sichergestellt) 33 Kosten: Unser Rating bewertet, wie viel Angaben vorhanden sind zu: gg) Kosten, die das HW trägt. Pro Jahr, seit Beginn, usw. hh) Angaben, ob dies die gesamten Kosten sind ii) Wenn nein: Angaben zu den Gesamtkosten, ev. zu anderen Gebern jj) Möglichkeit, Gesamtkosten seit Beginn abzuschätzen Projektfragen Kriterienliste v3a 02.10.2010/22.03.13 3 Wenn sich Wirkungen nicht direkt erfassen lassen, so ist es Stand des Wissens, indirekte Vergleichsgrössen heranzuziehen, die sich auf das Projekt zurückführen lassen. Es braucht dazu allerdings Willen und Know-how. Typische sind z.B.: Verminderung der Anzahl Krankheitsfälle, Prozentsatz oder Anzahl Schulabgänger/-innen, Indikatoren für besseres Einkommen wie Ernährungszustand oder Kaufkraft, usw. 6 AidRating Bewertungsblatt zu Projektinhalten Homepage/andere Quellen/ Datum Websuche:...................................................................... Organisation/ Projekt:.............................................................................................................. Rating-Durchgänge: Daten, Teilnehmer.................................................................................. ............................................................ Einzelproj: Programm: Programm-Teilproj: Teil 1: Notizen und ergänzende Informationen zu Fragen 1-10 (1.1 -3.3): Wichtige Projektdaten, mit Fundort/Quelle: Projektpartner: Projektkosten (CHF): Pro Jahr: Insgesamt: Kommentierende Notizen zu den Fragen. : 1.1 (1) Umfeld I-------------------l------------------I 1.2 (2) Zielgruppen I-------------------l------------------I 1.3 (3) Ziel I-------------------l------------------I 2.1 (4) Wer macht I-------------------l------------------I 2.2 (5) was I-------------------l------------------I 2.3 (6) Risiken I-------------------l------------------I 2.4 (7) Begin Dauer I-------------------l------------------I 3.1 (8) output/ Wirkung I-------------------l------------------I 3.2 (9) Nachhaltigkeit I-------------------l------------------I 3.3 (10) Kosten I-------------------l------------------I Sonstige wichtige Projektinformationen, die sich im Material finden lassen: ............................................................................................................................................... © Nov 07-Jun 10 IDEAS Independent Development Experts Association, Postfach, Archstrasse 2, CH-8401 Winterthur Tel +41 52 203 52 50 Fax +41 52 203 52 55; e-mail: [email protected] www.ideas-expert.ch Teil 2: Rating-Tabelle, unter Berücksichtigung von Teil1: Zweck dieses Ratings: Was/wieviel erfährt die Öffentlichkeit über konkrete Umstände des beschriebenen Entwicklungsprojektes? Es geht hier nicht um Wertung dieses Projektes selber, sondern darum, wie weit sich Lesende ein Bild von der konkreten Realität vor Ort machen können. Projekt/Organisation:................................................................................................................ Rating: Daten, Teilnehmer........................................................................................................ Frage Nr: Fragestellung Konkrete Erläuterung (was wollen wir wissen) 1.1 Was ist über das Projektumfeld zu erfahren? Wie ist die soziale, ökonomische bzw (öko)geografische Ausgangslage? Wo findet das Projekt statt? Ausgangs -lage und 1.2 Wer/ welche Personenkreise profitieren vom Projekt, und in welcher Weise? Was erfahre ich über die Zielgruppe(n), bzw. was soll anders oder besser für diese werden? Projektziele 1.3 Was will das Projekt erreichen? Sind eine (oder die wichtigsten) Zielsetzung(en) klar erkennbar? „Ziel“ ist ein Zustand, der erreicht werden soll. Dieser sollte möglichst konkret beschrieben sein. Bsp: Einkommen verbessert durch... u.ä. ....... (max 12 pt) 2.1 Wer (Organisation, Personal) führt das Projekt/Programm vor Ort? Wer ist wofür verantwortlich bzw. zuständig? Wer macht was vor Ort? wer macht was 2.2 Was konkret sind die wichtigsten Projekthilfsmittel und –aktivitäten, um Ziel(e) 1.3 zu erreichen? Was wird für die Zielerreichung konkret getan, erstellt, übergeben? Mit was für Hilfsmitteln, Ausrüstung? Teilprojekte? 2.3 Sind Risiken/ unerwünschte Nebenwirkungen und/oder Missbrauch denk-bar? Sind diese verunmöglicht oder ausreichend unter Kontrolle? Erfahre ich etwas über projektbedrohende Risiken, z.B. Einflussnahme durch Dritte, Korruption, Ressourcenverschwendung, und evtl. Gegenmassnahmen (risk mgt)? ...... (max 12 pt) 2.4 Wann hat das vorliegende Projekt begonnen, und wie lange soll die Intervention dauern? Konkrete Daten: Beginn, wievielte Phase, wann Ende usw. Dauer, Wirkung, Kosten 3.1 Wie wird die Projektwirkung von den Abschätzung oder Nachweis Ergebnisse/ Zuständigen festgestellt oder Wirkung, s. Ziel? Vorkehrungen dazu? gemessen? output/ ../ impact Wirkungsprüfung? 3.2 Hält die Verbesserung an, nachdem das Projekt zuende ist? Für wie lange? Was wird zu Vorkehrungen dazu gesagt, dass die Projektwirkung nach Weggang nicht verloren geht, Nachhaltigkeit? 3.3 Was kostet dieses Projekt/Programm insgesamt von Beginn bis Ende? Pro Jahr? Kosten für Material, Ausrüstung, Personal, Betrieb, technische Beratung, Leitung vor Ort insgesamt. Prozent: Pt. prov Pt. def Subtotal ...... (max 16 pt) Summe: Punkte ganzzahlig von 0 (keine Angaben) bis 4 (lückenlos beschrieben). Maximal mögliche Punktzahl: 40 = 100%; 1 pt = 2.5% v9.0 Jun 2010 ............................................................................................................. © Nov 07-Jun 10 IDEAS Independent Development Experts Association, Postfach, Archstrasse 2, CH-8401 Winterthur Tel +41 52 203 52 50 Fax +41 52 203 52 55; e-mail: [email protected] www.aidrating.org 2