neue caritas Jahrbuch

Caritas international

Gut gemeint ist nicht immer gut gemacht

Eine Frau und Kinder stehen an einem Brunnen.In vielen Ländern haben große Teile der Bevölkerung keinen Zugang zu sauberem Trinkwasser, Frauen und Mädchen müssen oft viele Stunden am Tag mit Wasserholen verbringen.DCV

Die Wirksamkeit gesellschaftlichen Engagements ist eine der am intensivsten diskutierten zivilgesellschaftlichen Fragen unserer Zeit. Wie kann gewährleistet werden, dass Hilfsprojekte mit begrenzten Mitteln eine maximale – und im Idealfall nachhaltige – Wirkung entfachen; dass sie die richtigen Menschen erreichen, dass sie positive gesellschaftliche Entwicklungen in Gang setzen und nicht zu Abhängigkeiten führen?

In Ländern wie Deutschland ist das schwierig genug. Aber wie kann wirksame Hilfe unter ungleich schwierigeren Rahmenbedingungen gelingen, inmitten von Kriegen und Großkatastrophen, in sogenannten "failed states", im Umfeld großer Not, korrupter Regimes und fehlender gesellschaftlicher Strukturen? Dieser Herausforderung stellt sich Caritas international, das weltweit tätige Hilfswerk des Deutschen Caritasverbandes, in jeder großen humanitären Krise von Neuem – und versucht, aus den Erfahrungen der Vergangenheit zu lernen.

Schlaglicht Äthiopien

Der Osten des Landes leidet seit Jahrzehnten unter großer Wasserknappheit und Ernährungsunsicherheit. Die Bevölkerung verlor in Dürren den Großteil ihrer Herden. Der Verkauf von Holzkohle verschärft die Entwaldung, alternative Einkommensmöglichkeiten fehlen. Weniger als ein Drittel der Bevölkerung hat Zugang zu sauberem Trinkwasser, Frauen und Mädchen müssen pro Tag vier bis sechs Stunden mit Wasserholen verbringen.

Die Caritas Hararghe führt deshalb seit Jahren Projekte mit der Bevölkerung durch, um die Lebensbedingungen der Menschen durch höhere Einkommen, Diversifizierung von Einkommensquellen (z.B. Kleinhandel oder Teeverkauf zusätzlich zum landwirtschaftlichen Einkommen), Ernährungssicherheit, Tiergesundheit sowie Wasserversorgung zu verbessern. Welche Wirkungen erzielen die Projekte?

Seit Jahren verfolgt die Caritas Hararghe sehr genau und professionell, ob die Projekte ihre Ziele erreichen. Getrieben von der Notwendigkeit, angesichts der großen Notlage möglichst schnell und umfassend zu helfen, beschränkte man sich aber vor allem darauf, die Umsetzung der Maßnahmen zu überprüfen, zum Beispiel die Qualität der gebauten Brunnen, die Qualität der Bewusstseinsbildung in Hygiene. Man nahm aus Erfahrung an, dass bestimmte Maßnahmen bestimmte Wirkungen hervorrufen. Zu selten wurde systematisch die Wirkung erhoben, also zum Beispiel der Frage nachgegangen, inwieweit durch den besseren Zugang zu sauberem Wasser und den besseren Wissensstand bei der Bevölkerung tatsächlich auch Durchfallerkrankungen zurückgegangen waren.

Dorfbewohner wurden befragt

Deshalb nahm sich die Caritas Hararghe mit der Unterstützung von Caritas international 2013 eine systematische Evaluierung vor. Es war schnell klar, dass umfassende, statistisch repräsentative Umfragen zu aufwendig wären, bei einer überwiegend analphabetischen Bevölkerung nur scheingenaue Ergebnisse erbringen könnten und außerdem bei den Befragten auf Misstrauen und Ablehnung stießen. Die Caritas Hararghe entschied sich, einen anderen Weg zu gehen, um die Wirkungen der Projekte zu erheben.

In Zusammenarbeit mit einem einheimischen Gutachter wählte man exemplarische Gemeinden aus, erläuterte der Dorfgemeinschaft ausführlich das Ziel und die Methodik der Befragung und diskutierte dann intensiv mit Frauen- und Männergruppen die Situation vor und nach einem der Projekte. Gemeinsam visualisierte man die Situation vor und nach dem Projekt und bewertete in einfacher, allen verständlicher Form quantitativ Veränderungen, die aus Sicht der Dorfbewohner dem Projekt zugeschrieben werden konnten. So kam man zu belastbaren Trendaussagen. Zum Beispiel reduzierte sich im Schnitt aller befragten Fokusgruppen die Zahl der Kinder unter fünf Jahren, die an Durchfall erkrankten, durch Wasserbaumaßnahmen um ein Drittel.

In ähnlicher Form wurden verschiedene Themen mit den Fokusgruppen diskutiert und festgehalten. Zum Thema Tiergesundheit wurde zum Beispiel sichtbar, dass generell weit weniger Tiere starben als vor dem Projekt, dass aber einzelne Krankheiten bisher nicht hinreichend in den Blick genommen worden waren oder erst seit kurzer Zeit auftraten. Durch die differenzierte Methode der Evaluierung wurde so ein Problem bewusst, das in diesem Fall in der normalen Projektbegleitung nicht erkannt worden wäre.

Caritas international hat seit 20 Jahren Qualitätsstandards

Das Beispiel zeigt, dass eine systematische Wirkungsbeobachtung in der humanitären Hilfe mit vertretbarem Aufwand machbar ist, belastbare Ergebnisse und durchaus auch neue Einsichten erbringt. Verstärkte Wirkungsorientierung in der Entwicklungszusammenarbeit wie auch in der humanitären Hilfe wird seit langem gefordert. Praktiker wenden ein, dass vieles von dem, was wir tun, gar nicht messbar ist und dass teure Studien und Evaluierungen wenig neue Erkenntnisse bringen und nur Zeit und Geld von der eigentlichen Arbeit mit den Bedürftigen abziehen.

Caritas international widerspricht dieser Grundsatzkritik. Seit über 20 Jahren gibt es anerkannte Qualitätsstandards in der humanitären Hilfe, aber noch immer wird nur unzureichend überprüft, ob und wie sie in der Praxis eingehalten werden. Dabei würden faktengestützte Erhebungen, wo postulierte Ziele und Selbstverpflichtungen erreicht wurden und was warum schieflief und verbessert werden muss, weit mehr bewirken als immer neue Grundsatzerklärungen, wie sie auch im Mai 2016 wieder im Zuge des Weltgipfels für humanitäre Hilfe formuliert wurden.

Beispiel Afghanistan

Seit Jahrzehnten arbeitet Caritas international im Hasaradschat, dem besonders armen und von internationaler Förderung vernachlässigten zentralen Hochland Afghanistans. Überschwemmungen und Dürren führten vor einigen Jahren zu Ernteausfällen. Die Grundnahrungsmittel verteuerten sich um zehn bis 15 Prozent. Die ohnehin äußerst armen Familien hatten keine Reserven mehr und begannen, ihr Hab und Gut sowie Teile ihrer Viehbestände zu verkaufen.

Caritas international reagierte mit einem Nothilfeprojekt, um fünf Monate lang zur Nahrungssicherung von einigen Tausend Menschen in der Region beizutragen. Im Rahmen des Nothilfeprojekts wurden Schutzwände und Bewässerungskanäle in 60 Dörfern instand gesetzt. Die Bevölkerung selbst leistete die Arbeit unter Anleitung des lokalen Caritas-Partners und wurde mit Nahrungsmitteln und Geld entlohnt.

In einer Analyse zu Projektbeginn (baseline) wurden sowohl Begünstigte als auch nicht vom Projekt Begünstigte über Einkommen, Landbesitz, Verschuldungsniveau, Ernährungssituation usw. befragt. Nach Projektende wurden die gleichen Familien in einer Schlussuntersuchung (endline) erneut befragt.

Die Ergebnisse waren auf den ersten Blick enttäuschend. Zwar konnten sich die Menschen für eine begrenzte Zeit besser ernähren, aber fast niemand konnte Betriebsmittel zurückkaufen oder Schulden zurückzahlen. 130 von 150 Befragten erklärten aber, dass sie ohne das Geldeinkommen aus dem Projekt gezwungen gewesen wären, sich noch weiter zu verschulden. Fast alle Befragten benannten als Wirkung des Projekts, dass es eine weitere Preissteigerung von Nahrungsmitteln auf dem Markt verhindert habe. Die gründliche Analyse zeigte: Dank der Unterstützung konnte eine massive weitere Verschlimmerung der Not abgewendet werden, und die Dorfbewohner mussten nicht als Arbeitsmigranten in Regionen abwandern, in denen sie als Minderheit von schweren Menschenrechtsverletzungen bedroht wären. 

Dass ein solches begrenztes Projekt nachhaltig die Not der Dorfbewohner abwenden kann, ist unrealistisch, dazu bedarf es weitergehender und langfristiger Unterstützung, wie sie in einem parallel laufenden Projekt zur langfristigen Ernährungssicherheit geleistet wird. Die genaue Untersuchung der Situation der Menschen erlaubt uns aber, einzuschätzen, wie lange Nothilfe notwendig ist und ab wann weitergehende Ansätze im Rahmen sozialer Entwicklungsprojekte sinnvoller sind. So früh wie möglich auf Beratung ohne Transferleistungen umzusteigen, hört sich nachhaltig an, kann aber sein Ziel verfehlen, wenn die betroffenen Menschen materiell noch nicht in der Lage sind, sich aus eigener Kraft aus der Armut zu befreien. In der Diskussion um Wirkungsorientierung werden leider oft undifferenziert Entwicklungszusammenarbeit, Ansätze aus der öffentlichen Verwaltung und humanitäre Hilfe durcheinandergeworfen. Hier bedarf es klarer Konzepte, um in der Sache weiterzukommen.

Zehn Prozent der Projekte sollen evaluiert werden

Caritas international hat gemeinsam mit der Diakonie Katastrophenhilfe ein Konzept zur verbesserten Wirkungsorientierung ihrer humanitären Hilfe erarbeitet und setzt es seit drei Jahren konsequent um. Konkret haben wir uns zum Ziel gesetzt, zehn Prozent unserer Projekte mit einem Volumen von über 100.000 Euro zu evaluieren. Darüber hinaus führen wir regelmäßig themenübergreifende Querschnittsevaluierungen durch. Anhand dieser exemplarischen Fälle, die nach bestimmten Kriterien ausgewählt werden, bemühen wir uns, den komplexen Fragestellungen nach Wirkungen und Wechselwirkungen zwischen Projekten und ihrem jeweiligen Kontext nachzugehen. Dabei testen wir verschiedene Herangehensweisen wie lokale und/oder internationale Gutachter(innen), Vorstudien, Schlussevaluierungen, Langzeit- und Querschnittsevaluierungen oder eine Kombination von Evaluierung und Trainings. Durch Lern- und Austauschveranstaltungen bemühen wir uns, Erfahrungen mit Partnern und Mitarbeitenden zu vergemeinschaften. Schließlich nutzen wir die konkreten Evaluierungen auch im Dialog mit Geldgebern.

Zehn Jahre nach dem Tsunami

Ein gutes Beispiel für eine Langzeitevaluierung ist die Studie "Weaving Hopes after Disasters". Zehn Jahre nach dem Tsunami untersuchten Caritas-Partner in Indien die Nothilfe und den Wiederaufbau nach dem Tsunami im Vergleich mit anderen Großkatastrophen. Dazu wurden 910 Begünstigte und andere lokale Akteure mit einer Mischung von quantitativen und qualitativen Methoden befragt. Es war sehr beeindruckend, wie tiefgründig und differenziert die Wirkungen verschiedener Maßnahmen durch die Begünstigten nach über zehn Jahren analysiert und beurteilt wurden.

Die psychosoziale Unterstützung, die unsere Partner leisteten, wurde von den Befragten im langfristigen Rückblick als sehr hilfreich herausgestellt. Kritische Rückmeldungen kamen zum Thema "Einkommenschaffende Maßnahmen": Es braucht spezifische Lösungen und Hilfen, die mit den Betroffenen zusammen entwickelt werden müssen. Pauschalangebote für Weiterbildungen zum Beispiel im Handwerksbereich, die am grünen Tisch von Hilfswerken geplant und dann flächendeckend angeboten werden, sind häufig wirkungslos.

Hier müssen unsere Partner vor Ort noch professioneller werden. Bezüglich der Hausbauprogramme ist sehr erfreulich, dass die allermeisten Hausbesitzer auch zehn Jahre nach der Katastrophe das wiederaufgebaute Haus bewohnen und nicht von reicheren Mitgliedern der Gemeinden verdrängt worden sind. Das wurde in den Wiederaufbauprogrammen der Caritas so bisher noch nie erhoben.

Gleiche Fragen auf verschiedenen Kontinenten

In Querschnittsevaluierungen werden Projekte in mehreren Kontinenten nach derselben Fragestellung untersucht, zum Beispiel inwieweit die Empfänger ausschließlich nach dem Grad der Bedürftigkeit und unabhängig von ethnischer, konfessioneller oder sonstiger Zugehörigkeit ausgewählt werden. Auch der Grundsatz des "Do No Harm" wurde dabei mit untersucht, also die Frage, ob man in lang dauernden Kriegen die Hilfe so ausrichtet, dass sie den Konflikt nicht ungewollt verschärft oder verlängert beziehungsweise Abhängigkeiten hervorruft. Im Ostkongo wird Hilfsorganisationen oft unterstellt, mit ihren Projekten solche negativen Effekte auszulösen.

Für die untersuchten Projekte konnte dieser Vorwurf eindeutig widerlegt werden. Die lokale Bevölkerung nahm die Hilfe dankbar an, aber half sich im Rahmen ihrer Möglichkeiten weiterhin selbst. Beeindruckend war auch die Solidarität, mit der vom Projekt ausgewählte Begünstigte (zurückgekehrte Binnenflüchtlinge) die erhaltenen Hilfsgüter mit frisch Vertriebenen teilten, und das in einer Region, die seit Jahrzehnten von Kriegshandlungen heimgesucht wird und bei der man oft pauschal den Zerfall des sozialen Zusammenhalts unterstellt.

Umgekehrt zeigte die Evaluierung, dass das Projekt keinen spürbaren Beitrag zu Frieden und Versöhnung in dieser von Gewaltkonflikten geschundenen Region leisten konnte. Hierfür war die Laufzeit zu kurz und der Umfang zu gering.

Es gibt unerwartete Einsichten

Die Beispiele zeigen, dass Caritas international zu Recht in vertiefte Wirkungsbeobachtung investiert hat und auch weiter investieren wird. Einerseits können wir viele von Partnern und Mitarbeitern implizit angenommene Wirkungen unserer Projekte nun besser belegen. Andererseits kommen wir durch die vertieften Analysen auch zu unerwarteten neuen Einsichten. Für uns ist das Konzept der Wirkungsorientierung keine Blaupause, sondern der Anfang eines intensiven Prozesses, ein "Auswerfen unserer Netze".

Vor allem lehrt uns die vertiefte Beschäftigung mit den Wirkungen unseres Tuns Bescheidenheit und ein Bewusstsein für die Notwendigkeit zu handeln, aber auch für die Begrenztheit unserer Möglichkeiten, vor allem in lang dauernden humanitären Krisen. Im Zuge einer Befragung zu den Wirkungen eines Friedensförderungsprojekts in Kolumbien zeigte ein Bauer dem Leiter der Sozialpastoral die von Schlaglöchern übersäte und von Erdrutschen halb zerstörte Straße zu seinem Dorf und fragte: "Padre, glauben Sie, auf dieser Straße kommt der Frieden zu uns?"

Der Artikel erschien im neue caritas-Jahrbuch 2017.