breaking small

Die Regeln brechen: Qualitäts-Audit neu definiert


Im Frühjahr 2012 bekamen wir eine Einladung von Oxfam Novib – dem niederländischen Zweig der Nichtregierungsorganisation, die auf eine Welt ohne Armut hinarbeitet. Es ging darum, sie bei der Entwicklung einer neuen Methode für die Durchführung von Qualitäts-Reviews der Arbeit der Länderteams im globalen Süden zu unterstützen. Diese Frage hat einen Prozess in Gang gesetzt, in dem wir einen fundamental neuen Ansatz der Qualitätsbeurteilung entwickeln konnten, der inzwischen rund um die Welt genutzt wird. 2013/14 hatten wir die Gelegenheit, das Konzept weiter zu verbessern und unser eigenes Denken zu schärfen, als wir Oxfam’s „My Rights, My Voice“-Programm mit Hilfe der gleichen Prinzipien evaluierten.

 

Mit den Regeln spielen

Ganz am Anfang war Eines klar: Sowohl die Verantwortlichen bei Oxfam wie auch wir wollten vor allem etwas ganz Anderes als das, was es gab. Und so begannen wir damit, uns eine spielerische Herausforderung zu setzen: Wie würde ein Bewertungsverfahren aussehen, das mit sämtlichen – aus unserer Sicht – verkehrten Regeln von Audits bricht?

  • Anstatt danach zu suchen, wo Menschen Fehler machen und schlechte Qualität liefern, könnten wir uns auf die Geheimnisse ihres Erfolges fokussieren?
  • Anstatt Dokumente, Richtlinien und Vorgaben zu studieren, könnten wir uns die Arbeit im alltäglichen Leben anschauen?
  • Anstatt uns als Experten zu positionieren, die sich dann ein vermeintlich objektives Urteil von außen bilden und damit immer Recht haben, könnten wir alle Beteiligten zu Autoren der Evaluation machen?
  • Anstatt zunächst alle Informationen zu sammeln und dann am Ende in einem Bericht dem Ganzen Sinn zu geben, könnten wir einen iterativen Prozess gestalten, wo Informationssammlung und Sinn-Gebung ein zusammenhängendes, inter-subjektives Ganzes bilden?


Und als größte Herausforderung: Könnten wir die Qualitätsbewertung so gestalten, dass die Bewerteten nach dem Besucher der „Auditoren“ sich wünschen, dass diese wieder zurück kämen?

 

Das Geheimnis des Erfolgs

Unsere erste grundlegende Entscheidung war die Wahl einer anderen Perspektive: Wir gehen davon aus, dass die Menschen, die die Arbeit “im Feld” machen, gute Arbeit leisten wollen. Wenn der letztendliche Sinn der Qualitätsbeurteilung die Verbesserung von Qualität ist, dann müssen wir den Menschen, die die Arbeit machen, dabei unterstützen, bessere Qualität zu liefern. Und dann können wir uns am besten darauf konzentrieren, gemeinsam zu erklären, warum bestimmte Dinge gut funktionieren.


Aus diesem Grund haben wir uns die „geheime Stärke“ eines jeden Länderteams oder Programms angeschaut, die wir evaluiert haben. Dieser Fokus hatte zahlreiche Effekte: Erstens stimulierte dieser respektvolle Ansatz Energie und Offenheit in den Teams, die evaluiert wurden. Zweitens gab der Blick auf die „positive Abweichung“ – das eine Beispiel, wenn etwas gut funktioniert hat, neben all an den anderen Fällen, wo die gleiche Idee nichts gebracht hat – wertvolle Einsichten, wie die Arbeit im Feld läuft. Drittens, weil wir auf das aufbauten, was Menschen bereits taten, war es wesentlich leichter für sie, diese Einsichten für andere Situationen auch zu nutzen.

Blick auf die tatsächliche Arbeit

Methodisch orientierten wir uns hauptsächlich am Repertoire der Aktionsforschung. Wir begleiteten Menschen in ihrer täglichen Arbeit, interviewten sie im Auto zwischen Terminen, beobachteten, was sie tun, sprachen direkt nach Interventionen mit den Menschen, mit denen sie arbeiten. Auf diese Weise haben wir einen sehr aktiven, flexiblen Ansatz entwickelt, der die Menschen, die evaluiert worden, wenig Zeit kostete – da die Grundidee war, dass sie ihre alltägliche Agenda beibehielten.

 

Nach anfänglicher Skepsis von den evaluierten Teams erlebten wir normalerweise, dass sie Gefallen daran fanden, jemanden dabei zu haben, der wertschätzend auf ihre Arbeit schaut. Wir haben auch festgestellt, dass das Erleben von Interventionen und der alltäglichen Arbeit – so unrepräsentativ die Stichprobe auch sein mag – sehr tiefe Einblicke in die Mechanismen und Dynamiken der evaluierten Projekte und Programme ergab.
 

Ein kollegialer Lernprozess

So weit es uns möglich war, haben wir Menschen aus anderen Orten, die ähnliche Arbeit machen, einbezogen, die Arbeit ihrer Kollegen zu evaluieren – mit der Idee, dass so viel mehr Lernen entsteht und sich verbreitet, als wenn Menschen aus den gleichen Kontexten einfach einen Endbericht lesen, der durch externe Berater erstellt wurde. So waren zum Beispiel bei der Evaluation des „My Rights, My Voice“-Programms Programmkoordinatoren aus zwei bis vier teilnehmenden Ländern Teil des Evaluations-Teams in einem anderen Land.

Iterative Sinn-Gebung

In jedem Review haben wir kurze Rückkopplungs-Schlaufen eingebaut. So haben wir zum Beispiel jeden Abend eine Talkshow mit allen Involvierten durchgeführt, um zu diskutieren, was die Reviewer den Tag über beobachtet haben und wie sie dies deuteten. Andere konnten diese Interpretationen hinterfragen und mitdenken. So konnte das Forschungsteam entwickeln, was am nächsten Tag beobachtet und beforscht werden sollte, um die Erkenntnisse zu schärfen.

 

Auf diese Weise haben wir die „Ergebnisse“ des Assessments gemeinsam gestaltet. Wir haben jeden Abend die Einsichten des Tages auf einer geschützten Internetseite veröffentlicht, so dass noch mehr Menschen im Prozess mitdenken konnten.

 

Die Talkshows machten Spaß und Energie. Wir haben auch das Feedback bekommen, dass durch diesen iterativen Prozess die Qualität der Schlussfolgerungen erheblich gestiegen ist – auf halber Strecke sind Erkenntnisse entstanden, die als „normal“ für ein Qualitäts-Audit angesehen werden.

Fragen für die Zukunft

Abschließend: Waren wir erfolgreich damit, ein Assessment zu gestalten, nach dem Menschen uns zurück haben wollten? Wir glauben ja. Vor einigen Monaten wurden wir darin bestätigt, als wir zufällig eine Länderdirektorin trafen. Sie erzählte uns – unwissend über unsere Rolle in der Entwicklung der Methode -  sehr begeistert über die neue Art der Qualitätsbeurteilung in ihrem Land und wie es ihr und ihrem Team geholfen hat, sich weiter zu entwickeln. Sie hätte schon in der Zentrale angefragt, wann der Prozess wiederholt werden könne.

 

Aber auch uns haben die Erfahrungen Lust auf mehr gemacht. Die Rückmeldungen, die wir von allen Ebenen bekommen haben, bestärken uns in dem Eindruck, dass dieser Ansatz Potential hat. Natürlich sind die beschriebenen positiven Effekte nicht bei jedem Involvierten in allen Ländern zu beobachten. Gleichzeitig war es sehr begeisternd zu sehen, wie viele der Interviewpartner ihre Einstellung gegenüber dem Prozess  veränderten – von großer Skepsis und Reserviertheit hin zu Engagement und Einladung anderer, sie in ihrer Arbeit zu beobachten. Weg davon, eine Beurteilung über sich ergehen zu lassen hin zur Anwendung von Erkenntnissen von Tag 2 an Tag 3.

 

Wir glauben auch, dass wir eine sehr produktive, neue Basis für Qualitätsbeurteilungen geschaffen haben, weil noch spannende Fragen offen bleiben, die uns neugierig machen und an denen wir momentan weiter arbeiten:

  • Wie gehen wir damit um, dass unser „neuer“-Prozess im Kontext einer Vielzahl anderer, viel stärker kontrollbasierter Audits stattfindet?
  • Wie kreieren wir ein breiteres, kompletteres Bild der Qualität der Programme? Der aktuelle Reviewprozess generiert hilfreiche und neue Einsichten, die reguläre Prozesse nicht bieten können.  Oft sind diese aber noch nicht komplett genug, um ein Gesamtbild zu bekommen.
  • Wie können wir Einsichten mehrerer paralleler Prozesse zusammenbringen, um so zu generelleren Schlussfolgerungen zu gelangen?
  • Wie können wir die Philosophie und den Ansatz des Reviews zu etwas machen, das dauerhaft die Menschen darin unterstützt, hohe Qualität zu liefern? Wir beobachten aktuell, dass der Review eine alleinstehende Aktivität ist, die sich noch nicht in der Philosophie dessen wiederfindet, wie die tägliche Arbeit stattfindet.
  • Wie kann ein Prozess der Sinn-Gebung gestaltet werden, auf täglicher Basis, der Menschen mit verschiedenen Hintergründen und verschiedenen Fähigkeiten, abstrakt zu denken, einbezieht?
  • Wie können wir andere Stakeholder, wie das Management oder Nutznießer aktiver in den Prozess einbeziehen?