Bewertung der Bewerter: Einige Lehren aus einer kürzlich durchgeführten Selbstbewertung der Weltbank

Anmerkung des Herausgebers: Die Independent Evaluation Group (IEG) der Weltbank hat kürzlich eine Selbstbewertung ihrer Aktivitäten veröffentlicht. Es repräsentiert nicht nur die aktuelle Denkweise der Evaluierungsexperten der Weltbank, sondern spiegelt auch allgemein einige der Stärken und Lücken in den Ansätzen wider, die Evaluatoren verwenden, um die Leistung der internationalen Institutionen, mit denen sie zusammenarbeiten, zu bewerten und daraus zu lernen. Die alte Frage Quis custodet ipsos custodes? – frei übersetzt als Wer bewertet die Evaluatoren? – bleibt so aktuell wie eh und je. Johannes Linn fungierte als externer Peer-Reviewer der Selbstevaluation und gibt einen Überblick über die gewonnenen Erkenntnisse.





Ein Überblick über den IEG-Selbstbewertungsbericht der Weltbank



Im Jahr 2011 führte und veröffentlichte die Independent Evaluation Group (IEG) der Weltbank eine Selbstauswertung seiner Aktivitäten. Das Selbstevaluierungsteam wurde von einem internen Manager geleitet, umfasste jedoch einen angesehenen externen Evaluierungsexperten als Hauptautor sowie einen externen Peer-Reviewer.



Die IEG-Selbstevaluation folgt den besten professionellen Praktiken, wie sie von der Evaluation Cooperation Group (ECG) kodifiziert wurden. Diese Gruppe vereint die Evaluierungsbüros von sieben großen multilateralen Finanzinstituten in gemeinsamen Bemühungen, die Evaluierungsleistung und die Zusammenarbeit zwischen ihren Evaluatoren zu verbessern. Daraus lässt sich schließen, dass der Ansatz und der Schwerpunkt der IEG-Selbstbewertung repräsentativ für ein breiteres Spektrum von Praktiken sind, die derzeit von der Bewertungsgemeinschaft internationaler Finanzorganisationen verwendet werden.



Einleitend heißt es im IEG-Bericht, dass das IEG die größte Evaluierungsabteilung unter den Mitgliedern der Evaluation Capacity Group (ECG) ist und von der internationalen Evaluierungsgemeinschaft sehr geschätzt wird. Unabhängige Bewertungen der Rolle der IEG als unabhängige Bewertungsfunktion für die Bank und die IFC stuften sie über den Bewertungsfunktionen in den meisten anderen ECG-Mitgliedern, internationalen Nichtregierungsorganisationen und transnationalen Unternehmen ein und stellten fest, dass die IEG den Grundsätzen der Bewertung bewährter Verfahren folgt.



wie funktioniert der hebräische kalender

Der Selbstevaluationsbericht bestätigt grundsätzlich diese positive Einschätzung. Für vier von sechs Aufgabenbereichen vergibt sich die IEG die zweithöchste Bewertung (gut) von sechs möglichen Bewertungskategorien. Dazu gehören (a) die fachliche Qualität ihrer Bewertungen, (b) ihre Berichte darüber, wie das Management der Weltbank die Empfehlungen der IEG weiterverfolgt, (c) die Zusammenarbeit mit anderen Bewertungsstellen und (d) die Unterstützung der kreditnehmenden Länder bei der Verbesserung ihrer eigenen Auswertungskapazität. Im Bereich der Bewertung der Selbstbewertungs- und Risikomanagementpraktiken der Weltbank bietet der Bericht die dritthöchste Bewertung (befriedigend), während er die dritthöchste Bewertung (bescheiden) für die Auswirkungen der IEG auf die Richtlinien, Strategien und Operationen der Bank vergibt. Darüber hinaus kommt die Selbstevaluation zu dem Schluss, dass die Leistung des IEG insgesamt gut war und dass es unabhängig, effektiv und effizient arbeitet.



Der Bericht enthält eine Reihe von Verbesserungsvorschlägen, die wahrscheinlich hilfreich sind, aber nur begrenzte Auswirkungen auf seine Aktivitäten haben. Sie umfassen Maßnahmen zur weiteren Verbesserung der Unabhängigkeit der IEG und der Kohärenz der Bewertungspraktiken, wie sie in den Zweigstellen der Weltbankgruppe – der Weltbank, der International Finance Corporation (IFC) und der Multilateral Investment Guarantee Agency (MIGA) – angewendet werden; Verbesserung der Gestaltung von Bewertungen und der Zusammenarbeit mit dem Management der Bank vorgelagert, um eine größere Wirkung zu erzielen; und Überwachung der Auswirkungen der jüngsten organisatorischen Veränderungen in der IEG in Bezug auf die erzielten Ergebnisse. Der Bericht empfiehlt außerdem, die analytische Arbeit der Bank stärker zu bewerten und die Bewertungen auf vergleichende Erkenntnisse zu stützen.

Bewertung

In Bezug auf die Parameter der Selbstbewertung, die von der vorherrschenden Praxis unter den Gutachtern internationaler Finanzagenturen festgelegt werden, ist die IEG-Selbstbewertung genau und hilfreich. Aus meiner eigenen Erfahrung als operativer Leiter der Bank, deren Aktivitäten durch das IEG in den vergangenen Jahren evaluiert wurden, und als Nutzerin von IEG-Evaluierungen (und von Auswertungen anderer internationaler Hilfsorganisationen) für meine Forschungen zur EZ-Wirksamkeit stimme ich zu, dass das IEG unabhängig und effektiv bei der Erfüllung seines Mandats wie definiert. Darüber hinaus liefert die Selbstevaluation nützliche quantitative Beweise (einschließlich Umfrageergebnissen, Budgetanalysen usw.), um qualitative Urteile zu untermauern.



Die Selbstevaluation leidet jedoch unter einer Reihe von Ansätzen und Fokuslücken, die weitgehend repräsentativ für die Praxis vieler Evaluierungsbüros internationaler Hilfsorganisationen sind.



Bei sorgfältiger Lektüre des Berichts werden sechs wichtige Lücken in der IEG-Selbstbewertung, in der vorherrschenden Bewertungspraxis der Weltbank und allgemeiner in der Art und Weise, wie internationale Finanzorganisationen ihre eigene Leistung bewerten, sichtbar. Die ersten drei Lücken beziehen sich auf Aspekte des verwendeten Evaluierungsansatzes und die zweiten drei Lücken beziehen sich auf die mangelnde Fokussierung der Selbstevaluation auf wichtige interne organisatorische Fragen:

eins. Wirkungsbewertungen: Der Bericht stellt fest, dass das IEG zwei bis drei Wirkungsevaluierungen pro Jahr durchführt, umgeht jedoch die Debatte in der aktuellen Evaluationsliteratur und -praxis, inwieweit der Goldstandard der randomisierten Wirkungsevaluation eine viel zentralere Rolle einnehmen sollte. Angesichts der Bedeutung dieser Debatte und der Meinungsverschiedenheiten wäre es für die Selbstevaluation angemessen gewesen, die derzeitige Praxis des IEG zu bewerten, in der randomisierte Evaluierungen nur sehr eingeschränkt eingesetzt werden.



Kannst du tagsüber einen Vollmond sehen?

zwei. Bewertung des Hochskalierens: Der Bericht geht nicht auf die Frage ein, inwieweit die aktuelle IEG-Praxis nicht nur die Leistung einzelner Projekte hinsichtlich ihrer Ergebnisse und Nachhaltigkeit bewertet, sondern auch, ob die Bank ihre Erfahrungen in konkreten Projekten systematisch skaliert hat ihre Wirkung durch Unterstützung der Erweiterung oder Replikation in Folgeoperationen oder durch effektive Übergabe an die Regierung oder andere Partner steigern. Tatsächlich erwägt das IEG derzeit nicht explizit und systematisch eine Skalierung in seinen Projekt- und Programmbewertungen. In einer aktuellen IEG-Evaluierung der von der Weltbank finanzierten kommunale Entwicklungsprojekte (MDPs) stellte die IEG fest, dass die Bank im Laufe der Jahre mehrere MDPs in vielen Ländern unterstützt hat, aber die Bewertung ging nicht auf die offensichtliche Frage ein, ob die Bank den Projektablauf systematisch geplant oder auf ihren Erfahrungen aus früheren Projekten bei nachfolgenden Operationen aufgebaut hat. Während die meisten anderen Evaluierungsbüros wie das IEG eine Skalierung nicht in Erwägung ziehen, haben einige (insbesondere die des Internationalen Fonds für landwirtschaftliche Entwicklung und des Entwicklungsprogramms der Vereinten Nationen) in den letzten Jahren damit begonnen.



3. Ausgehend von den Erfahrungen und Benchmarking mit anderen Institutionen: Der Selbstbewertungsbericht leistet gute Arbeit beim Benchmarking der IEG-Leistung in vielerlei Hinsicht mit der anderer multilateraler Institutionen. Im Haupttext des Berichts heißt es, dass die IEG plant, Leitlinien für Ansatzpapiere zu entwickeln, um eine höhere Qualität zu gewährleisten, insbesondere durch Rückgriff auf vergleichende Informationen aus anderen Quellen und ein Benchmarking mit anderen Institutionen. Dies ist eine willkommene Absicht, die jedoch im Rest des Berichts unzureichend begründet und in der Zusammenfassung nicht berücksichtigt wird. Die Realität ist, dass die IEG, wie die meisten multilateralen Evaluierungsbüros, bisher nicht systematisch auf die Evaluierungen und einschlägigen Erfahrungen anderer Hilfsorganisationen in ihre Evaluierungen der Leistung der Weltbank zurückgegriffen hat. Dies hat die Lernwirkung der Evaluierungen stark eingeschränkt.

Vier. Bankinterne Richtlinien, Managementprozesse und Anreize: IEG-Evaluierungen konzentrieren sich traditionell nicht darauf, wie sich die internen Richtlinien, das Management und die Anreize der Bank auf die Qualität des Engagements der Bank in den Ländern auswirken. Auswertungen können daher keine Erkenntnisse darüber geben, ob und wie bankinterne Betriebsmodalitäten zu den Ergebnissen beitragen. Zwei aktuelle Ausnahmen sind bemerkenswerte Ausnahmen. Zuerst das IEG Auswertung des Ansatzes der Bank zur Harmonisierung mit anderen Gebern und zur Angleichung an die Länderprioritäten bewertet die Anreize für das Personal, die Harmonisierung und Angleichung zu unterstützen. Die Evaluation kommt zu dem Schluss, dass die Anreize nicht ausreichend sind, ein Befund, der vom Management bestritten wird. Zweitens ist die Evaluierung der internen Matrixverwaltungsregelungen der Bank zu nennen, die derzeit im Gange ist. Die Selbstevaluation stellt fest, dass die Bankleitung versucht hat, die Matrix-Evaluierung mit der Begründung aufzuheben, dass sie nicht unter den Auftrag der IEG falle. Dies ist ein unglückliches Argument, da eine Bewertung der institutionellen Gründe für die Leistungsfähigkeit der Bank ein wesentlicher Bestandteil jeder sinnvollen Bewertung der von der Bank unterstützten Programme ist. Der Selbstevaluationsbericht macht zwar gute Argumente für den speziellen Fall der Matrixbewertung, scheut jedoch eine allgemeinere Aussage zur Unterstützung der Einbeziehung der IEG in Fragen der bankinternen Richtlinien, Managementprozesse und Anreize. Bemerkenswert ist, dass das Unabhängige Evaluierungsbüro des IFAD in dieser Hinsicht aggressiver zu sein scheint: Es führt derzeit eine vollständige Evaluierung der internen Effizienz des IFAD und früherer Evaluierungen durch (z Auswertung von Innovation und Scaling-up) scheuten sich nicht, die internen institutionellen Dimensionen zu prüfen.



Meteoritenschauer am Nachthimmel

5. Weltbank-Governance: Die Selbstevaluation der IEG ist noch restriktiver in der Auslegung ihres Mandats in Bezug auf die Bewertung der Governance-Strukturen und -Prozesse der Weltbank (einschließlich ihres Ansatzes zur Stimme und Stimmabgabe der Mitglieder, der Arbeitsweise ihres Verwaltungsrats, der Auswahl ihrer leitenden Angestellten). Verwaltung usw.). Sie betrachtet diese Themen über das Mandat der IEG hinaus. Dies ist bedauerlich, da die Entwicklung der Governance der Bank ihre langfristige Legitimität, Wirksamkeit und Lebensfähigkeit als internationales Finanzinstitut erheblich beeinträchtigen wird. Da die IEG an den Vorstand der Bank berichtet und viele der Governance-Fragen Fragen der Zusammensetzung, Rolle und Arbeitsweise des Vorstands beinhalten, stellt sich die berechtigte Frage, wie effektiv die IEG eine solche Bewertung durchführen könnte. Bemerkenswert ist jedoch, dass das Independent Evaluation Office des IWF, das ebenfalls dem IWF-Direktorium unterstellt ist, eine vollständige Auswertung der Governance des IWF im Jahr 2008, die viele der richtigen Fragen effektiv angegangen sind.



6. Synergien zwischen Weltbank, IFC und MIGA: Der Selbstevaluationsbericht weist darauf hin, dass die jüngste interne Reorganisation der IEG darauf abzielte, effektivere und konsistentere Evaluierungen in den drei Mitgliedsniederlassungen der Weltbankgruppe sicherzustellen. Dies ist zu begrüßen, aber der Bericht bewertet nicht, wie in früheren Evaluierungen die Frage behandelt wurde, ob die Weltbank, die IFC und die MIGA die potenziellen Synergien zwischen den drei Organisationen effektiv nutzten. Das Kürzliche Auswertung der Reaktion der Weltbankgruppe auf die Weltwirtschaftskrise von 2008/09 enthielt parallele Bewertungen der Leistung der einzelnen Agenturen, ging jedoch nicht darauf ein, ob sie bei der Maximierung ihrer Synergien effektiv zusammenarbeiten. Die Realität ist, dass die drei Organisationen eine tief verwurzelte institutionelle Kultur haben und im Allgemeinen ihre eigenen Wege gehen, anstatt ihre Aktivitäten vor Ort eng zu koordinieren. Zukünftige Evaluierungen sollten explizit berücksichtigen, ob die drei effektiv zusammenarbeiten oder nicht. Während die Weltbank in ihrer organisatorischen Trennung von Privatsektor und Garantieoperationen einzigartig ist, haben auch andere Hilfsorganisationen Probleme mit mangelnder Kooperation, Koordination und Synergie zwischen verschiedenen Einheiten innerhalb der Agentur. Derselbe Kommentar gilt daher auch für ihre Bewertungsansätze.

Schlussfolgerungen

Selbstbewertungen sind wertvolle Instrumente der Leistungsbewertung und der IEG ist zu gratulieren, dass sie eine solche Bewertung ihrer eigenen Aktivitäten durchgeführt und veröffentlicht hat. Wie alle Selbstbewertungen sollte sie als Beitrag zu einer unabhängigen externen Bewertung betrachtet werden, eine Entscheidung, die offenbar vom Vorstand der Bank vorerst verschoben wurde.

Die Selbstevaluation der IEG hat viele Stärken und liefert eine insgesamt positive Bewertung der Arbeit der IEG. Es spiegelt jedoch einige wichtige Einschränkungen der Analyse und bestimmte Lücken in Ansatz und Abdeckung wider, die eine unabhängige externe Überprüfung ausdrücklich berücksichtigen und die das Management der IEG angehen sollte. Da viele dieser Fragen wahrscheinlich auch auf die meisten anderen Evaluierungsansätze anderer Evaluierungsbüros zutreffen, sind die Erkenntnisse über die IEG und die Weltbank hinaus relevant.

Zu den wichtigsten Lektionen gehören:

  • Eine Evaluation von Evaluationen sollte sich nicht nur auf den Prozess, sondern auch auf die inhaltlichen Fragen konzentrieren, mit denen sich die Institution auseinandersetzt.
  • Eine Evaluation der Wirksamkeit von Evaluationen sollte eine professionelle Einschätzung der Qualität der Evaluationsprodukte beinhalten.
  • Eine Evaluation von Evaluationen sollte bewerten:
    o Wie effektiv Wirkungsbewertungen eingesetzt werden;
    o Wie die Skalierung erfolgreicher Interventionen behandelt wird;
    o wie die Erfahrungen anderer vergleichbarer Institutionen genutzt werden;
    o Ob und wie die internen Richtlinien, Managementpraktiken und Anreize des Instituts effektiv bewertet werden;
    o Ob und wie die Governance der Institution bewertet wird; und
    o Ob und wie interne Koordination, Kooperation und Synergie zwischen Einheiten innerhalb der Organisationen bewertet werden.

Evaluationen spielen eine wesentliche Rolle für die Rechenschaftspflicht und das Lernen internationaler Hilfsorganisationen. Daher ist es von entscheidender Bedeutung, dass Evaluierungen die richtigen Themen behandeln und geeignete Techniken anwenden. Würden sich die obigen Lehren in der Evaluierungspraxis der Hilfseinrichtungen widerspiegeln, wäre dies ein bedeutender Fortschritt in Bezug auf Qualität, Relevanz und voraussichtliche Wirkung der Evaluierungen.