A meta-look at meta-studies of the effectiveness of development assistance to education

Abstract

What insights and generalisations can be drawn from looking across the work of multiple governmental and non-governmental organisations aimed at supporting basic education in low and medium income countries? To address this question, this study analysed findings of nine evaluation meta-studies completed by international assistance organisations, each of which was examining the effectiveness of their work in basic education over a multi-year period. The value of the underlying project activities reviewed in these evaluations represents $6–$8 billion. Studies analysed with respect to (a) the criteria each used to judge success of their underlying projects, (b) the extent to which these studies focused on outcomes and impacts, (c) the extent to which projects were judged sustainable, (d) the adequacy of the project-level evaluations being reviewed, (e) what the underlying projects accomplished, (f) weaknesses identified in underlying project designs and (g) cost. A major weakness identified in almost all of the meta-studies reviewed was the paucity of evidence regarding the impact of the project activities in promoting student learning outcomes.

Résumé

Un méta-regard sur les méta-études évaluant l’efficacité de l’aide au développement de l'éducation – Quels éclaircissements et généralisations pouvons-nous tirer d’un regard sur le travail des nombreuses organisations gouvernementales et non gouvernementales qui s’efforcent de promouvoir l’éducation de base dans les pays à faibles et moyens revenus ? Pour répondre à cette question, les auteurs de cet article ont analysé les résultats de neuf méta-études d’évaluation effectuées par des organisations humanitaires internationales, chacune ayant vérifié pendant plusieurs années l’efficacité de son intervention en faveur de l’éducation de base. La valeur des activités de projet recensées dans ces évaluations représente six à huit milliards de dollars US. Les études ont été analysées par rapport aux éléments suivants : (a) les critères choisis par les organisations pour évaluer le succès de leurs projets afférents, (b) le degré d’importance accordé lors des études aux résultats et aux répercussions, (c) le degré de pérennité attribué aux projets, (d) l’adéquation des évaluations effectuées au niveau des projets, (e) le contenu des projets, (f) les points faibles identifiés au niveau de la conception des projets et (g) les coûts. Un déficit majeur constaté dans la majorité des méta-études réside dans le manque de données probantes sur l’impact des activités de projet visant à promouvoir les résultats d’apprentissage des apprenants.

Zusammenfassung

Ein Metablick auf Meta-Evaluationsstudien der Effektivität von Entwicklungshilfe im Bildungssektor – Welche Erkenntnisse und Verallgemeinerungen lassen sich aus der Arbeit zahlreicher staatlicher Einrichtungen und Nichtregierungsorganisationen ableiten, die sich um die Förderung der Grundbildung in Ländern mit niedrigem und mittlerem Einkommen bemühen? Um dieser Frage nachzugehen, wurden in der vorliegenden Untersuchung Ergebnisse von neun Meta-Evaluationsstudien internationaler Hilfsorganisationen analysiert, die diese jeweils zur Erfolgskontrolle ihrer Arbeit zur Förderung der Grundbildung über einen Zeitraum von mehreren Jahren erstellt haben. Der Gesamtumfang der diesen Evaluationen zugrunde liegenden Projekte beläuft sich auf 6 bis 8 Milliarden USD. Bei der Analyse der Studien wurden folgende Aspekte berücksichtigt: (a) die Frage, anhand welcher Kriterien der Erfolg der zugrunde liegenden Projekte jeweils beurteilt wurde, (b) die Frage, inwieweit in diesen Studien Ergebnisse und Auswirkungen im Mittelpunkt des Interesses standen, (c) die Frage, inwieweit Projekte als nachhaltig beurteilt wurden, (d) die Frage, inwieweit die beurteilten Evaluationen auf Projektebene angemessen waren, (e) was die zugrunde liegenden Projekte erreicht haben, (f) Schwächen, die in den zugrunde liegenden Projektentwürfen ausgemacht wurden, und (g) Kosten. Eine erhebliche Schwäche fast aller untersuchten Metastudien war der Mangel an Belegen dafür, dass sich die Projektaktivitäten positiv auf den Lernerfolg der Schülerinnen und Schüler ausgewirkt haben.

Resumen

Una meta mirada sobre meta estudios: cuán efectiva es la asistencia al desarrollo para la educación – ¿Qué descubrimientos y qué generalizaciones pueden deducirse de una mirada sobre el trabajo de múltiples organizaciones gubernamentales y no gubernamentales decididas a fomentar la educación básica en países de recursos bajos y medios? Para abordar este interrogante, en este estudio se analizan los resultados de nueve meta estudios de evaluación, completados por organizaciones de asistencia internacionales, donde cada una de ellas examinaba la efectividad de su trabajo sobre educación básica a lo largo de un período plurianual. El valor de las actividades de proyecto sobre el que se basaba su trabajo, revisadas en estas evaluaciones, representa 6 a 8 mil millones de dólares. Los estudios se analizaron en cuanto a (a) qué criterios aplicó cada una de ellas para evaluar el éxito de sus proyectos subyacentes (b) hasta qué medida estos estudios se centraron en resultados y efectos, (c) hasta qué medida estos proyectos se calificaron como sostenibles, (d) si eran adecuadas las evaluaciones a nivel de proyecto que se revisaron, (e) qué lograron los proyectos subyacentes, (f) puntos débiles identificados en los diseños de los proyectos subyacentes y (g) costos. Uno de los puntos débiles importantes, identificados en casi todos los meta estudios revisados, era la falta de pruebas en cuanto al efecto que tuvieron las actividades de proyecto para promover los resultados de aprendizaje de los estudiantes.