Education data quality in the Third World: A five country study

Abstract

This study examined the extent to which ministry level decision makers in five developing countries had confidence in the quality of the national level education data available to them, the extent that respondents' judgments of data quality were consistent with more objective analyses of the accuracy of selected national level data, and the reasons to which ministry officials and headmasters attributed inaccuracies in the data. Results indicate that government and school officials assign great importance to numeric data, but that they believe their national data to show error rates ranging from 16 to 40 per cent. There was low correspondence between respondents' perceptions of data quality and the more objective measures of data quality available in three of the countries. The source of error was widely thought to be failure at the school level to make accurate records or returns. Three implications are brought out: the need to provide evidence of quality of data in order to overcome unwillingness to base decisions on data perceived as flawed; the need for a realistic assessment of the level of accuracy required for reasonable decisions to be taken; and the need for training at the school level, together with some incentive for headteachers to make accurate returns.

Zusammenfassung

In dieser Studie werden die folgenden Punkte untersucht: a) wie hoch schätzten Entscheidungsträger der Ministerien in fünf Entwicklungsländern die Qualität der ihnen vorliegenden Daten über das Erziehungswesen auf nationaler Ebene ein, b) wie weit teilten die Schulverwalter als hauptsächliche Informationsgeber ihre Ansichten, c) wie weit stimmten die Beurteilungen der Schulleiter über die Datenqualität mit objektiveren Einschätzungen über die Genauigkeit ausgewählter Daten auf Nationalebene überein und d) die Gründe, die nach Meinung der Entscheidungsträger und Schulleiter für Ungenauigkeiten in den Daten verantwortlich sind. Die Ergebnisse deuten darauf hin, daß Regierungen und Schulbeauftragte numerischen Daten große Bedeutung beimessen, sie aber der Meinung sind, daß ihre nationalen Daten Fehlerquoten von 16%–40% aufweisen. Es bestand wenig Übereinstimmung zwischen den Auffassungen der Schulleiter über die Datenqualität und den vorliegenden objektiveren Einschätzungen in drei der betreffenden Länder. Die Fehlerquelle wurde weithin in der Unfähigkeit auf Schulebene gesehen, genaue Angaben und Berichte zu erstellen. Es gibt drei Schlußfolgerungen: die Notwedigkeit, die Qualität der Daten zu beweisen, um die Abneigung, Entscheidungen aufgrund fehlerhaft empfundener Daten zu treffen, zu überwinden; der Bedarf realistischer Einschätzung der Datengenauigkeit, die für vernünftige Entscheidungen erforderlich ist und der Bedarf an Fortbildung auf Schulebene, begleitet von Anreizen für Schulleiter, genaue Angaben zu machen.

Résumé

La présente étude examine le degré de confiance des décideurs du niveau ministériel de cinq pays en développement dans la qualité des données relatives à l'éducation et évaluées au niveau national qui sont mises à leur disposition, elle analyse dans quelle mesure les points de vue des interviewés sur la qualité des données correspondent aux analyses plus objectives de l'exactitude des données du niveau national qui sont sélectionnées et les raisons pour lesquelles les fonctionnaires des ministères et les directeurs d'écoles y voient des inexactitudes. Les résultats obtenus indiquent que le gouvernement et les fonctionnaires des écoles attachent une grande importance aux données numériques, mais qu'ils pensent que les données nationales qui leur sont fournies renferment un taux d'erreur allant de 16 à 40 pour cent. On a trouvé une faible corrélation entre les perceptions que les personnes interrogées ont de la qualité des données et les évaluations plus objectives de cette qualité qui ont été recensées dans trois de ces pays. Cette erreur a été attribuée dans l'ensemble à l'incapacité des écoles à établir des rapports ou comptes rendus exacts. On met en évidence trois implications: la nécessité de fournir des indices de qualité des données afin de lutter contre les décisions fondées sur des données perçues comme erronées; l'importance d'une évaluation réaliste du degré d'exactitude requis pour que les décisions prises soient convenables; le besoin de formation au niveau scolaire ainsi que de récompenses visant à encourager les directeurs d'écoles à effectuer des rapports exacts.