Advertisement

Springer Nature is making SARS-CoV-2 and COVID-19 research free. View research | View latest news | Sign up for updates

Uses and abuses of education assessment in Brazil

Abstract

Starting in the 1970s, Brazil developed a very complex system of quantitative assessments of education at all levels, making extensive use of statistical information and tests, in an effort to improve and maintain the quality of its education. However, with some exceptions, particularly at the graduate level, Brazilian education standards remain low, with few signs of improvement. After reviewing the existing assessment systems and their evolution, this Viewpoint argues that, although these assessments are a necessary component of any successful policy for educational improvement, they may fail without the appropriate technical and institutional considerations. Technical considerations include the need to avoid situations of reification, when the indicators, rather than education itself, become the main goal to be pursued; when obscure statistical estimations replace well-grounded psychometric measures aligned with existing curricula; when low-stakes tests are used for high-stakes purposes; and when the pedagogical, psychometric, and statistical procedures are not open to regular outside peer review. Institutional considerations include the need to make the assessment agency independent from government and other stakeholders, and to consider the large differences across the country’s regions and populations.

This is a preview of subscription content, log in to check access.

Fig. 1
Fig. 2
Fig. 3

References

  1. Baker, F. (2001). The basics of item response theory. College Park, MD: University of Maryland, Clearinghouse on Assessment and Evaluation.

  2. Balbachevsky, E., & Schwartzman, S. (2009).The academic profession in a diverse institutional environment: Converging or diverging values and beliefs? In University of Hiroshima, Research Institute for Higher Education (Ed.), The changing academic profession over 1992–2007: International, comparative and quantitative perspectives (pp. 145–164). Hiroshima: Hiroshima University Press.

  3. Becskeházy, I., & Oliveira, J. B. A. (2012). À espera de um currículo de padrão internacional Waiting for a world-class curriculum]. São Paulo: O Estado de São Paulo.

  4. Campbell, D. T. (1976). Assessing the impact of planned social change. Occasional Paper Series, No. 8. Hanover, NH: Public Affairs Center, Dartmouth College.

  5. Castro, M. H. M. (2004). The state and the market in the regulation of higher education in Brazil. In C. Brock & S. Schwartzman (Eds.), The challenges of education in Brazil: Studies in comparative education (pp. 179–208). Oxford: Triangle Journals.

  6. Castro, M. H. M. (forthcoming). Higher education policies in Brazil: Failures in market regulation. In P. Pilay, R. Pinheiro, & S. Schwartzman (Eds.), Higher education in the BRIC countries: Investigating the pact between higher education and society. New York: Springer.

  7. Castro, M. H. G., & Tiezzi, S. (2004). The reform of secondary education and the implementation of ENEM in Brazil. In C. Brock & S. Schwartzman (Eds.), The challenges of education in Brazil: Studies in comparative education (pp. 89–113). Oxford: Triangle Journals.

  8. Comissão Nacional para Reformulação da Educação Superior (1985). Uma nova política para a educação superior [A new policy for higher education]. Brasília: Ministério da Educação, Secretaria de Educação Superior.

  9. Crespo, M., Soares, J. F., & Souza, A. M. (2000). The Brazilian national evaluation system of basic education: Context, process, and impact. Studies in Educational Evaluation, 26, 105–25.

  10. Durham, E. R. (2004). Higher education in Brazil: Public and private. In C. Brock & S. Schwartzman (Eds.), The Challenges of Education in Brazil (pp. 147–178). Oxford: Triangle Journals.

  11. Fernandes, R. (2009). Índice de Desenvolvimento da Educação Básica (IDEB): Metas intermediárias para a sua trajetória no Brasil, estados, municípios e escolas [Development Index for Basic Education: Intermediate targets for states, municipalities and schools in Brazil]. Brasília: Ministério da Educação, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.

  12. Fernandes, R., & Gremaud, A. (2009). Qualidade da educação: Avaliação, indicadores e metas [Quality of education: Assessment, indicators and targets]. In F. Veloso, S. Pessoa, R. Henriques, & F. Giambiagi (Eds.), Educação básica no Brasil: Construindo o país do futuro (pp. 213–238). Rio de Janeiro: Editora Campus - Elsevier.

  13. Galvão, A. C. F., Viotti, E. B., & Baessa, A. R. (2008). Características do emprego dos doutores brasileiros: Características do emprego formal no ano de 2004 das pessoas que obtiveram título de doutorado no Brasil no período 1996–2003 [Characteristics of the employment of Brazilian doctors: Formal employment in 2004 of persons who obtained their doctoral degrees in Brazil in the 1966–2003 period]. Brasília: Centro de Gestão e Estudos Estratégicos.

  14. Ganimian, A. J. (2009). How much are Latin American children learning? Highlights from the Second Regional Student Achievement Test (SERCE). Washington, DC: Partnership for Educational Revitalization in the Americas (PREAL).

  15. Garcia, M., Vianna, N. M. V., & Suñé, L. S. de V. S. (2012). Diagnósticos e propostas para a avaliação da educação superior no Brasil [Diagnostics and proposals for the assessment of higher education in Brazil]. Brasília: Associação Brasileira de Mantenedoras de Ensino Superior.

  16. Gentili, P., & Apple, M. W. (1995). Pedagogia da exclusão: Crítica ao neoliberalismo em educação [Pedagogy of exclusion: Criticism of neoliberalism in education]. Petrópolis: Vozes.

  17. Goodhart, C. A. E. (1975). Problems of monetary management: The U.K. experience. Sydney: Reserve Bank of Australia.

  18. Gorard, S. (2010). Serious doubts about school effectiveness. British Educational Research Journal, 36, 745–766.

  19. Gordon Commission on the Future of Assessment in Education (2013). To assess, to teach, to learn: A vision for the future of assessment. Technical report. Princeton, NJ: Gordon Commission.

  20. Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage.

  21. IBGE [Instituto Brasiliero de Geografia e Estatística] (2013). Séries Estatísticas/Séries Históricas [Statistical series/historical series]. Rio de Janeiro: IBGE. http://seriesestatisticas.ibge.gov.br.

  22. INEP [Instituto Nacional de Estudos e Pesquisas Educacionais] (2001). PISA 2000: Relatório Nacional [PISA 2000: National report]. Brasília: INEP.

  23. INEP [Instituto Nacional de Estudos e Pesquisas Educacionais] (2003, Nov. 5). Cai demanda por cursos com baixo desempenho no Provão [The demand for courses with low results in Provão is being reduced]. Notícias do Provão. Brasília: INEP.

  24. INEP [Instituto Nacional de Estudos e Pesquisas Educacionais] (2004). SINAES – Sistema Nacional de Avaliação da Educação Superior: Da concepção à regulamentação [SINAES – National System for the Assessment of Higher Education: From conception to regulation]. Brasília: INEP.

  25. INEP [Instituto Nacional de Estudos e Pesquisas Educacionais] (2006). Sistema Nacional de Avaliação da Educação Superior (SINAES): Resumo Técnico Enade 2005 [National System for the Assessment of Higher Education (SINAES): Technical report, ENADE 2005]. Brasília: INEP.

  26. INEP [Instituto Nacional de Estudos e Pesquisas Educacionais] (2011a). Microdata. http://portal.inep.gov.br/basica-levantamentos-acessar.

  27. INEP [Instituto Nacional de Estudos e Pesquisas Educacionais] (2011b). Pisa. http://portal.inep.gov.br/internacional-novo-pisa-opisaeideb.

  28. Kane, T. J., & Staiger, D. O. (2002). The promise and pitfalls of using imprecise school accountability measures. Journal of Economic Perspectives, 16, 91–114.

  29. Klein, R. (2011). Uma re-análise dos resultados do PISA: Problemas de comparabilidade [A re-analysis of PISA results: Problems of comparability]. Ensaio: Avaliação e Políticas Públicas em Educação, 19, 717–742.

  30. Leta, J. (2012). Brazilian growth in the mainstream science: The role of human resources and national journals. Journal of Scientometric Research, 1, 44–52.

  31. Levy, D. C. (1986). Higher education and the state in Latin America: Private challenges to public dominance. Chicago: University of Chicago Press.

  32. Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Erlbaum. ERIC document ED312280.

  33. Menezes-Filho, N. A., & Ribeiro, F. (2009). Os determinantes da melhoria do rendimento escolar [The determinants for improving education achievement]. In F. Veloso, S. Pessoa, R. Henriques, & F. Giambiagi (Eds.), Educação básica no Brasil: Construindo o país do futuro (pp. 171–188). Rio de Janeiro: Editora Campus-Elsevier.

  34. MoE [Ministério da Educação] (2007). Aprova Brasil: O direito de aprender. Boas práticas em escolas públicas avaliadas pela Prova Brasil [The right to learn: Good practices in public schools assessed by Prova Brasil]. Brasilia: MoE.

  35. MoE [Ministério da Educação] (2009). Termo de referencia: Novo ENEM e sistema de seleção unificada [Terms of reference: The new ENEM and the national system of admissions]. Brasília: MoE.

  36. Mota, R. (2012, 23–29 Oct.). Regulação do ensino superior: É hora de inovar [Regulation of higher education: It is time to innovate]. Folha Dirigida, Caderno de Educação.

  37. Moura Castro, C. d., & Soares, G. A. D. (1986). As avaliações da CAPES [The CAPES Assessments]. In S. Schwartzman & C. d. Moura Castro (Eds.), Pesquisa universitária em questão (pp. 173–229). São Paulo: Editora da UNICAMP.

  38. Nunes, E. d. O., Fernandes, I., & Vogel de Albrecht, J. (2012). O INSAES como agência reguladora atípica [INSAES as an atypical regulatory agency]. Rio de Janeiro: Observatório Universitário, Universidade Cândido Mendes.

  39. OECD (2009). PISA 2009 results: What students know and can do: Student performance in reading, mathematics, and science. Paris: OECD.

  40. Oliveira, J. B. A d. (2010). Os três senhores do ENEM [The three masters of ENEM]. http://www.schwartzman.org.br/sitesimon/?p=1929&lang=pt-br.

  41. Pedrosa, R. H. L., Amaral, E., & Knobel, M. (2012). Assessing higher education learning outcomes: The Brazilian experience. Paper presented at the IMHE/OECD General Conference, Paris, October 21.

  42. Qualis (2013). Organizational website. http://www.capes.gov.br/avaliacao/qualis.

  43. Sader, E., Aboites, H., & Gentili, P. (2008). La reforma universitaria: Desafíos y perspectivas noventa años después [The university reform: Challenges and perspectives ninety years later]. Buenos Aires: Consejo Latinoamericano de Ciencias Sociales.

  44. Sampaio, H. (2000). Ensino superior no Brasil: O setor privado [Higher education in Brazil: The private sector]. São Paulo: FAPESP/Hucitec.

  45. Schwartzman, S. (1991). The great leap forward. In S. Schwartzman (Ed.), A space for science: The development of the scientific community in Brazil (pp. 216–233). University Park: Pennsylvania State University Press.

  46. Schwartzman, S. (1994). Brazil: Scientists and the state: Evolving models and the great leap forward. In E. Solingen (Ed.), Domestic structures and the international context (pp. 171–88). Ann Arbor: University of Michigan Press.

  47. Schwartzman, S. (1999). Legitimacy, controversies and translation in public statistics. Science, Technology & Society, 4, 1–34.

  48. Schwartzman, S. (2001). A revolução silenciosa do ensino superior [The silent revolution of higher education in Brazil]. In E. R. Durham & H. Sampaio (Eds.), O ensino superior em transformação (pp. 13–30). São Paulo: Nucleo de Pesquisas sobre Educação Superior-USP/CEBRAP.

  49. Schwartzman, S. (2008). O “conceito preliminar” e as boas práticas de avaliação do ensino superior [The “preliminary concept” and the best practices of higher education assessment]. Estudos: Revista da Associação Brasileira de Mantenedoras de Ensino Superior, 38, 9–32.

  50. Schwartzman, S. (2010a). The national assessment of courses in Brazil. In D. D. Dill & M. Beerkens (Eds.), Public policy for academic quality: Analyses of innovative policy instruments (pp. 293–312). Dordrecht, Heidelberg, London, New York: Springer.

  51. Schwartzman, S. (2010b). Nota sobre a transição necessária da pós-graduação brasileira [Note on the needed transition of Brazilian higher education]. In MoE & CAPES (Eds.), Plano Nacional de Pós-Graduação 2011–2020 (vol. 2, pp. 34–52). Brasilia: Ministério da Educação.

  52. Schwartzman, S. (2011). Academic drift in Brazilian education. Pensamiento Educativo: Revista de Investigación Educacional Latinoamericana, 48, 14–26.

  53. Schwartzman, S., & Moura Castro, C. d. (forthcoming, 2013). Ensino técnico e profissional: a falta que faz, e como fazer [Technical and professional education: Why it is needed, and how to do it]. In F. Giambiagi (Ed.), Brasil: Propostas para 2015–2018. Rio de Janeiro: Editora Campus/Elsevier.

  54. SERCE [Segundo Estudio Regional Comparativo y Explicativo] (2008). Los aprendizajes de los estudiantes de América Latina y el Caribe: Primer reporte de los resultados del Segundo Estudio Regional Comparativo y Explicativo [The learning achievements of the students in Latin America and the Caribbean Region: Second Regional Comparative and Explanatory Study]. Santiago: Oficina Regional de Educación para América Latina y el Caribe.

  55. Sguissardi, V. (Ed.) (1997). Avaliação universitária em questão: Reformas do estado e educação superior [Higher education assessment questioned: Reforms of the state and higher education]. Campinas: Editora Autores Associados.

  56. Soares, J. F. (2007). Melhoria do desempenho cognitivo dos alunos do ensino fundamental [Improvement of the cognitive performance of students in basic education]. Cadernos de Pesquisa (Fundação Carlos Chagas), 37, 135–160. http://www.scielo.br/pdf/cp/v37n130/07.pdf.

  57. Soares, J. F. (2012). ENEM: seleção versus relevância educacional [ENEM: Selection vs. educational relevance]. Belo Horizonte: Universidade Federal de Minas Gerais, Faculdade de Educação, Grupo de Avaliação e Medidas Educacionais.

  58. Sobrinho, J. D. (2000). Avaliação da educação superior [Assessment of higher education]. São Paulo: Vozes.

  59. Sobrinho, J. D. (2008). Quality, evaluation: From SINAES to indexes. Avaliação: Revista da Avaliação da Educação Superior (Campinas), 13, 817–825.

  60. Souza, C. Z. V. (2012). A emergência das políticas de avaliação no processo de reforma da universidade brasileira [The emergence of assessment policies in the reform process of Brazilian universities]. Rio: Programa de Pós-Graduação em Políticas Públicas e Formação Humana, Universidade do Estado do Rio de Janeiro.

  61. Todos Pela Educação (2008). De olho nas metas: Primeiro relatório de acompanhamento das 5 metas do Movimento Todos Pela Educação [Watching the targets: First follow-up report of the 5 targets of the All for Education Movement]. São Paulo: Movimento Todos Pela Educação.

  62. Todos Pela Educação (2012). De olho nas metas 2011: Quarto relatório de acompanhamento das 5 metas do Movimento Todos Pela Educação [Watching the targets: Fourth follow-up report of the 5 targets of the All for Education Movement]. São Paulo: Movimento Todos Pela Educação.

  63. Valverde, G. (2009). Padrões e avaliação [Standards and assessment]. In S. Schwartzman & C. Cox (Eds.), Políticas educacionais e coesão social: Uma agenda latino-americana (pp. 49–80). Rio de Janeiro, São Paulo: Elsevier, iFHC.

  64. Velloso, J. (2002). A pós-graduação no Brasil formação e trabalho de mestres e doutores no país [Graduate education in Brazil: Education and work of master’s and doctoral degree holders in the country]. Brasilia: CAPES.

  65. Veloso, F. (2011). A evolução recente e propostas para a melhoria da educação no Brasil [Recent developments and proposals for improving education in Brazil]. In E. E. Bacha & S. Schwartzman (Eds.), Brasil: A Nova Agenda Social (pp. 215–253). Rio de Janeiro: LTC.

  66. Verhine, R. E., Dantas, L. M. V., & Soares, J. F. (2006). Do Provão ao ENADE: Uma análise comparativa dos exames nacionais utilizados no ensino superior brasileiro [From Provão do ENADE: A comparative analysis of the national exams used in Brazil’s higher education]. Ensaio: Avaliação e Políticas Públicas em Educação, 14, 291–310.

Download references

Author information

Correspondence to Simon Schwartzman.

About this article

Cite this article

Schwartzman, S. Uses and abuses of education assessment in Brazil. Prospects 43, 269–288 (2013). https://doi.org/10.1007/s11125-013-9275-9

Download citation

Keywords

  • Basic education
  • Centralization
  • Decentralization
  • Quality of education
  • Brazil
  • Assessment
  • Higher education