Advertisement

SROI as a Method for Evaluation Research: Understanding Merits and Limitations

  • Florentine MaierEmail author
  • Christian Schober
  • Ruth Simsa
  • Reinhard Millner
Original Article

Abstract

NPOs and their funders are increasingly drawn to the Social Return on Investment (SROI) method to evaluate the social impact of programs, organizations, or organization networks. While many claims about the benefits of SROI have been expressed, various points of criticism have also been raised. On the basis of both current research and our own experience in conducting SROI analyses, we develop a comprehensive assessment of this method, which is structured along two dimensions: the observer’s paradigmatic perspective, on the one hand, and positive or negative valuation, on the other. We identify two major merits: SROI analysis can provide legitimacy to NPOs or their funders, and it can assist in allocating resources efficiently and effectively. We identify limitations from three perspectives: From an interpretative-sociological perspective, criticism of commensuration and utilitarianism calls the method as a whole into question. From a technical-instrumental perspective, there are a number of difficulties that could, however, be overcome as the method matures. From an intermediary perspective, a number of limitations become apparent that, while inherent to SROI analysis, are no reason for abandoning it, as long as they are thoroughly understood. We conclude by providing suggestions for the responsible use of SROI analysis.

Keywords

SROI analysis Evaluation Methodology Impact measurement Social impact Social Return on investment 

Résumé

Les associations à but non lucratif et leurs bailleurs de fonds ont de plus en plus recours à la méthode du retour social sur investissement (SROI) pour évaluer l’impact social de programmes, d’organisations ou de réseaux d’organisations. Si les avantages de cette méthode ont maintes fois été exprimés, elle soulève aussi diverses critiques. À partir de l’état actuel de la recherche et de notre propre expérience de la conduite d’analyses de SROI, nous développons une évaluation complète de cette méthode, structurée selon deux dimensions : la perspective paradigmatique de l’observateur d’une part, et la valorisation positive ou négative d’autre part. Nous identifions deux mérites majeurs : l’analyse SROI peut donner une légitimité aux associations à but non lucratif ou à leurs bailleurs de fonds, et elle peut contribuer à allouer les ressources de manière efficace et efficiente. Nous identifions ses limites selon trois axes : du point de vue interprétatif-sociologique, la critique de la commensuration et de l’utilitarisme remet l’ensemble de la méthode en question. Du point de vue technique-instrumental, il existe un certain nombre de difficultés qui pourraient toutefois être surmontées avec la maturation de la méthode. D’un point de vue intermédiaire, un certain nombre de limites deviennent apparentes qui, bien qu’inhérentes à l’analyse SROI, ne constituent pas une raison suffisante pour l’abandonner tant qu’elles sont parfaitement appréhendées. Nous concluons en formulant des propositions pour l’utilisation responsable de l’analyse SROI.

Zusammenfassung

Gemeinnützige Organisationen und ihre Geldgeber greifen zunehmend auf die Methode der SROI-Analyse (Social Return on Investment) zurück, um die sozialen Auswirkungen von Programmen, Organisationen oder Organisationsnetzwerken zu bewerten. Die Vorteile der SROI-Analyse werden häufig herausgestellt; doch werden auch diverse Kritikpunkte aufgeworfen. Beruhend auf gegenwärtigen Forschungen und unserer eigenen Erfahrung mit der Durchführung von SROI-Analysen entwickeln wir eine umfassende Bewertung dieser Methode, die sich an zwei Dimensionen orientiert: zum einen an der paradigmatischen Perspektive des Beobachters und zum anderen an der positiven oder negativen Bewertung. Wir identifizieren zwei wesentliche Nutzen der SROI-Analyse: Eine SROI-Analyse kann Legitimität für die gemeinnützigen Organisationen oder ihre Geldgeber schaffen und kann bei der effizienten und effektiven Zuteilung von Ressourcen behilflich sein. Wir identifizieren Grenzen der SROI-Analyse aus drei Perspektiven: Aus der interpretativ-soziologischen Perspektive wird die Methode durch die Kritik an der Kommensuration und am Utilitarismus insgesamt in Frage gestellt. Aus der technisch-instrumentalen Perspektive betrachtet gibt es eine Reihe von Schwierigkeiten, die jedoch mit der Ausreifung der Methode überwunden werden können. Die intermediäre Perspektive stellt eine Reihe von Beschränkungen heraus, die zwar mit einer SROI-Analyse einhergehen, die jedoch kein Grund dafür sind, diese Methode nicht anzuwenden, solange die Beschänkungen genau verstanden werden. Zum Abschluss unseres Beitrags unterbreiten wir Vorschläge für die verantwortungsvolle Anwendung einer SROI-Analyse.

Resumen

Las organizaciones sin ánimo de lucro (NPO) y sus fundadores se ven arrastrados cada vez más al método de Retorno Social de la Inversión (SROI, del inglés Social Return on Investment) para evaluar el impacto social de los programas, las organizaciones y las redes de organizaciones. Aunque se han manifestado muchas afirmaciones sobre los beneficios del SROI, también se han planteado varios puntos críticos. En base tanto a la investigación actual como a nuestra propia experiencia en la realización de análisis SROI, desarrollamos una evaluación integral de este método, que se estructura a lo largo de dos dimensiones: la perspectiva paradigmática del observador, por un lado, y la valoración positiva o negativa, por otro. Identificamos dos méritos de importancia: El análisis SROI puede proporcionar legitimidad a las NPO o a sus fundadores, y puede ayudar a asignar los recursos de manera eficiente y efectiva. Identificamos limitaciones a partir de tres perspectivas: Desde una perspectiva sociológica interpretativa, la crítica de la conmensuración y el utilitarismo pone en cuestión el método como un todo. Desde una perspectiva instrumental técnica, existen una serie de dificultades que podrían ser superadas, no obstante, a medida que madura el método. Desde una perspectiva intermedia, resultan aparentes una serie de limitaciones que, aunque inherentes al análisis SROI, no son motivo para abandonarlo, siempre que se comprendan en su totalidad. Concluimos proporcionando sugerencias para el uso responsable del análisis SROI.

Arabic

تم تحريك المنظمات الغير ربحية (NPOs) والممولين بشكل متزايد إلى العائد الإجتماعي على الإستثمار (SROI) لطريقة تقييم الأثر الاجتماعي للبرامج ٬المنظمات أو شبكات المنظمة. في حين تم التعبيرعن العديد من الإدعاءات حول فوائد العائد الإجتماعي على الإستثمار(SROI)٬كما تم الحديث عن نقاط مختلفة من الإنتقادات. على أساس كل من البحوث الحالية و تجربتنا في إجراء تحليلات العائد الإجتماعي على الإستثمار(SROI) ، نحن نطور تقييم شامل لهذا الأسلوب، الذي يتم تأسيسه على طول بعدين : وجهة نظر المراقب كنموذج ، من ناحية ، و التقييم الإيجابي أو السلبي ، على ناحية أخرى. نحن نتعرف على إثنين من المزايا الرئيسية: يمكن أن يوفر تحليل العائد الإجتماعي على الإستثمار(SROI) شرعية للمنظمات الغير ربحية (NPOs)أو الممولين لها ، ويمكن أن يساعد في تخصيص الموارد بكفاءة وفعالية. نحن نحدد القيود من ثلاث وجهات نظر: من وجهة نظر تفسيرية - السوسيولوجية ،إنتقادات من أشخاص على نفس المستوى و النفعية يستدعي الأسلوب ككل إلى موضع تساؤل. من منظور فني ، دورا˝ أساسيا˝ ، هناك عدد من الصعوبات التي يمكن التغلب عليها عند نضوج الأسلوب. من وجهة نظر وسيط ، عددا˝ من القيود أصبحت واضحة ٬ في حين إنها متأصلة في تحليل العائد الإجتماعي على الإستثمار(SROI) ، لا يوجد أي سبب للتخلي عنها ، طالما أنها مفهومة تماما˝. نختتم من خلال تقديم إقتراحات لإستخدام المسؤول لتحليل العائد الإجتماعي على الإستثمار(SROI).

Japanese

NPOとその資金提供者は、社会的投資利益率(SROI)のメソッドを頻繁に用いて、プログラム、組織または組織のネットワークにおける社会的影響を評価する。しかしSROI の利点についての多くの主張がある一方、様々な批判もなされている。現在の研究とSROI 分析を行う上での経験に基づくと、このメソッドでは包括的な評価を開発して、2つの特徴、このうち1つは観察者のパラダイムの観点、もう1つは正または負の評価を組織化する。SROI 分析では、NPOまたはその資金提供者に合法性を提示して、効率的かつ効果的に資金を割り当てて支援するという2 つの主要なメリットを識別する。そこで3 つの視点からの制約を設ける。社会学的解釈の観点から、均等と功利主義の批判を疑問としてメソッドに投げかける。技術的有効性の観点から、方法が確立されれば多くの困難を克服する。仲介者の観点から、多くの制約が明らかになるが、SROI 分析が内在すれば、完全に理解されている限りはそれを放棄する理由はない。SROI 分析に責任ある活用をするための提案であると結論付ける。.

Chinese

非营利组织及其资助商越来越多的使用社会投资回报 (SROI) 方法评估计划、组织或组织网络的社会影响。尽管一些人认为SROI的好处非常明显,但仍存在各种批评的声音。基于当前研究和进行SROI分析的自有经验,我们开发了这一方法的综合评估,这氛围两个维度:一方面是观察员的典型角度;另一方面是正面或负面的评估。我们确定了两个主要优点:SROI分析可为非营利组织或其资助商提供合法性,同时帮助高效地分配资源。我们确定了从三个角度来看的限制:从解释社会学角度来看,对同量和功利主义的批评将整个方法都视为问题。从技术工具角度来看,随着该方法变得成熟,有一些困难需要克服。从中间角度来看,一些限制变得非常明显:尽管SROI分析所固有,但没有理由放弃它,只要完全理解它们。我们以提供负责任使用SROI分析的建议结尾。

References

  1. Aldrich, T. (2009). Benchmarking the fundraising performance of UK charities. International Journal of Nonprofit & Voluntary Sector Marketing, 14(4), 353–364.CrossRefGoogle Scholar
  2. Antonaras, A., Iacovidou, M., & Memtsa, C. (2011). Measuring social return on investment using the EBEN GR business ethics excellence model. Verslo ir teisės aktualijos/Current Issues of Business and Law, 6(1), 69–89.CrossRefGoogle Scholar
  3. Arvidson, M., & Lyon, F. (2014). Social impact measurement and non-profit organisations: Compliance, resistance, and promotion. Voluntas, 25(4), 869–886.Google Scholar
  4. Arvidson, M., Lyon, F., McKay, S., & Moro, D. (2010). The ambitions and challenges of SROI. Working paper. TSRC Third Sector Research Centre, 49.Google Scholar
  5. Balser, D., & McClusky, J. (2005). Managing stakeholder relationships and nonprofit organization effectiveness. Nonprofit Management and Leadership, 15(3), 295–315.CrossRefGoogle Scholar
  6. Barman, E. (2007) What is the bottom line for nonprofit organizations? A history of measurement in the British voluntary sector. Voluntas, 18(2):101–115.Google Scholar
  7. Canton, E. (2009). Human capital externalities and proximity: Evidence from repeated cross-sectional data. De Economist, 157(1), 79–105.CrossRefGoogle Scholar
  8. Cheney, A. L., Merchant, K. E., & Killins, R. (2013). Impact Investing: A 21st century tool to attract and retain donors. The Foundation Review, 4(4), 45–56.CrossRefGoogle Scholar
  9. Chmelik, E. R. (2012). Measures of performance in the context of international social enterprise. Unpublished master thesis, San Diego State University.Google Scholar
  10. Christensen, R. A., & Ebrahim, A. (2006). How does accountability affect mission? The case of a nonprofit serving immigrants and refugees. Nonprofit Management & Leadership, 17(2), 195–209.CrossRefGoogle Scholar
  11. Daigle, J., Hall, C., Jamal, R., Silva-Leander, K., & Tagar, E. (2004). Poverty alleviation through socially responsible investment. World Bank Institute.Google Scholar
  12. Dees, J. G. (2012). A tale of two cultures: Charity, problem solving, and the future of social entrepreneurship. Journal of Business Ethics, 111(3), 321–334.CrossRefGoogle Scholar
  13. Ebrahim, A. (2005). Accountability myopia: Losing sight of organizational learning. Nonprofit and Voluntary Sector Quarterly, 34(1), 56–87.CrossRefGoogle Scholar
  14. Ebrahim, A., & Rangan, V. K. (2010). The limits of nonprofit impact: A contingency framework for measuring social performance, Harvard business school working papers: Harvard Business School.Google Scholar
  15. Edwards, R., Smith, G., & Büchs, M. (2010). Mainstreaming the environment through performance management?. Leeds: NCVO/VSSN.Google Scholar
  16. Emerson, J., & Cabaj, M. (2000). Social return on investment. Making Waves, 11(2), 10–14.Google Scholar
  17. Emerson, J., Wachowicz, J., & Chun, S. (2000). Social return on investment: Exploring aspects of value creation in the nonprofit sector. The Box Set: Social Purpose Enterprises and Venture Philanthropy in the New Millennium, 2, 130–173.Google Scholar
  18. Espeland, W. N., & Stevens, M. L. (1998). Commensuration as a social process. Annual Review of Sociology, pp 313–343.Google Scholar
  19. Flockhart, A. (2005). Raising the profile of social enterprises: The use of social return on investment (SROI) and investment ready tools (IRT) to bridge the financial credibility gap. Social Enterprise Journal, 1(1), 29–42.CrossRefGoogle Scholar
  20. Frumkin, P. (2003). Inside venture philanthropy. Society, 40(4), 7–15.CrossRefGoogle Scholar
  21. Fulbright-Anderson, K., & Auspos, P. (Eds.). (2006). Community change: Theories, practice, and evidence. Washington, DC: The Aspen Institute Roundtable on Community Change.Google Scholar
  22. Gair, C. (2002). A report from the good ship SROI. San Francisco: The Roberts Foundation.Google Scholar
  23. Gair, C. (2009). SROI Act II: A call to action for next generation SROI. San Francisco: REDF.Google Scholar
  24. Gordon, M. (2009). Accounting for making a difference. Social Enterprise Magazine.Google Scholar
  25. Hall, M. (2014). Evaluation logics in the third sector. Voluntas, 25(2), 307–336.Google Scholar
  26. Jardine, C., & Whyte, B. (2013). Valuing desistence? A social return on investment case study of a through care project for short-term prisoners. Social and Environmental Accountability Journal, 33(1), 20–32.CrossRefGoogle Scholar
  27. Kant, I. (1994). Ethical philosophy (2nd ed.). Indianapolis: Hackett Publishing Company.Google Scholar
  28. Kara, H. (2013). Research and evaluation for busy practitioners: A time-saving guide. Bristol: The Policy Press.Google Scholar
  29. Kehl, K., & Then, V. (2009). Analytischen Tiefgang wagen!–Vom „Social Return on Investment “zur sozioökonomsichen Mehrwertanalyse. BBE-Newsletter, 15, 1–14.Google Scholar
  30. Keynes, J. M. (1965). The general theory of employment, interest, and money. First Harvest/Harcourt: Orlando.Google Scholar
  31. Klausner, M. (2003). When time isn’t money: Foundation payouts and the time value of money. Stanford Social Innovation Review, 1(1), 51–59.Google Scholar
  32. Laskowski, W., & Kellem, R. (2008). Social Return on Investment (SROI)–Ein Vergleich von Modellen zur Darstellung sozialer und ökonomischer Leistungen in sozialen Diensten. In R. Schauer, B. Helmig, R. Purtschert, & D. Witt (Eds.), Steuerung und Kontrolle in Nonprofit-Organisationen (pp. 379–396). Wiesbaden: DUV-Gabler.Google Scholar
  33. Lawlor, E., Beitler, D., Kersley, H., Steed, S., & Cottingham, M. (2009). A Bit Rich: Calculating the real value to society of different professions, New Economics Foundation.Google Scholar
  34. Lingane, A., & Olsen, S. (2004). Guidelines for social return on investment. California Management Review, 46(3), 116–135.CrossRefGoogle Scholar
  35. Luke, B., Barraket, J., & Eversole, R. (2013). Measurement as legitimacy versus legitimacy of measures-Performance evaluation of social enterprise. Qualitative Research in Accounting & Management, 10(3/4), 234–258.CrossRefGoogle Scholar
  36. Lynch-Cerullo, K., & Cooney, K. (2011). Moving from outputs to outcomes: A review of the evolution of performance measurement in the human service nonprofit sector. Administration in Social Work, 35(4), 364–388.CrossRefGoogle Scholar
  37. Manetti, G. (2014). The role of blended value accounting in the evaluation of socio-economic impact of social enterprises. Voluntas, 25(2), 443–464.Google Scholar
  38. Marini, G., & Scaramozzino, P. (2000). Social time preference. Journal of Population Economics, 13(4), 639–645.CrossRefGoogle Scholar
  39. Meldrum, B. (2011). An African model of social impact measurement: Testing European knowledge in the context of social innovations in the Western Cape region of South Africa, The business of social and environmental innovation conference. Cape Town.Google Scholar
  40. Mildenberger, G., & Münscher, R. (2009). “Social Return on Investment”–Ein vielversprechender Ansatz zur Wirkungsmessung im Dritten Sektor. BBE-Newsletter, 15, 2009.Google Scholar
  41. Millar, R., & Hall, K. (2013). Social return on investment (SROI) and performance measurement: The opportunities and barriers for social enterprises in health and social care. Public Management Review, 15(6), 923–941.CrossRefGoogle Scholar
  42. Mook, L., Richmond, B. J., & Quarter, J. (2003). Integrated social accounting for nonprofits: A case from Canada. Voluntas, 14(3), 283–297.Google Scholar
  43. Moore, M. H. (2013). Recognizing public value. London: Harvad University Press.Google Scholar
  44. More-Hollerweger, E., Pervan Al-Soqauer, I., & Pervan, E. (2013). Studie zum gesellschaftlichen und ökonomischen Nutzen der staatlich anerkannten Schuldenberatungen in Österreich mittels einer SROI-Analyse“, Projektendbericht: NPO&SE Kompetenzzentrum der WU Wien. http://goo.gl/EsbRGK.
  45. Nicholls, J., Lawlor, E., Neitzert, E., & Goodspeed, T. (2012). A guide to social return on investment: The SROI network.Google Scholar
  46. Olsen, S., & Lingane, A. (2003). Social return on investment: Standard guidelines: Center for Responsible Business.Google Scholar
  47. Pawson, R. (2002). Does Megan’s law work? A theory-driven systematic review. ESRC UK Centre for Evidence Based Policy and Practice London, working paper 8.Google Scholar
  48. Pawson, R. (2006). Evidence-based policy: A realist perspective, Sage.Google Scholar
  49. Pervan-Al Soqauer, I., Schober, C., Perić, N., & Gosch, T. (2013). Studie zum gesellschaftlichen und ökonomischen Nutzen der Miteinander leben—Organisation für Betreutes Wohnen GmbH mittels SROI-Analyse, Projektendbericht: NPO&SE Kompetenzzentrum der WU Wien. http://goo.gl/4uEdmJ.
  50. Pervan-Al Soqauer, I., Pervan, E., & Rauscher, O. (2013). SROI-Analyse des Projekts "Footprint" für Betroffene von Frauenhandel“, Projektendbericht: NPO&SE Kompetenzzentrum der WU Wien. http://goo.gl/oRA32o.
  51. Polonsky, M., & Grau, S. L. (2011). Assessing the social impact of charitable organizations-four alternative approaches. International Journal of Nonprofit & Voluntary Sector Marketing. 16(2), 195–211.Google Scholar
  52. Rauscher, O., & Pervan-Al Soqauer, I. (2012). SROI-Analyse “Starthilfe Wohnen”, Projektendbericht. NPO&SE Kompetenzzentrum der WU Wien. http://goo.gl/A2V7N0.
  53. Rauscher, O., Schober, C., More-Hollerweger, E., & Pervan-Al Soqauer, I. (2011). Social Return on Investment (SROI)-Analyse für das Projekt "Casa Abraham", Projektendbersicht: NPO&SE Kompetenzzentrum der WU Wien. http://short.wu.ac.at/hsbn.
  54. Rauscher, O., & Sprajcer, S. (2012). SROI-Analyse des Projekts “Das gute Holz. Mit sozialem Engagement gegen den Klimawandel”, Projektendbericht: NPO&SE Kompetenzzentrum der WU Wien. http://goo.gl/p9oNc1.
  55. Ryan, P. W., & Lyne, I. (2008). Social enterprise and the measurement of social value: Methodological issues with the calculation and application of the social return on investment. Education, Knowledge & Economy, 2(3), 223–237.CrossRefGoogle Scholar
  56. Schober, C., More-Hollerweger, E., & Rauscher, O. (2012). SROI-Analyse der Feuerwehren in Oberösterreich, Projektendbericht: NPO&SE Kompetenzzentrum der WU Wien. http://goo.gl/DfD2X.
  57. Schober, C., Schober, D., Perić, N., & Pervan, E. (2012). Studie zum gesellschaftlichen und ökonomischen Nutzen der mobilen Pflege- und Betreuungsdienste in Wien mittels einer SROI-Analyse“, Projektendbericht: NPO&SE Kompetenzzentrum der WU Wien. http://goo.gl/q8EJl.
  58. Schober, C., & Rauscher, O. (2011). SROI-Analyse des “Ideen gegen Armut”-Siegerprojekts 2009: “Spenden Sie ihre alte Waschmaschine! Die öko-soziale Umverteilung von Waschmaschinen und Geschirrspülern”, Projektendbericht: NPO&SE Kompetenzzentrum der WU Wien. http://short.wu.ac.at/dzdg.
  59. Steinke, I. (2004). Quality criteria in qualitative research. In U. Flick, E. Kardoff, & I. Steinke (Eds.), A companion to qualitative research (pp. 184–190). Sage: London et al.Google Scholar
  60. Stevenson, N., Taylor, M., Lyon, F., & Rigby, M. (2010). Joining the dots: Social impact measurement, commissioning from the third sector and supporting social enterprise development: Mutual advantage, EEDA, Social Enterprise East of England, Improvement East, The Guild, Middlesex University.Google Scholar

Copyright information

© International Society for Third-Sector Research and The Johns Hopkins University 2014

Authors and Affiliations

  • Florentine Maier
    • 1
    Email author
  • Christian Schober
    • 1
  • Ruth Simsa
    • 1
  • Reinhard Millner
    • 1
  1. 1.WU Vienna University of Economics and BusinessViennaAustria

Personalised recommendations