Evaluation Logics in the Third Sector

Abstract

In this paper I provide a preliminary sketch of the types of logics of evaluation in the third sector. I begin by tracing the ideals that are evident in three well-articulated yet quite different third sector evaluation practices: the logical framework, most significant change stories, and social return on investment. Drawing on this analysis, I then tentatively outline three logics of evaluation: a scientific evaluation logic (systematic observation, observable and measurable evidence, objective and robust experimental procedures), a bureaucratic evaluation logic (complex, step-by-step procedures, analysis of intended objectives), and a learning evaluation logic (openness to change, wide range of perspectives, lay rather than professional expertise). These logics draw attention to differing conceptions of knowledge and expertise and their resource implications, and have important consequences for the professional status of the practitioners, consultants, and policy makers that contribute to and/or are involved in evaluations in third sector organizations.

Résumé

Dans cet article j’offre une esquisse préliminaire des divers types de logique d’évaluation du tiers-secteur. Je commence par décrire les idéaux que trois pratiques d’évaluation du tiers-secteur bien définies et distinctes font clairement apparaître. A partir de cette analyse, je trace ensuite les contours de trois logiques d’évaluation : une logique d’évaluation scientifique (observation scientifique, preuves observables et mesurables, procédures d’expérimentation objectives et solides), une logique d’évaluation bureaucratique (procédures pas-à-pas complexes, analyse des objectifs choisis) et une logique d’évaluation didactique (ouverture au changement, grande variété de perspectives, préférence pour l’expertise non-professionnelle). Ces logiques attirent notre attention sur des conceptions divergentes du savoir et de l’expertise et leurs implications en termes de ressources. Elles ont aussi des conséquences importantes pour le statut professionnel des praticiens, des consultants et des décideurs, qui contribuent à et/ou sont partie intégrante des évaluations des organisations du tiers-secteur.

Zusammenfassung

In diesem Beitrag präsentiere ich einen vorläufigen Entwurf über Formen der Bewertungslogiken im Dritten Sektor. Zunächst verfolge ich die Leitbilder, die in drei gut verständlichen, jedoch sehr unterschiedlichen Bewertungspraktiken des Dritten Sektors ersichtlich sind: das logische Rahmenwerk, die wichtigsten Hintergründe für Veränderungen und die Sozialrendite. Unter Bezugnahme auf diese Analyse präsentiere ich sodann eine vorläufige Darstellung dreier Bewertungslogiken: eine wissenschaftliche Bewertungslogik (systematische Beobachtung, beobachtbare und messbare Nachweise, objektive und robuste experimentelle Verfahren), eine bürokratische Bewertungslogik (umfangreiche, schrittweise Verfahren, Analyse beabsichtigter Ziele) und eine lernende Bewertungslogik (Offenheit für Veränderungen, viele unterschiedliche Perspektiven, Laienexpertise statt professioneller Expertise). Diese Logiken lenken die Aufmerksamkeit auf unterschiedliche Auffassungen von Wissen und Expertise und deren Auswirkungen auf die Ressourcen. Sie haben weitreichende Konsequenzen für den professionellen Status der Praktizierenden, Berater und Entscheidungsträger, die in Organisationen des Dritten Sektors zu Bewertungen beitragen oder sich mit diesen befassen.

Resumen

En el presente documento, proporciono un esbozo preliminar de los tipos de lógica de evaluación en el sector terciario. Comienzo por seguir el rastro a los ideales que son evidentes en las tres prácticas, bien articuladas pero muy diferentes, de evaluación del sector terciario: el marco lógico, las historias de cambio más significativas y la rentabilidad social de la inversión. Echando mano de este análisis, esbozo después provisionalmente tres lógicas de evaluación: una lógica de evaluación científica (observación sistemática, evidencia observable y mensurable, procedimientos experimentales objetivos y robustos), una lógica de evaluación burocrática (procedimientos complejos, paso a paso, análisis de los objetivos perseguidos) y una lógica de evaluación de aprendizaje (apertura al cambio, amplia gama de perspectivas, experiencia técnica secular en vez de profesional). Estas lógicas llaman la atención sobre diferentes concepciones del conocimiento y de la experiencia técnica y sobre las implicaciones de sus recursos, y tienen consecuencias importantes para el estatus profesional de los profesionales, asesores y aquellos que toman las decisiones que contribuyen a, y/o están implicados en, evaluaciones en organizaciones del sector terciario.

摘要

本文对评估第三产业的逻辑类型进行了初步探讨。首先,我针对三种论述缜密却又彼此迥异的第三产业评估方法——逻辑框架、最显著的改变案例和社会投资回报,分别梳理了每种方法的思路。在此分析的基础上,我试着描摹出三种评估逻辑的大致梗概:一种是科学型的评估逻辑(系统观察、可观察和度量的证据、客观严密的实验步骤),一种是官僚型的评估逻辑(复杂、按部就班、分析预定目标),还有就是学习型的评估逻辑(接受改变,广阔的视角,重视外行而非专业人士的意见)。在如何看待知识和专业技能及资源的意义这个问题上,奉行不同逻辑的人会有不同的理解。同时,对那些负责和/或参与第三产业评估的从业者、顾问和政策制定者来说,上述逻辑对其专业身份亦有重要影响。.

ملخص

أقدم في هذا البحث وصف تمهيدي لأنواع تقييم المنطق في القطاع الثالث. أبدأ من خلال تتبع المثل العليا التي هي واضحة في ثلاث معالم واضحة مع ذلك مختلفة تماما˝ ممارسات تقييم القطاع الثالث: الإطار المنطقي، قصص أهم تغيير، والعائد الاجتماعي على الإستثمار. بالإعتماد على هذا التحليل، أنا بعد ذلك حددت مبدئيا˝ ثلاثة منطق للتقييم:منطق التقييم العلمي،(أدلة ملحوظة وقابلة للقياس ، إجراءات موضوعية وتجريبية قوية)، منطق التقييم البيروقراطي (إجراءات معقدة، خطوة بخطوة ، تحليل أهداف مقصود) وتعلم منطق التقييم (الإنفتاح للتغيير، مجموعة واسعة من وجهات النظر، وضع بدلا من الخبرة المهنية). هذا المنطق لفت الإنتباه إلى إختلاف مفاهيم المعرفة والخبرة و آثار الموارد الخاصة بها ، ولها آثار هامة على الوضع المهني للممارسين، والإستشاريين، وصانعي السياسات التي تسهم في و/أو تشارك في عمليات التقييم في منظمات القطاع الثالث.