Evaluation als praktische Hermeneutik – oder: Der weite und steinige Weg von einer Theorie der Praxis zur Praxis der Evaluation

Thomas A. Schwandt (2002). Evaluation Practice Reconsidered (Counterpoints – Studies in Postmodern Theory of Education, Vol. 211). New York, Washington u.a.: Peter Lang Verlag, 224 Seiten, ISBN 0-8204-5705-1 (paperback), EUR 33,70

Zusammenfassung: Evaluation Practice Reconsidered von Thomas A. SCHWANDT ist – anders der Titel es vielleicht erwarten lässt – ein sehr theoretisches und weitgehend programmatisches Buch. Im Mittelpunkt steht der Versuch, Evaluation als eine Variante praktischer Hermeneutik zu begreifen – mit der Folge, dass es in dem Buch weniger um die Praxis von Evaluation geht als vielmehr um einen – allerdings interessanten, in mancher Hinsicht auch anregenden und weiterführenden – metatheoretischen Rahmen von Evaluation. Wer eher an methodischen Fragen interessiert ist und Antworten auf seine forschungspraktischen Probleme erwartet, darf sich deshalb nicht von dem Titel des Buches täuschen lassen: Auf Evaluationspraxis im Sinne alltäglicher evaluativer Forschungspraxis, ihre Verfahren und Herausforderungen wird nur am Rande eingegangen.

Die in den letzten Jahren im deutschsprachigen Raum in Gang gekommene Diskussion um Evaluation von Humandienstleistungen bzw. die darauf bezogene Evaluationsforschung bewegt sich in den meisten Fällen noch immer auf bemerkenswert abstraktem Niveau. Nach wie vor dominieren stark programmatisch und konzeptionell angelegte Beiträge die Debatte. Gerungen wird immer wieder um ein allgemeines Verständnis von Evaluation. Selten dagegen sind Versuche, gleichsam "induktiv", also vor dem Hintergrund konkreter, alltäglicher evaluativer Forschungspraxis und über die Reflexion ihrer institutionellen Voraussetzungen, der Bedingungen ihres Gelingens bzw. ihres Scheiterns und des Umgangs mit ihren Ergebnissen zu konzeptionellen und methodologischen Antworten zu gelangen. [1]

Für diese Vorliebe, zunächst auf einer sehr allgemeinen Ebene über Evaluation nachzudenken, mag es unterschiedliche Gründe geben. Vielleicht hatte z.B. die sehr frühe und ausführliche Beschäftigung der Fachszene mit den Standards für Evaluation (vgl. z.B. Joint Committee on Standards for Educational Evaluation/SANDERS1999) – so wichtig diese Diskussion auch war und ist – in dieser Hinsicht auch einen fatalen Nebeneffekt. Möglicherweise bereitet auch die Verortung von Evaluationsforschung irgendwo zwischen Wissenschaft, Praxis und Politik – z.B. indem man sich selbst als praxis- und anwendungsbezogene Wissenschaft versteht, um dann mit den Implikationen dieses Selbstverständnisses ringen zu müssen (vgl. zuletzt z.B. KROMREY 2003) – noch immer so viele Probleme, dass man nicht umhin kann, zunächst hierzu tragfähige Antworten zu finden. In dieser Situation muss ein Buch, das im Titel verspricht, sich der Praxis von Evaluation zuzuwenden und diese noch einmal neu zu denken, Aufmerksamkeit erregen. [2]

Thomas A. SCHWANDT dürfte hierzulande den wenigsten als Theoretiker im Bereich Evaluationsforschung bekannt sein. Abgesehen von einigen Aufsätzen in den Zeitschriften "American Journal of Evaluation", "Evaluation Practice" und "Evaluation" (SCHWANDT 1997, 2000, 2001a, 2001b, 2003) ist er einem breiteren Publikum vor allem als Herausgeber des im Sage-Verlag erschienenen Dictionary of Qualitative Inquiry (SCHWANDT 2001c) aufgefallen. Im Jahr 2002 erhielt er den Paul F. LAZARSFELD-Award der Amerikanischen Gesellschaft für Evaluation. Der Preis wird an Personen – so die Widmung – verliehen, "whose written work on evaluation theory has led to fruitful debates on the assumptions, goals, and methods of evaluation" (vgl. http://www.eval.org/awards.htm). Frühere Träger dieses Preises waren z.B. 1985 Daniel STUFFLEBEAM, 1986 Michael SCRIVEN, 1988 Robert STAKE, 1994 William SHADISH, 1997 Michael QUINN PATTON und 2000 David FETTERMAN. Das liest sich wie ein kleines who is who der amerikanischen Evaluationsforschung, sodass es ratsam erscheint, den Preisträger, sein Buch und seine Argumente als eine wichtige Stimme in der aktuellen einschlägigen Diskussion um Evaluation ernst zu nehmen. [3]

Das gilt auch trotz der Tatsache, dass das Buch in einer Reihe erschienen ist, die sich ausdrücklich der postmodernen Erziehungsdiskussion verschrieben hat – was dann auch bedeutet, dass das gesamte Spektrum von postkolonialer Theoriebildung über doing-gender-research bis hin zu den Debatten um schulische Curricula abgedeckt wird; dennoch ist dies kein Buch, das allein für die Evaluationsforschung in pädagogischen Feldern geschrieben wurde. Die Thesen des Buches sind an die gesamte Evaluationsdiskussion adressiert. [4]

Das vorliegende Buch ist keine von vorne bis hinten durchgearbeitete Monographie, sondern es besteht im Kern aus einzelnen, zum Teil schon anderenorts veröffentlichten Aufsätzen, die thematisch geordnet, teilweise überarbeitet und ergänzt wurden. So wurden z.B. die beiden Kapitel 5 und 6 1999 bzw. 1996 bereits in der Zeitschrift "Qualitative Inquiry" veröffentlicht und für den Wiederabdruck nur eher kosmetisch in Bezug auf das Thema Evaluation umgearbeitet. Eine Folge dieser Veröffentlichungsstrategie zumindest für diejenigen, die das Buch von vorne bis hinten lesen, sind eine Vielzahl von Wiederholungen zentraler Argumentationen – wie z.B. die Darstellung des zugrunde liegenden Praxisbegriffes oder die Kritik an dem "modernen" Verständnis von Wissenschaft und Evaluation; man könnte auch weniger vornehm von einigen nervigen Redundanzen sprechen. Andererseits kann man auf diese Weise problemlos sich einzelne Kapitel des Buches herauspicken, ohne Wesentliches zu verpassen. [5]

Thematisch ist das Buch in drei große Teile aufgeteilt. Der erste Teil, der vier Kapitel umfasst, ist dem Thema Evaluation gewidmet. In mitunter fast schon schablonenhafter Manier erfolgt dabei immer zunächst eine Darstellung und Kritik an dem, was der Autor als das moderne Verständnis von Evaluation versteht – wobei angemerkt werden muss, dass die Begrifflichkeiten im Verlauf des Buches wechseln. Das moderne Verständnis von Evaluation wird dann auch als naturalistisches, objektivistisches, instrumentelles, sozialwissenschaftliches oder auch als wertfreies bzw. wertneutrales Verständnis bezeichnet. Der kritischen Auseinandersetzung folgt ebenso zuverlässig der Gegenentwurf. Auch dafür hält der Autor eine Reihe von Begriffen bereit. Er bezeichnet seine Position als humanistisch ("humanistic") und hermeneutisch (z.B. S.17ff.); angestrebt wird eine moralisch engagierte Evaluationspraxis (S.33ff.), die sich als Moment der praktischen Philosophie begreift (S.47ff. und 66ff.). An späterer Stelle wird von einem wertkritischen ("value-critical") Verständnis (S.151ff.) gesprochen, während das Kapitel 10 erklärtermaßen versucht, Konsequenzen für das Denken über Evaluation aus dem postmodernen Diskursen zu ziehen (S.171-186). [6]

Der zweite Teil lenkt die Aufmerksamkeit in drei Kapiteln auf die (erkenntnis-) theoretischen Grundlagen. Dabei wird im Kapitel 5 zunächst der theoretische Hintergrund dessen, was der Autor als praktische Philosophie bzw. als praktische Hermeneutik bezeichnet, am Begriff des Verstehens ("understanding") entfaltet. Die theoretischen Hausheiligen heißen dabei vor allem Hans-Georg GADAMER und Charles TAYLOR, der hier kaum bekannte Joseph DUNNE und immer wieder Zygmunt BAUMAN. Im nächsten Schritt folgt eine furiose Abrechnung mit dem, was nach Meinung des Autors als Kriteriologie in den Sozialwissenschaften sein Unwesen treibt (Kap. 6), um schließlich im Kapitel 7 sich auf die Spuren u.a. von Richard RORTY zu begeben, indem – immerhin im Vergleich zu manch anderen Protagonisten postmoderner qualitativer Sozialforschung, wie sie in dem berühmt, berüchtigten Handbook of Qualitative Research (DENZIN & LINCOLN 2000; vgl. LÜDERS 1996) zu finden sind, vergleichsweise vorsichtig – für eine "Poetisierung" von Evaluation (" 'poeticize' the social practice of evaluation") plädiert wird (S.124ff). [7]

Der dritte Teil des Buches beschäftigt sich mit einigen zentralen Problemen, die sich bei jeder Form von Evaluation stellen. Dazu gehören vor allem das Problem der Begründung von Werten, an Hand derer Praxis eingeschätzt wird, unter den Bedingungen postmoderner Relativität, Kontingenz und der Betonung der Differenz. Ausführlicher diskutiert werden die Aufgaben und das Selbstverständnis der Evaluatorinnen und Evaluatoren im Prozess der Evaluation selbst (vor allem Kap. 11) sowie im Kapitel 10 die Funktion und Rolle von Evaluation als gesellschaftliche Institution bzw. als "social practice of power" (S.172ff.). [8]

Wie angedeutet, sind die Argumentationen des Buches in bemerkenswerter Weise schematisiert: Nachdem zunächst die theoretische Gegenposition – im doppelten Sinn des Wortes – vorgeführt wird, wird im Anschluss daran der eigene Gegenentwurf präsentiert. Die darin enthaltene Lust an einer klaren argumentativen Frontstellung, lässt zwar die eigene Position hell auf der Höhe der Zeit und des Denkens leuchten – mit immer wieder anregenden Einsichten und provokativen Nachfragen an die aktuelle Fachdiskussion zur Evaluation. Der Preis dafür sind jedoch manchmal schon fast ärgerliche, gelegentlich in Klischees, wenn nicht gar in Verschwörungstheorien abdriftende Vereinfachungen der "gegnerischen" Position. Hierzu gehört z.B. die Kritik an der vermeintlichen "criteriology". Zu dieser Sorte von Menschen gehören zunächst alle, die überzeugt sind, "that it is not only possible but absolutely necessary to develop regulative norms for the choice between methodologies, values, theories, claims, and conjectures" (S.95). Auch wenn der Autor dabei vorrangig eher positivistische Positionen vor Augen haben mag, erneut grobe Differenzen wie zwischen Geisteswissenschaften und Naturwissenschaften bzw. zwischen qualitativer und quantitativer Forschung bemüht (S.96), so erweist sich die Sache bei genauerer Hinsicht doch ein wenig komplizierter, als der Kampfbegriff es suggeriert. Denn entscheidend ist weniger die Frage der Verwendung von Kriterien – ohne sie dürften Entscheidungen und Bewertungen kaum möglich sein – als vielmehr, wie sie zustande kommen (vgl. S.97). [9]

Interessant dabei ist – auch im Kontext von FQS –, dass ansonsten die gerne betonte Differenz zwischen qualitativer und quantitativer Sozialforschung eine eher untergeordnete Rolle spielt. In einem viel grundsätzlicheren Sinne heißt der Gegner moderne Sozialforschung. Diese sei gekennzeichnet durch die Tendenz ihre Gegenstände zu (ver-) objektivieren, der Forscherin bzw. dem Forscher eine zum Gegenstand distanzierte und wertneutrale Position zu verleihen und vor allem durch eine prinzipiell instrumentelle Haltung. Zu welcher Art von Argumentation der Autor auf diesem Weg in Bezug auf Evaluation kommt, sei an Hand des folgenden Zitates – als eines von vielen möglichen Beispielen – exemplarisch demonstriert:

"In other words, what the professional evaluator examines is an evaluand – a 'thing' such as an educational or social program, project, or policy. That thing-like entity has properties or features, all of which, at least in principle, are observable and measurable. ... The rationale here is distinctly modernist reflecting at least implicit acceptance of the aim to tame and domesticate disorder and ambiguity in society by means of molding citizens and society to reflect a rational social design. Evaluators, along with other social scientists, play a key role in modern, scientifically guided societies ... as the providers of the expert knowledge necessary to shape and control the natural and social environments" (S13). [10]

Es sei angemerkt, dass wesentliche Argumente dieser Kritik der Arbeit von Charles E. LINDBLOOM (1990) entlehnt sind, der dementsprechend häufig zitiert wird. [11]

Es sind Formulierungen dieser Art, die ebenso provozieren wie gelinde gesagt zwischendurch ratlos machen. Ein Anlass hierfür ist die mit bewundernswerter Ausdauer durchgehaltene Weigerung des Autors, Belege für seine mitunter etwas steilen Thesen zu liefern, z.B. indem er Protagonisten der von ihm kritisierten Position benennt. So quält einem beim Lesen ständig die Frage, wer gerade gemeint sein könnte. Um bei dem zitierten Beispiel zu bleiben: Wer sind die Protagonisten eines derartigen Kontrollverständnisses von Evaluation? Gehören die Konzepte einer beteiligungsorientierten (participatory, collaborative) Empowerment Evaluation (vgl. z.B. FETTERMANN, KAFTARIAN & WANDERSMAN 1996) dazu oder nicht? Und ist die von Michael QUINN PATTON eingeführte Unterscheidung von drei Evaluationszwecken (judgment-oriented, improvement-oriented und knowledge-oriented; PATTON 1997, S.63-85), von denen die letzte ausdrücklich als Alternative zu instrumentellen Nutzungsformen verstanden wird, ein Gegenargument oder nur eine gut getarnte Variante der kontrollierenden Rationalität von Evaluation? [12]

Sieht man sich die vorgetragenen Argumente genauer an, wird ein zweites Problem in Form der die Kritik prägenden Begleitmelodien erkennbar. Wiederum an Hand des Beispieles verdeutlicht, provoziert die Feststellung, dass Evaluatorinnen und Evaluatoren Gegenstände evaluieren, die Gegenfrage: Na klar, was sollen sie denn sonst tun? Selbstverständlich sind Projekte, Programme oder Politiken Gegenstände von Evaluation. Diese Feststellung ist trivial. Thomas A. SCHWANDT formuliert derartige Feststellungen aber nicht selten in einer Art und Weise, die einem die Wahl zwischen Ablehnung oder schlechtem Gewissen lassen – im zitierten Beispiel, als ob es sich hier um einen ebenso drastischen wie klassischen Fall von ungerechtfertigter Verdinglichung handeln würde. Das wäre noch nachvollziehbar, wenn Evaluationen sich auf Subjekte beziehen würden. Aber es geht, wie der Autor selbst formuliert, um Projekte, Programme und Politiken. [13]

Und selbstverständlich müssen diese – um die Argumentation noch an Hand eines anderen Aspektes aufzunehmen – beobachtbar sein; sonst bekommt man Schwierigkeiten, weil man nichts sieht. Ärgerlich allerdings ist die flotte Gleichsetzung mit Messbarkeit und die Verweise auf Eigenschaften und Kennzeichen, weil sie eine breite Diskussion, was wie unter welchen Bedingungen beobachtbar und was davon unter welchen Bedingungen messbar ist, unterschlägt und zugleich suggeriert, als ob die gesamte Sozialforschung sachgerecht sich auf die Messung von Eigenschaften reduzieren ließe. [14]

Analoges gilt für das zweite Argument: Es ist richtig darauf hinzuweisen, dass Evaluation schon längst selbst eine gesellschaftliche Macht darstellt und dass das durch Evaluation produzierte Expertenwissen in vielfältiger Form politisch wirksam wird. In die Irre führt die Argumentation jedoch, wenn behauptet wird, es sei das mindestens implizite Ziel von Evaluation Unordnung und Ambiguität zu beherrschen und Bürgerinnen und Bürger zu formen. Mit erheblichen argumentativem Aufwand und entsprechenden starken kontrolltheoretischen Vorannahmen, z.B. im Rückgriff auf Michel FOUCAULT oder im Rekurs auf die Thesen zur instrumentellen Vernunft im Sinne Theodor W. ADORNOs, mag man ja dieses noch vertreten können; doch erstens müsste dies dann auch argumentativ entfaltet und nicht nur behauptet werden, und zweitens würde der Autor angesichts derart starker Theorieannahmen unweigerlich mit seiner eigenen Position unter die Räder kommen, weil nach dieser Logik konsequenterweise auch Evaluation im Sinne praktischer Hermeneutik als Zurichtungsinstanz begriffen werden müsste. [15]

So werden mit ein paar einfachen Unterstellungen heterogene Diskussionsstränge und Entwicklungslinien auf einen zu einfachen Nenner gebracht, um sie umso leichter desavouieren zu können. Und gerade weil nicht unterschieden und weil nicht selten eine reichlich rigide Keule geschwungen wird, sind viele dieser Passagen für die Debatte wenig weiterführend. [16]

Ergänzt werden muss, dass das Buch auch eine Reihe von Passagen enthält, die belegen, dass es auch anders ginge. Ein Beispiel hierfür ist die Diskussion um die gesellschaftliche Rolle von Evaluation. In der Auseinandersetzung mit einer Reihe einschlägiger Autoren (z.B. Thomas D. COOK, William R. SHADISH, Michael SCRIVEN, Ernest R. HOUSE) gelangt der Autor zu der These, dass Evaluation nicht nur als die Praxis von Evaluatorinnen und Evaluatoren zu begreifen sei, sondern mittlerweile eine wirkmächtige "sociopolitical institution" (S.174) bzw. "an institutional practice that mediates the relationship between citizens and their social world" (S.176) ist. Auch wenn die empirischen Belege dafür wieder eher schmal ausfallen, lässt sich darüber wenigstens streiten; und es wäre eigene Analysen und Diskussionen wert, ob und inwiefern diese Diagnose auch für den deutschsprachigen Raum zutrifft. [17]

Bei aller Unzufriedenheit über die kritischen Auftakte darf man nicht vergessen, dass ihre eigentliche Funktion darin besteht, die Kontrastfolie zur eigenen Position zu liefern. Insofern mag man geneigt sein, nicht alles auf die Goldwaage zu legen. Immerhin führt die Heftigkeit der Kritik dazu, dass die Hürde, an der die Argumente des Autors gemessen werden müssen, ziemlich hoch hängt. [18]

Um der Position des Autors gerecht zu werden, ist es hilfreich, sich zu vergegenwärtigen, dass der argumentative Dreh- und Angelpunkt ein spezifischer Praxisbegriff ist, der in enger Anlehnung an die philosophische Hermeneutik, genauer: an Hans-Georg GADAMER, eingeführt wird – woraus sich im Übrigen auch so manche Grenzziehung erklärt, z.B. wenn der Autor von GADAMER die auf Aristoteles zurückgehende Unterscheidung zwischen dem sittlichen Wissen der Phronesis und dem theoretischen Wissen der Episteme übernimmt (GADAMER 1975, S.297ff.). In diesem Sinne definiert Thomas A. SCHWANDT, dass "Praxis is always related to our being and becoming a particular kind of person and requires a mode of knowledge called practical wisdom (phronesis)" (S.49, Herv. im Orig.). Lebensweltlich eingebettete Praxis in diesem Sinne bildet den nicht hintergehbaren Horizont von Verständigungs- und Interpretationsprozessen. Forschung und damit auch Evaluation werden dementsprechend als praktische Hermeneutik verstanden:

"Practical hermeneutics is concerned with the mode of activity called the practical (praxis; im Orig. kursiv). Its matter is how an individual conducts her or his life and affairs as member of society. The goal of practical philosophy is to raise to the level of reflective awareness the exercise of distinctly human traits or basic human capacities involved in this kind of moral-political action in the world" (S.47f). [19]

Diese Form von Forschung ist durch die folgenden vier Momente gekennzeichnet: "ethics", "deliberative excellence", "poetics" und "rhetoric" (S.50ff.). Der ethische Aspekt erhält seine prominente Rolle durch den Umstand, dass Wissenschaft als praktische Philosophie vor allem als "ethics of judgment" bzw. als "moral science" – ein kaum angemessen übersetzbarer Begriff – zu verstehen sei. Weisheit bzw. Abwägung ("deliberation") sind konstitutive Momente sittlichen Wissens, Argumentierens und Handelns. Mit dem Begriff "poetics" will der Autor einen scharfen Gegensatz zum epistemischen Wissen – im oben zitierten Sinne – setzen, um die Aspekte praktische Vernunft, Kreativität und Einfallsreichtum zu betonen (S.53). Rhetorik verweist schließlich darauf, dass praktische Vernunft etwas mit der Kunst des Überzeugens zu tun hat (a.a.O.). [20]

Wer Hans-Georg GADAMER, Charles TAYLOR oder z.B. Jürgen HABERMAS gründlich gelesen hat, dem kommen diese Überlegungen zu weiten Teilen bekannt vor. Der wesentliche Unterschied besteht darin, dass die dort entwickelten Argumente durch ein paar, der jüngeren Diskussionen zur Postmoderne entliehenen Semantiken angereichert werden – z.B. wenn Evaluatorinnen bzw. Evaluatoren als "starke Dichter" ("strong poet"), als Erzähler "dichter" Geschichten verstanden werden (Kap. 7, S.119-133). Eine nicht zu unterschätzende Rolle spielen schließlich auch die Überlegungen von Zygmunt BAUMAN (1987). Seine These des Rollenwandels des modernen Intellektuellen vom Gesetzgeber der objektiven, universellen Wahrheit und Rationalität zum postmodernen Interpreten lokalen und kontextbezogenen Wissens prägt das Buch in vielerlei Hinsicht – nicht zuletzt in der im Buch vorgeschlagenen Rollendefinition des Evaluierenden als Interpret und Lehrer (siehe dazu unten und Kap. 11). [21]

Positiv hervorzuheben ist, dass der Autor trotz seiner Annahme, es gäbe ein Kontinuum zwischen Sozialwissenschaften und Literatur (S.114), erkennt, dass sozialwissenschaftliche "Erzählungen" besonderen Ansprüchen unterliegen. Ohne hier im Einzelnen auf seine Auseinandersetzungen mit den Gütekriterien Validität, Verallgemeinerung ("generalization") und Nutzen ("use") (S.128ff.) eingehen zu können, sei doch angemerkt, dass die Schwierigkeiten erkannt, wenn auch nicht überzeugend beantwortet werden: "The evaluator as poet must, of course, explore how to achieve verisimilitude or lifelikeness in stories and portrayals, how to establish narrative fidelity, and how to achieve an invitational quality in the construction of the story or portrayal" (S.132). [22]

Fragt man nun, was bei diesem "new way of thinking about the activity of judging the merit, worth, or significance of some human action" (Klappentext) in Bezug auf Evaluation herauskommt, so wird schnell der entscheidende Vorteil dieser Position sichtbar: Gerade weil Forschung und damit auch Evaluation als "moral science" begriffen werden, kann der Autor sich offensiv den Themen Ethik, Moral und Wertentscheidungen zuwenden. Und während sich die herkömmliche Evaluationsdiskussion meist als ordentliche, d.h. wertneutrale Sozialwissenschaft begreift und sich deshalb spätestens bei der Frage, wie eigentlich und auf welcher Grundlage die im Evaluationsprozess irgendwann unvermeidlich anstehenden Bewertungen erfolgen, unter Schmerzen zu krümmen beginnt, bietet die praktische Hermeneutik hierfür einen vergleichsweise unbeschwerten Ausgangspunkt. [23]

So sind denn auch gleich zwei Kapitel (8 und 9) diesem Themenkomplex explizit gewidmet, und an vielen anderen Stellen des Buches wird das Thema in unterschiedlichen Zusammenhängen aufgenommen. Wie nicht anders zu erwarten, wird das Wertfreiheitspostulat und das damit zusammenhängende Wissenschaftsverständnis erst einmal abgelehnt. Die eigene Position, die als "value-critical framework" (S.151ff.) bezeichnet wird, erweist sich der Sache nach als eine Balance zwischen emanzipatorischen, also normativ hochgradig aufgeladenen Konzepten einerseits (vgl. S.148ff.) und dem, was als radikal postmoderne bzw. sozialkonstruktivistische Positionen andererseits (S.161ff.) bezeichnet wird:

"Evaluation practices based in a value-critical framework decenter (the) conception of the aim, nature, and place of social inquiry in social life. They do so by redefining social inquiry as a dialogical and reflective process of democratic discussion and philosophical critique" (S.151). [24]

Dies geschieht keineswegs selbstlos, sondern mit einem klaren Ziel, nämlich Verbesserung der Praxis ("improving praxis"; im Orig. kursiv, S.152), und mit einem überraschend deutlichen pädagogischen Impetus: Es geht darum, dass "evaluator(s)-as-teacher" (S.131) Praktikerinnen und Praktikern helfen, praktische Weisheit zu entwickeln bzw. "to help clients cultivate this capacity" (S.153). Evaluationen in diesem Sinne werden als "educative experience" (S.21) verstanden, "because they help people to come to a clearer understanding of who they (and others) are, to a clearer picture of the meaning of their practices and the extent of their moral responsibility for their actions ..." (S.21). Angesichts dieser Funktionsbeschreibung von Evaluation mag die Frage aufkommen, von welchem Zustand der Ahnungslosigkeit der Praktikerinnen und Praktiker bei dieser Konzeption ausgegangen wird. Angemerkt sei schließlich, dass dieses auf Dialog basierende pädagogische Aufklärungsverständnis überraschend modern anmutet – was der Autor freilich selbst so nicht sieht, weil er das moderne Verständnis von Erziehung mit "managing und controlling self and society" (S.21) gleichsetzt. [25]

Sieht man einmal von dem pädagogischen Aufklärungsanspruch ab, der schon deshalb suspekt ist, weil er nirgends als solcher begründet wird, ist die Auseinandersetzung mit der Wert- und Urteilsproblematik ein typisches Beispiel dafür, wie in dem Buch fruchtbare Ausgangspunkte über kurz oder lang, ohne Spuren zu hinterlassen, verpuffen. Auch wenn man berücksichtigt, dass es dem Autor primär darum ging, einen konzeptionellen Rahmen zu beschreiben, so tritt doch spätestens dann Enttäuschung ein, wenn man sich die Frage stellt, was dies alles für die Evaluationspraxis, für die Methodologie, die Methoden und Verfahren bedeutet. Denn anders als der Titel des Buches verspricht, geht es mit Ausnahme einiger weniger kursorischer Verweise nicht um die Evaluationspraxis, sondern um einen eher metatheoretischen Rahmen, um – um noch einmal den Klappentext des Buches zu zitieren – eine andere Art des Denkens über Evaluation. Von dort aus zum Alltag von konkreten Evaluationsstudien ist es jedoch ein ziemlich langer Weg, und an vielen Stellen bleiben Leserin und Leser hilflos zurück, nicht wissend, wie sie ihn bewältigen sollen. Man mag einwenden, dass sich dahinter selbst nur wieder ein modernes, weil methodisches Verständnis von Forschung und Evaluation verbirgt. Doch spätestens an dieser Stelle beginnt sich die Sache im Kreise zu drehen. [26]

Angemerkt sei schließlich, dass das Buch auch insofern offene Fragen erzeugt, weil es auf der einen Seite für eine spezifische Variante pädagogisch-interpretativer-aufklärender Evaluation plädiert, zugleich aber andererseits – m.E. sehr zu Recht – darauf hinweist, dass der gesellschaftliche Wandel Evaluationen zu einer mächtigen Einflussinstanz hat werden lassen. Allerdings scheint es mir dabei bedenkenswert, dass – zumindest wenn man sich die aktuelle Diskussionen im deutschsprachigen und europäischen Raum ansieht – Evaluation vonseiten der Politik und der Öffentlichkeit üblicherweise in einem ganz anderen Sinne verstanden wird, nämlich als Überprüfungsinstanz in Bezug auf Effektivität und Effizienz der eingesetzten öffentlichen Mittel. Dieses Verständnis von Evaluation ist in der deutlichen Mehrheit der Fälle schlicht inkompatibel mit den Vorschlägen von Thomas A. SCHWANDT. Evaluation als philosophische und reflexive Kritik, als demokratischer Dialog mit pädagogischem Aufklärungsanspruch passt nur unter glücklichen Bedingungen zur der allerorten im Vordergrund stehenden Frage "what work's and what doesn't work", zu der unermüdlichen Suche nach "best practice" und zu dem Interesse, die knappen zur Verfügung stehenden Mittel möglichst "zielgenau" einzusetzen. An Thomas A. SCHWANDT ergibt sich daraus die Rückfrage nach den institutionellen und politischen Voraussetzungen seines Konzeptes. [27]

So bleibt zum Schluss ein zwiespältiges Fazit. Wer an Debatten über allgemeine Paradigmen der Evaluationsforschung interessiert ist, findet in dem Buch zahlreiche Anregungen, manche treffende Provokation und Eckwerte eines in dieser Form bislang noch nicht ausformulierten Verständnisses von Evaluation als einer Variante praktischer Hermeneutik. Wer eher an methodischen Fragen interessiert ist und Antworten auf seine forschungspraktischen bzw. verfahrenspraktischen Probleme erwartet, darf sich nicht von dem Titel täuschen lassen: Evaluationspraxis in diesem Sinne erscheint – fast ist man geneigt zu sagen: einmal mehr – kaum der Rede wert zu sein. [28]

Bauman, Zygmunt (1987). Legislators und Interpreters: On Modernity, Postmodernity and Intellectuals. Cambridge: Polity Press.

Denzin, Norman & Lincoln, Yvonna S. (Hrsg.) (2000). Handbook of Qualitative Research (2. überarbeitete Auflage). Thousand Oaks: Sage.

Dunne Joseph (1993). Back to the Rough Ground: "Phronesis" and "Techne" in Modern Philosophy and in Aristotle. Notre Dame: University of Notre Dame Press.

Dunne, Joseph (1997). Back to the Rough Ground: Practical Judgment and the Iure of Technique (Vorwort von Alasdair MacIntyne). Notre Dame: University of Notre Dame Press.

Fettermann, David M.; Kaftarian, Shakeh J. & Wandersman, Abraham (Hrsg.) (1996). Empowerment Evaluation. Knowledge and Tools for Self-Assessment & Accountability. Thousand Oaks: Sage.

Gadamer, Hans-Georg (1975). Wahrheit und Methode. Grundzüge einer philosophischen Hermeneutik (4. Auflage). Tübingen: Mohr.

Joint Committee on Standards for Educational Evaluation & Sanders, James R. (Hrsg.) (1999). Handbuch der Evaluationsstandards. Opladen: Leske + Budrich.

Kromrey, Helmut (2003). Evaluation in Wissenschaft und Gesellschaft. Zeitschrift für Evaluation, 2(1), 93-116.

Lindbloom, Charles E. (1990). Inquiry and Change: The Troubled Attempt to Understand and Shape Society. New Haven: Yale University Press.

Lüders, Christian (1996). Between Stories – Neue Horizonte der qualitativen Sozialforschung? Zu: N. Denzin & Y. Lincoln (Eds.): Handbook of qualitative Research. Sozialwissenschaftliche Literatur Rundschau, 19(31/32), 19-29.

Quinn Patton, Michael (1997). Utilization – Focused Evaluation. The New Century Text (3. Auflage). Newbury Park: Sage.

Schwandt, Thomas A. (1997). Evaluation as Practical Hermeneutics. Evaluation, 3(1), 69-83.

Schwandt, Thomas A. (2000). Further Diagnostic Thoughts on What Ails Evaluation Practice. American Journal of Evaluation, 21(2), 225-229.

Schwandt, Thomas A.(2001a). Understanding Dialogue as Practice. Evaluation, 7(2), 228-237.

Schwandt, Thomas A. (2001b). A Postscript on Thinking about Dialogue. Evaluation, 7(2), 264-276.

Schwandt, Thomas A. (Hrsg.) (2001c). Dictionary of Qualitative Inquiry (2. überarbeitete Auflage). London: Sage.

Schwandt, Thomas A. (2003). "Back to the Rough Ground!" Beyond Theory to Practice in Evaluation. Evaluation, 9(3), 353-364.

Christian LÜDERS ist Leiter der Abteilung "Jugend und Jugendhilfe" am Deutschen Jugendinstitut in München. Arbeitsschwerpunkte: Kinder- und Jugendhilfeforschung, Methodologie qualitativer Sozialforschung und Evaluationsforschung, Theorie der Sozialpädagogik, Theorie pädagogischen Wissens, Wissenschaftsforschung.

Lüders, Christian (2004). Evaluation als praktische Hermeneutik – oder: Der weite und steinige Weg von einer Theorie der Praxis zur Praxis der Evaluation. Review Essay: Thomas A. Schwandt (2002). Evaluation Practice Reconsidered [28 Absätze]. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 5(1), Art. 29, http://nbn-resolving.de/urn:nbn:de:0114-fqs0401291.

Forum Qualitative Sozialforschung / Forum: Qualitative Social Research (FQS)

ISSN 1438-5627

Creative Commons Attribution 4.0 International License