Christine Schwarz (2006). Evaluation als modernes Ritual. Zur Ambivalenz gesellschaftlicher Rationalisierung am Beispiel virtueller Universitätsprojekte. Hamburg: Lit, 288 Seiten, ISBN 3-8258-9638-2, EUR 24,90

Udo Kuckartz, Thorsten Dresing, Stefan Rädiker & Claus Stefer (2007). Qualitative Evaluation. Der Einstieg in die Praxis. Wiesbaden: VS, 119 Seiten, ISBN 978-3-531-15366-7, EUR 12,90

Zusammenfassung: Evaluation ist einer jener Begriffe, die im deutschsprachigen Raum sich zunehmender Beliebtheit erfreuen; zwei Neuerscheinungen stehen für diese Entwicklung. Zum einen eine Studie von Christine SCHWARZ, die sich der Frage nach der gesellschaftlichen Funktion von Evaluationen widmet; zum anderen der Band von Udo KUCKARTZ, Thorsten DRESING, Stefan RÄDIKER und Claus STEFER, mit dem ein praxisnahes Konzept für qualitative Evaluationen präsentiert werden soll. Es ist das Verdienst beider Publikationen, ihre jeweiligen Themen auf die deutschsprachige Tagesordnung gesetzt zu haben, aber ebenso werden dadurch die spezifischen Desiderate deutlich.

Christine SCHWARZ formuliert auf der Basis einer qualitativen Studie zur Funktion von Evaluationen im Bereich universitären E-Learnings und unter Rückgriff auf das Konzept des Rituals eine weitreichende Kritik von Evaluationen unter den Bedingungen des New Public Management. Betont werden dabei die Ambivalenzen der mit Evaluationen einhergehenden Rationalisierungsprozesse. Das Buch liefert für grundsätzliche Kritik an Evaluationen einen reichen Zitatenschatz. Für alle diejenigen, die sich ernsthaft mit den praktischen und gesellschaftstheoretischen Implikationen des Evaluationsbooms beschäftigen wollen, ist das Buch leider eine vergebene Chance, weil es doch die eigenen Vorannahmen über die Empirie stellt.

Udo KUCKARTZ, Thorsten DRESING, Stefan RÄDIKER und Claus STEFER stellen vor dem Hintergrund einer qualitativen Evaluation einer universitären Lehrveranstaltung einen Leitfaden für die Praxis vor und skizzieren, wie qualitative Evaluationen auch in kurzer Zeit und mit Hilfe von MAXQDA durchgeführt werden können. Leider verspricht der Titel des Buches zu viel. Das Buch bietet keinen Einstieg in die Praxis qualitativer Evaluation, sondern im günstigen Fall einen praxisnahen Einblick in das im Rahmen der Studie gewählte Vorgehen und dokumentiert, wie im Kontext qualitativer Evaluationen MAXQDA eingesetzt werden kann.

Keywords: Evaluation, qualitative Evaluationsforschung, Evaluation als Ritual, Funktion von Evaluation, Lehrevaluation, Praxisleitfaden, MAXQDA

1. Evaluationsforschung: Auf der Suche nach praxisnahen Konzepten und einem reflektierten Selbstverständnis

Evaluation ist einer jener Begriffe, die im deutschsprachigen Raum in den letzten zehn Jahren eine erstaunliche Karriere durchgemacht haben. Nicht nur, dass eine neue Zeitschrift für Evaluation und eine Fachgesellschaft (DeGEval – Gesellschaft für Evaluation e.V.) gegründet wurden, vor allem die Zahl jener Studien, die sich selbst als Evaluationen bezeichnen oder von anderen in dieser Weise beschrieben werden, wie auch die Zahl der Veröffentlichungen haben in kurzer Zeit geradezu explosionsartig zugenommen. Die auf diese Weise geradezu unvermeidlich entstandene Unübersichtlichkeit provoziert ein wachsendes Interesse an Übersichten zu Konzepten und Verfahren, an Einführungen und Standardliteratur; sie fordert ebenso, wenn sich das Feld nicht gänzlich in Beliebigkeiten auflösen soll, limitierende Standards, wie sie z.B. die DeGEval entwickelt hat, und Erklärungen für das Phänomen selbst bzw. entsprechende kritische Reflexion hinsichtlich seiner Bedeutung und Funktion. [1]

Im folgenden werden zwei Neuerscheinungen vorgestellt, wobei sich das erste Buch, die Studie von Christine SCHWARZ, der Frage nach der gesellschaftlichen Funktion von Evaluationen widmet, während der Band von Udo KUCKARTZ, Thorsten DRESING, Stefan RÄDIKER und Claus STEFER ein praxisnahes Konzept für qualitative Evaluationen präsentiert. Beide Bände basieren auf eigenen, qualitativ angelegten empirischen Untersuchungen. [2]

In der jüngeren Diskussion um Strategien und Verfahren von Evaluationen ist sicherlich die Frage nach ihrer gesellschaftlichen Funktion vernachlässigt worden. Umso wichtiger sind entsprechende Diskussionsbeiträge. Wenn diese Reflexion dann auch noch verspricht, empirisch unterfüttert zu sein und nicht allein vom hohen Ross allgemeiner gesellschaftstheoretischer Reflexion zu erfolgen, müsste ausreichend Neugier für die Arbeit von Christine SCHWARZ geweckt sein. [3]

Ihrem Buch liegen zwei Fallstudien zugrunde. In beiden Fällen ging es um staatlich geförderte Modellprojekte zum universitären E-Learning. Beide Modellprojekte wurden evaluiert, und diese Evaluationen bzw. die Erfahrungen, die die Beteiligten mit ihnen machten, sind der Gegenstand der Studie von SCHWARZ. Ihr geht es einerseits um die empirische Beschreibung der Erfahrungen, die die Beteiligten mit den Evaluationen machten, und andererseits um den Versuch einer Funktionsbestimmung von Evaluation auf der Basis der beiden Fälle. Sie selbst beschreibt ihre Vorgehen als ethnografisch (S.94ff.) und nutzt als Datenquellen Dokumente, leitfadengestützte Expertinnen- und Experteninterviews mit den Beteiligten, Protokolle aus teilnehmenden Beobachtungen sowie andere Materialien. Der Leitfaden wird leider nicht abgedruckt; die Angaben zur Art und Weise der Auswertung verbleiben mit dem Hinweis, dass inhaltsanalytisch in drei Schritten (Codierung nach den Auswertungsschritten, Bildung von Meinungsgruppen, Vergleich und Gegenüberstellung) ausgewertet wurde, – wie leider nicht selten – im Allgemein-Diffusen (vgl. S.97f.). [4]

Das Buch ist in vier unterschiedlich große Abschnitte untergliedert. Im einleitenden Kapitel, das nicht als solches bezeichnet wird, entfaltet die Autorin ihre leitende Perspektive. Von Beginn an wird dabei kein Zweifel zugelassen: Da wird vom "Evaluationswahn", von Evaluation als einem "Alltagsdietrich" und als einem Beispiel für "inhaltsleere Plastiksprache" (S.17) gesprochen, in dem sich möglicherweise die "dunkle Seite bürokratischer Beweislast-Verschiebung" widerspiegele (S.11). So ist auch von Beginn an klar, dass es in dem Buch "weniger darum gehen soll, was für und was gegen Evaluation spricht, sondern darum, den Doppelcharakter von Evaluation als Herrschafts- und Befreiungsinstrument zu begreifen" (S.14). Und: "Als Mittel kollektiver Verarbeitung bürokratischer Herrschaft wird hier der Doppelcharakter von Evaluation im Vermittlungsverhältnis von gesellschaftlicher, technischer und psychischer Rationalität begriffen" (S.15). Motiviert sieht sich die Autorin darin, dass "Ideologiekritik am Evaluationsboom gegenwärtig offenbar zum Tabu geworden" sei (S.17). Und natürlich fehlt nicht der Verweis auf die Funktion von Evaluation als Folge des "New Managerialism" (S.19) und des allerorten zu beobachtenden Rückzuges des Sozialstaates (S.12f.). [5]

Im zweiten Kapitel wird das "virtuelle Versprechen" an Hand der beiden Fallbeispiele, also der Hintergründe des Ausbaus virtueller universitärer Lernangebote und ihrer Evaluation, dargestellt (S.24-92). In ihren wesentlichen Zügen werden dabei die Diskussion und der Forschungsstand zu virtuellen Universitäten und die an vielen Universitäten vor ein paar Jahren spürbare Euphorie hinsichtlich der Chancen von E-Learning nacherzählt. Die Darstellung leidet allerdings, wie das gesamte Buch, an Formulierungen, die zwar eine gewisse Lust an der Zuspitzung verraten, aber nicht immer die Sache treffen. Wenn z.B. als Überschrift formuliert wird "E-Learning-Evaluation: Wie evaluiert man eine Übertreibung?" (S.83), rätseln Lesende nicht zum ersten und letzten Mal, ob diese in der Menge anstrengende Ironie Lesefreundlichkeit erzeugen oder vorrangig die eigene Meinung der Autorin bestärken soll. [6]

Im anschließenden dritten Kapitel (das – da im Band das erste nicht mitgezählt wird – als das Kapitel II nummeriert wird) werden die beiden konkreten Fälle vorgestellt (S.93-240). Rekonstruiert werden dabei die Verläufe der Evaluationen zweier Projekte zur virtuellen Universität. Auch dabei wird von Beginn der Akzent eindeutig gesetzt:

"Ziel der beiden Fallstudien ist es zu begreifen, wie die Evaluierenden mit der herausfordernden Überprüfung eines unglaubwürdigen Versprechens umgehen: Etwa dass die durch Evaluation zu überprüfenden Rationalisierungserwartungen im Grunde offenkundig nicht ganz ernst gemeint sind. Dass auch die meisten Expertisen zu bedenken geben, das virtuelle Versprechen sei aus vielfältigen Gründen gar nicht evaluierbar. Oder dass unklar bleibt, welchen Einfluss Evaluation schlussendlich dann auf die von vielen Faktoren abhängige (Förder-) Entscheidung hat." (S.93). [7]

Folgt man der Darstellung der Autorin, wird man zugeben müssen, dass die Evaluationen in beiden Fällen sicherlich keine Good-Practice-Beispiele für gelungene Evaluationsverläufe darstellen. Das beginnt schon damit, dass bei den Evaluationen offenbar nicht oder unzureichend berücksichtigt wurde, dass es sich in beiden Fällen um erst in der Entwicklung befindliche, also, wenn man so will, unreife Angebote handelte. Beide Projekte waren innovative Modellprojekte, die zudem mit Erwartungen überladen waren. Und weil alles, Entwicklung, Erprobung und Zielerreichung – wie so oft – fast gleichzeitig erfolgen sollte, waren auch die Erwartungen an und die Aufgaben für die Evaluationen ebenso vielfältig wie letztendlich uneindeutig. Unter diesen Bedingungen haben Evaluationen große Chancen, sich zu überfordern. Insofern könnte dieses Kapitel auch ein Lehrstück darüber sein, wie man es besser nicht macht, wie es aber dennoch, wenn entsprechende Konstellationen gegeben sind, immer wieder passiert. [8]

Bei alledem erzeugt der rekonstruierende und von der ersten Seite an erkennbare, in der zitierten Weise kritische Blick der Autorin beim Fortgang der Lektüre Unbehagen: Zum einen gewinnt bei der Darstellung der Hintergründe der Projekte als auch bei der Analyse der Erfahrungen mit den beiden Evaluationen der "tabulose" kritische Blick immer wieder, teils auch vorschnell, die Überhand. Dies führt u.a. dazu, dass man sich irgendwann fragt, ob und inwiefern es sich bei dieser Studie eigentlich noch um eine Ethnografie handelt, wenn unter Ethnografie der Versuch verstanden werden kann, die Handlungen, Lebenswelten und Sichtweisen der Untersuchten aus ihrer Logik zu rekonstruieren. Zumindest fällt es mitunter schwer, zwischen den Interpretationsfolien der Autorin und den Sichtweisen der Befragten zu unterscheiden. Zum anderen verlieren sich bei dem Bemühen, die unterschiedlichen Perspektiven der an den Evaluationen Beteiligten kritisch einzufangen, die Objekte selbst, also die Evaluationen, die ihnen zugrunde liegenden Ansprüche, Designs, ihre Vorgehensweisen, ihre Ziele und intendierten Verwendungskontexte für die Ergebnisse, kurz die Anlage der Evaluationen bleibt im Ungefähren. An einer Stelle wird dies auch ausdrücklich zum Programm: "Die folgende Analyse gibt die subjektiven Ansichten des Evaluationsprozesses aus der Sicht der Interviewten wieder und nicht, wie Evaluation de facto stattfand" (S.175). Das Problem ist nur, dass dies auch an keiner anderen Stelle des Buches erfolgt – sieht man einmal von eher rudimentären Skizzen (S.134ff. und 145ff.) ab. In der Konzentration auf die Metaperspektive wird gleichsam der Gegenstand selbst aufgelöst. Was übrig bleibt, ist eine Reihe von subjektiven Ansichten der Beteiligten zu zwei offenbar nicht gerade gelungenen Evaluationsstudien. Dass diese Vielfalt an Perspektiven kaum mehr synthetisiert werden kann, ist nicht überraschend. Wer mag, kann darin eine empirische Bestätigung der These der Autorin lesen, dass Evaluation einer jener Begriffe sei, die "unendlich dehnbar, vielfältig verwendbar" sind, die den Anspruch verkörpern, "immer brandneu zu sein" (S.18), dabei aber "Gleichförmiges und weitestgehend Sinnfreies" unterstellen (a.a.O.). [9]

Redlicherweise wäre aber eher Zurückhaltung angebracht. Denn so begrüßenswert es ist, dass der Frage nach der Funktion von Evaluation empirisch und nicht spekulierend nachgegangen wird, so provoziert die Darstellung von Christine SCHWARZ unweigerlich die Frage, wofür die beiden Fälle eigentlich stehen. Damit soll keineswegs das Problem der kleinen Fallzahl (n=2) auf die Tagesordnung gerufen werden, so als ob allein die großen Fallzahlen "richtige" Ergebnisse erzeugen würden. Nein, nicht die Fallzahl n=2 ist das Problem, sondern die ungedeckte Generalisierung von zwei Studien auf Evaluation schlechthin. [10]

Dies geschieht vor allem im letzten Teil des empirischen Kapitels (S.224-240) und im abschließenden vierten Kapitel (im Buch III, S.241-260), in dem die Ergebnisse der Fallstudien diskutiert und auf einer allgemeineren Ebene systematisiert und zusammengefasst werden. Letztendlich liefern aber diese Abschnitte keine Überraschungen mehr. Was vorne konzeptionell vorgedacht wird in Form des Anschlusses an die Studie von Michael POWER "The Audit Society. Rituals of Verification" (1999), kommt hinterher mit geringer Variation raus: Evaluation erscheint als ein säkularisiertes Alltagsritual. "Mit der Kategorie des modernen Rituals ist der Zusammenhang zwischen scheinbar säkularisierten Praktiken und deren ritueller Legitimierung hergestellt: So erweisen sich die ent- und die verzaubernden Wirkungsweisen von Evaluation als offenkundig unverzichtbarem Bestandteil heutiger gesellschaftlicher Organisation von Vertrauen" (S.227). [11]

Das ist eine steile These, die allerdings daran leidet, dass die behaupteten ent- und verzaubernden Wirkungsweisen nirgends überzeugend belegt werden. Ein paar Seiten später liest sich das dann auch etwas vorsichtiger: "Evaluation hat viele Seiten eines Rituals" (S.239). Und mit Verweis auf die Befragten fährt die Autorin fort: "Meist wird das Ritualhafte von Evaluation in der schwierigen Vereinbarung zwischen den widersprüchlichen Handlungszwängen in Wissenschaft (Hochschule) und Politik (Ministerium) gesehen" (a.a.O.). Nun ja, man fragt sich, was daran ritualhaft sein mag, zumal wenn unmittelbar anschließend auf die vielfältigen Formen der Nutzung von Evaluationen eingegangen wird: "Ministerialdirigenten, Gutachter, Begleitforschende, Projektmanager – alle nutzen Evaluation zu verschiedenen Zwecken: zur Legitimation, Qualifizierung bzw. Steigerung der Reputation, als Forschungsinstrument oder zum Projektmanagement" (a.a.O.). Das alles ließe sich auch ohne Rekurs auf den Ritualbegriff und im Anschluss an die Verwendungsforschung beschreiben. Aber es ist doch schön und klingt sehr aufklärerisch, wenn den vermeintlichen Rationalisierern ihnen selbst verborgene ritualhafte Züge nachgewiesen werden können. Was wird da nicht alles an Düsternis angedeutet? [12]

Das letzte Kapitel "Evaluation als flexible Ordnung" (S.240ff.) steigert dies alles aufs Ganze. Unter Absehen aller Empirie wird in fast schon verschwörungstheoretischer Manier Behauptung an Behauptung gereiht. Nur ein Beispiel: Aus der Sicht der Autorin

"ist die real erfahrbare Zunahme an Inspektionsverfahren als eher unkoordiniert und ziellos zu qualifizieren. In Schein und Wirklichkeit des Evaluationsbooms akkumuliert sich möglicherweise der Anspruch, Evaluationen könnten unmittelbar in Handeln umschlagen, absurderweise auch und gerade wenn sie lediglich brachliegende Argumentations-Ressource bleibt" (S.242). [13]

Zwar räumt die Autorin ein, dass die "Evaluationsexplosion sich sicher nicht auf Grundlage der zwei Fallbeispiele allein verallgemeinern“ lässt (S.254); das hält sie jedoch nicht davon ab, über die Funktion von Evaluation unter den Bedingungen des Neo-Institutionalismus (S.246ff.) ausführlich nachzudenken, um dann über die Argumentation von Michael POWER (S.250ff.) bei einer Auseinandersetzung der Max WEBERschen Metapher vom "stahlharten Gehäuse" zu landen (S.255). Genau dies sei jedoch Evaluation nicht: "Evaluation reagiert auf Rationalisierungsansprüche und verarbeitet sie – aber flexibler, subtiler, mitunter subversiver als dies bisher der Fall war. Der Rationalitätsglaube ist somit kein 'stahlhartes Gehäuse', sondern ein viel anpassungsfähigeres, interpretierfähigeres Gefängnis, eher wie ein virtueller Irrgarten" (S.255). [14]

Fazit: Wer – aus welchen Gründen auch immer – Evaluation grundsätzlich und im Einzelfall in die Pfanne hauen will, findet in dem Buch einen reichen Zitatenschatz. Für alle diejenigen, die sich ernsthaft mit den praktischen und gesellschaftstheoretischen Implikationen des Evaluationsbooms beschäftigen wollen, ist das Buch leider eine vergebene Chance, weil es letztendlich doch die eigene Einschätzung über die Empirie stellt und fast schon missionarisch an der Kritik und am vermeintlichen Tabubruch interessiert ist. Schade. [15]

Trotz des zuvor erwähnten Evaluationsbooms ist bislang die Zahl der Titel zur qualitativen Evaluationsforschung noch recht überschaubar. Da ist es erfreulich, dass neben dem Reader von Uwe FLICK (2006) nun ein kurzer, gerade einmal 115 Seiten zählender "Einstieg" vorliegt. Der Untertitel "Einstieg in die Praxis" deutet an, worum es im Kern in diesem Büchlein geht: Angestrebt wird eine Schritt-für-Schritt-Anleitung für qualitative Evaluationsprojekte. Allerdings wird dabei nicht das ganze Spektrum qualitativer bzw. rekonstruktiver Zugänge dargestellt, sondern die Autoren Udo KUCKARTZ, Thorsten DRESING, Stefan RÄDIKER und Claus STEFER verfolgen selbst – wie sie formulieren – ein pragmatisches Verständnis qualitativer Sozialforschung: Ihre Methodik ist "vorrangig an Systematisierung und der Entdeckung von sozialer Regelhaftigkeit interessiert. Sie ist eher an Techniken des theoretischen Codierens orientiert und weniger an textexegetischen oder sequenzanalytischen Verfahren" (S.14). Damit eng verbunden ist eine zweite Besonderheit: Die theoretische Codierung wird mit Hilfe des Programms MAXQDA durchgeführt. Die Vertrautheit mit diesem Programm bzw. entsprechender Textverarbeitung und mit SPSS wird vorausgesetzt. Insofern gehört das Büchlein auch in die Reihe der Veröffentlichungen zu dem Programm MAXQDA. Zu den Besonderheiten gehört schließlich, dass sich die Autoren ein zeitliches Limit gegeben haben. Ausgehend von der Erfahrung, dass Evaluationsprojekte üblicherweise unter hohem Zeitdruck stehen, war es ihr Ziel herauszufinden, "ob eine qualitative Evaluation auch unter stark restriktiven Bedingungen (100 Stunden) relevante Ergebnisse erbringen kann" (S.13). Das vorliegende Büchlein ist das Ergebnis dieser Bemühungen, exemplifiziert an der Evaluation einer universitären Lehrveranstaltung "Einführung in die sozialwissenschaftliche Statistik". [16]

Der Band besteht aus sechs Kapiteln. Nach der Einführung zum Thema "Warum eine qualitative Evaluation" (S.11-14) wird im zweiten und längsten Kapitel (S.15-57) das Vorgehen in sieben Schritten knapp dargestellt. Die sieben Schritte werden wie folgt untergliedert: (1) Evaluationsgegenstand und Evaluationsziele festlegen, (2) Interviewleitfäden und Kurzfragebogen entwickeln, (3) Interviews durchführen, aufnehmen und transkribieren, (4) Daten erkunden, fallweise darstellen, (5) das Kategoriensystem erstellen und die Interviews codieren, (6) Kategorienblatt auswerten und Evaluationsbericht erstellen sowie (7) Fazit erarbeiten, Ergebnisse rückmelden, Bericht abschließen. In dem letzten Abschnitt werden auch die wesentlichen Ergebnisse der Studie in Form von acht Punkten zusammengefasst (S.50-56). [17]

Das dritte Kapitel (S.59-75) skizziert zunächst die Ergebnisse der standardisierten, quantitativen Evaluation der Lehre an der Marburger Philipps-Universität, die als Hintergrund für die qualitative Studie fungierte. Darüber hinaus unternehmen im zweiten Teil dieses Kapitel die Autoren den eher systematisch angelegten Versuch, den Mehrwert qualitativer Evaluationen zu bestimmen und mögliche Anwendungsfelder zu benennen. Als Mehrwert dieser Form von Evaluation werden dabei vor allem Fallorientierung, Ganzheitlichkeit und Komplexität, Kontexte und Hintergründe, Vermeiden von Fehlschlüssen und Missinterpretationen, Prozessorientierung, Interaktion und Kommunikation, Konsistenz und Authentizität sowie das Vermeiden verborgener Normativität gesehen. Hinsichtlich der möglichen Anwendungsfelder wird zunächst eine nicht gerade sehr inspirierende Liste von Praxisfeldern vom Kindergarten über den Städtebau und die Marktforschung bis hin zur Entwicklungshilfe präsentiert. Interessanter sind die daran anschließenden Überlegungen, unter welchen Bedingungen qualitative Evaluationen vorrangig zum Einsatz kommen könnten. Dies läge nahe, so die Autoren, wenn sich die Evaluation mit "nicht wiederholenden Gegenständen (z.B. einmalig durchgeführte Programme)" befasst, wenn es um die "Erzeugung von Spezialwissen, das zu Beginn der Evaluation noch nicht zur Verfügung stand" geht, "wenn es sich um einen dynamischen Evaluationsgegenstand handelt" und "wenn ein unbekanntes Feld evaluiert werden soll und der Schwerpunkt dabei auf dem Generieren von Wissen liegt" (S.74). [18]

Das vierte Kapitel (S.77-104) enthält Materialien für jene Leserinnen und Leser, "die sich ein detailliertes Bild von der praktischen Arbeit mit und an den Texten machten möchten". Neben dem Abdruck eines transkribierten Interviews finden sich ein zweites, codiertes Interview und Beispiele einer kategorienbasierten Auswertung. Kapitel 5 enthält eine Reihe von hilfreichen Literaturhinweisen und Links. Das sechste Kapitel gibt ein paar praktische Ratschläge für die Umsetzung, u.a. in Form einer Checkliste. [19]

Wer die Praxis und die Rahmenbedingungen vieler Evaluationsprojekte kennt, wird für jedes Konzept dankbar sein, das ihm bzw. ihr erläutert, wie auch unter knappen Zeitressourcen seriöse Ergebnisse vorgelegt werden können. Insofern unternimmt das Buch einen verdienstvollen Versuch. Leider erfahren Lesende erst während der Lektüre, dass die Autoren sich dabei vorrangig auf das Programm MAXQDA konzentrieren und insofern nur einen Ausschnitt qualitativer Sozialforschung beleuchten; den Versuch ist das allemal wert. Viel irritierender ist – auch angesichts der vollmundigen Buchtitels "Qualitative Evaluation – Der Einstieg in die Praxis" –, dass an keiner Stelle geklärt wird, was in dem Buch unter Evaluation verstanden wird bzw. werden soll. Zwar gibt es eine kurze Erwähnung der Unterscheidung zwischen formativer und summativer Evaluation (S.19), der Evaluationsbegriff selbst bleibt jedoch ohne nähere Bestimmung, so als ob dies auch nicht notwendig wäre. Angesichts der mittlerweile überbordenden Menge an Definitionsbemühungen kann dieses Vorgehen im günstigen Fall als mutig bezeichnet werden. [20]

Versucht man sich angesichts dieser Sachlage anhand des im Buch vorgestellten Vorgehens und der präsentierten Ergebnisse selbst ein Bild des zugrunde liegenden Evaluationsverständnisses zu machen, kommt Enttäuschung auf. Denn sowohl die Durchsicht der leitenden Fragestellungen als auch die vorgestellten Ergebnisse lassen Zweifel aufkommen, ob es sich im Kern um eine Evaluationsstudie gehandelt hat. Wenn man mit Michael SCRIVEN (1991, S.139) ganz allgemein davon ausgeht, dass Evaluationen den Wert eines Gegenstandes zu bestimmen haben, dann provoziert die Lektüre des Bandes von U. KUCKARTZ, DRESING, RÄDIKER und STEFER die Nachfrage, wie mit der damit unauflösbar verbundenen Aufgabe zur Bewertung methodologisch umgegangen wird. Leider wird diese Frage nicht eigens beantwortet. Darüber hinaus offenbart die Lektüre der leitenden Fragen, dass nur die Frage 7 von insgesamt acht Fragen eine explizit evaluierende Frage darstellt ("Wie beurteilen die Studierenden Vorlesung, Übung und Tutorium?", S.18). Alle anderen Fragen sind empirische Fragen nach den Eingangsvoraussetzungen zu Beginn der Veranstaltung, zu den Verlaufsformen der Teilnahme, zum Lernaufwand und zu den Arbeitsformen. Am ehesten könnten noch die Fragen zum Verhältnis von Arbeitsformen und den Eingangsvoraussetzungen und zu den Verbesserungswünschen als implizit evaluative Fragestellungen betrachtet werden. Alle anderen Fragen sind berechtigte empirische Fragen, deren Antworten nicht als solche evaluativ von Bedeutung sind, sondern erst, wenn sie mit entsprechenden Kriterien konfrontiert werden. Welche Kriterien aber der Bewertung zugrunde lagen und wie die Bewertung methodologisch vollzogen wurde, wird nirgends erläutert. [21]

Fazit: Vor diesem Hintergrund verspricht der Titel des Buches entschieden zu viel. Das Buch bietet keinen Einstieg in die Praxis qualitativer Evaluation, denn es ignoriert konzeptionell und praktisch, soweit dies in dem Buch dokumentiert wird, großzügig die gesamte jüngere Evaluationsdiskussion – was u.a. auch daran sichtbar wird, dass zwar im Serviceteil der Link zur bereits erwähnten Deutschen Gesellschaft für Evaluation e.V. aufgelistet wird, in dem gesamten Buch aber an keiner Stelle auf die oben schon erwähnten Standards der DeGEval systematisch eingegangen wird. Das zeitliche Limit kann – angesichts des weitreichenden Anspruches des Buchtitels – dafür keine Entschuldigung sein; es sei denn man postuliert, dass dafür angesichts der knappen Zeit keine Spielräume mehr zur Verfügung standen. In diesem Fall würde ich für die Aufstockung des Limits um zehn Prozent plädieren. Für alle an dem Programm MAXQDA Interessierten dokumentiert der Band, wie dieses Programm auch im Kontext qualitativer Evaluationen eingesetzt werden kann. [22]

Es ist ein bisschen zum Haare raufen. Beide Bücher greifen – wenn auch unterschiedliche – zentrale, in der jüngeren deutschsprachigen Diskussion um Evaluation aber weithin vernachlässigte Themen auf. Man kann angesichts der gelegentlich anzutreffenden Naivität im Umgang mit Evaluationen das Anliegen von SCHWARZ ebenso nachvollziehen wie es immer noch an praktikablen Konzepten fehlt, wie qualitative Evaluationen in einem überschaubaren und – nicht zu vergessen – bezahlbaren Rahmen durchgeführt werden können. Es ist das Verdienst beider Bücher, ihre jeweiligen Themen auf die deutschsprachige Tagesordnung gesetzt zu haben. Zugleich machen beide Bücher aber auch je spezifische Desiderate deutlich: In Bezug auf die Frage nach den gesellschaftlichen Funktionen von Evaluationen bedürfte es einer differenzierten und breiter angelegten, vielleicht auch weniger kategorial vorbelasteten Empirie und darauf aufbauenden Diskussion. In Bezug auf die Frage nach den Strategien qualitativer Evaluation unter den Bedingungen von Zeit- und Ressourcenknappheit ist sicherlich der Hinweis auf EDV-basierte Auswertungstools hilfreich. Dem müssen aber weitere Schritte folgen, die expliziter als in dem vorliegenden Band den aktuellen Diskussionsstand und die Standards einbeziehen. Wäre das nicht eine reizvolle Aufgabe für die Fachgesellschaft, die DeGEval? [23]

Flick, Uwe (Hrsg.) (2006). Qualitative Evaluationsforschung. Konzepte, Methoden, Umsetzungen. Reinbek bei Hamburg: Rowohlt.

Power, Michael (1999) The audit society. Rituals of verification. Oxford: Oxford University Press.

Christian LÜDERS ist Leiter der Abteilung "Jugend und Jugendhilfe" am Deutschen Jugendinstitut in München. Arbeitsschwerpunkte: Kinder- und Jugendhilfeforschung, Methodologie qualitativer Sozialforschung und Evaluationsforschung, Theorie der Sozialpädagogik, Theorie pädagogischen Wissens, Wissenschaftsforschung. In FQS findet sich von Christian LÜDERS der Rezensionsaufsatz Evaluation als praktische Hermeneutik – oder: Der weite und steinige Weg von einer Theorie der Praxis zur Praxis der Evaluation (zu Thomas A. Schwandt: Evaluation Practice Reconsidered)

Lüders, Christian (2008). Sammelbesprechung zu: Christine Schwarz (2006). Evaluation als modernes Ritual. Zur Ambivalenz gesellschaftlicher Rationalisierung am Beispiel virtueller Universitätsprojekte / Udo Kuckartz, Thorsten Dresing, Stefan Rädiker & Claus Stefer (2007). Qualitative Evaluation. Der Einstieg in die Praxis [23 Absätze]. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 9(2), Art. 7, http://nbn-resolving.de/urn:nbn:de:0114-fqs080273.

Forum Qualitative Sozialforschung / Forum: Qualitative Social Research (FQS)

ISSN 1438-5627

Creative Commons Attribution 4.0 International License