Zu 3: Die Zufriedenheit der Patienten reagiert nicht auf das treatment (Tab.2, ein Mangel, den Dahling 2008 [8] ausführlicher analysiert, z.B. in Bezug zum ceiling-effect bei insgesamt sehr hoher Behandlungszufriedenheit oder er leitet aus der Literatur zum Thema ab, es „könnte eine geringere globale Behandlungszufriedenheit (zum Zeitpunkt der Nachuntersuchung, W.B.) als Zeichen eines höheren Anspruchniveaus im Genesungsprozess“ verstanden werden (a.a.O. S.18). Wie Dahling (2006, S.100 ff.)[7] für den Mittelwert aller Berufsgruppen darstellt, ist die Zufriedenheit der Besuchten mit dem Nutzen der kollegialen Beratung nie sehr stark; womöglich konnte das Projekt auch deshalb insgesamt keinen sehr starken Nutzen für die Patienten abwerfen. Obwohl eine Zufallsauswahl von Experimental-und Kontrollgruppe wie beschrieben organisiert wurde, stellt das Sample keine repräsentative Stichprobe dar: Die Auswahl der Tageskliniken, der besuchenden und moderierenden Mitarbeiter, die Verteilung der unvollständigen Datensätze und- wie unter 4 beschrieben- die ungewollte Überrepräsentation der schwer Kranken in der Experimentalgruppe führen zu einer einmaligen Konstellation. Weil außerdem die rapiden Veränderungen der Krankenhauslandschaft und der Anforderungen an die Qualitätssicherung ohnehin eine Wiederholung einer vergleichbaren Erhebung unmöglich machen, wird das argumentative Gewicht der mitgeteilten Signifikanztests stark relativiert- auch eingedenk der vernichtenden Kritik am Ritual des Null-Hypothesen-Testens (vgl. das Themenheft der Zeitschrift für Psychologie 2009, darin u.a. Fidler und Loftus) [19].
Die vorliegende ist die einzige mir bekannte empirische Untersuchung zum Thema unter Beteiligung aller Berufsgruppen des psychiatrischen Tagesklinikteams an der Qualitätssicherung, natürlich bedarf sie der Replizierung an einem größeren Sample. Dennoch dürfte das beschriebene Verfahren einen Beitrag zur Teamentwicklung und zum Empowerment der Beteiligten leisten.

Zu 4: Die Scheu, schwer Kranken die Strapaze eines Gesprächs mit einem Fremden zuzumuten und häufigere Verweigerungen der Teilnahme durch schwer Kranke dürften die Gründe für ein Überwiegen dieser Patienten in der Kontrollgruppe gewesen sein.
Auch wenn Dahling [7] für CGI und GAF mittels Kovarianzanalyse nach Bereinigung für den Ausgangswert mit p < 0,04 einen signifikant positiven Einfluss in der Experimentalgruppe fand : Bei der Anzahl von sieben verwendeten Erfolgskriterien (Verkürzung der Verweildauer, Vermeidung von Behandlungsabbruch oder vollstationärer Verlegung, Verbesserung im Differenz- oder Veränderungswert des CGI, Verbesserung im Differenzwert des GAF, Verbesserung der Behandlungszufriedenheit der Patienten) ist bei der Bewertung der statistischen Signifikanz im Rahmen des multiplen Testens eine siebenmal niedrigere Irrtumswahrscheinlichkeit (Bonferroni-Korrektur; Victor et al. 2010 [20]) , also p=0,007 statt p=0,05 zu fordern. Es gibt meines Wissens demnach für die Gruppe der Schizophrenen doch noch keinen Beweis, dass QS die Patienten gesünder macht ! Das gilt leider auch für die sehr große, mit beeindruckendem methodischen Aufwand durchgeführte Benchmarking-Studie in 9 rheinischen Kliniken (Janssen et al , 2011) [21].
Den meisten Teilnehmern des Projekts war immer wieder evident, dass die Prozessqualität verbessert wird, dafür hat die Auswertung von Dahling (2006, S.85, S.87, S 103) [7] Belege geliefert. Dass dennoch eine günstige Auswirkung auf die Ergebnisparameter nicht zu sichern war, entspricht der Einschätzung von Weinmann et al. (2008) [22]: „Gerade in der Psychiatrie ist die Variabilität des Behandlungsergebnisses jedoch in hohem Maß Patientenmerkmalen zuzuschreiben, ohne dass gute Verlaufsprädiktoren existieren. Damit kann eine Fehlattribution von Behandlungseffekten zu bestimmten Prozessen erfolgen…, ohne dass eine Änderung der Prozesse zur Verbesserung der Ergebnisse führen würde.“

zu 5: Woher weiß man, wie optimistisch oder pessimistisch die Extremwerte der GAS-Skala wirklich ausfallen dürfen ? Hier könnte ein Blick auf vergleichbare, ebenfalls mit der Prognoseskala nach Händel, Bailer, Bräuer, Laubenstein und Rey (1996) [13] erhobenen Daten helfen: Gegenüber den vollstationären Ersterkrankten jener Studie kann man sinnvollerweise nur Prognosefaktoren zum Vergleich einbeziehen, die nicht die lange Anamnese berücksichtigen: Die Berliner Tagesklinik-Experimentalgruppe hat im Vergleich eine geringfügig schlechtere Prognose (arithmetisches Mittel=1,9 vs. 2,2; Skala von 0 = schlechteste bis 4 = beste Prognose; E.-R. Rey, persönliche Mitteilung). Die Verteilung der Prognose-Summenscores insgesamt ist keineswegs zu den guten Prognosen hin verschoben: 53% der Fälle der Experimentalgruppe liegen unterhalb der Mitte des möglichen Range von 0 bis 48 Punkten: Das über 18 mal häufigere Vorkommen von sehr günstigen „best case scenarios“ versus sehr ungünstigen „worst case scenarios“ (Tab. 4) dokumentiert eine Verzerrung des prognostischen Blicks in den besprochenen Feldern der GAS-Skalen ; (im McNemar Test beträgt die Signifikanz dieses Extremwertvergleich p <0,0005 ) der ganze Aufwand an QS in diesem Projekt hat sie nicht beseitigen können. Dies Ergebnis regt zu der Frage an , ob nicht der aktuelle Trend zur Ressourcenorientierung und Normalisierung allzu viel von dem in der Geschichte unseres Fachs zu sehr betonten "abgründigen Unterschied zwischen Persönlichkeit und Prozesspsychosen" ( Jaspers, 1923) [23] nivelliert hat. Einen anderen Aspekt dieses Ergebnisses beleuchtet eine ironische Bemerkung Balints von 1957 [24] : “Wir meinen mit der apostolischen Sendung oder Funktion in erster Linie, dass jeder Arzt eine vage, aber fast unerschütterlich feste Vorstellung davon hat, wie ein Mensch sich verhalten soll, wenn er krank ist. Obwohl diese Vorstellung keineswegs klar und konkret ist, ist sie unglaublich zäh und durchdringt…praktisch jede Einzelheit der Arbeit des Arztes mit seinem Patienten. Es war fast, als ob jeder Arzt eine Offenbarung darüber besäße, was das Rechte für seine Patienten sei, was sie also hoffen sollten, dulden müssten, und als ob es seine , des Arztes, heilige Pflicht sei, die Unwissenden und Ungläubigen unter den Patienten zu diesem seinem Glauben zu bekehren.“ Wie auch immer die Ergebnisse der Tab. 4 erklärt werden, sie wecken Zweifel an der Konstruktvalidität des GAS.

Zu 6: Ältere Studien mit der Skala von Strauss & Carpenter haben wesentlich längere Beobachtungsintervalle als die hier betrachteten 3 Monate untersucht: Gaebel & Pietzcker (1987) [25] referieren eine WHO-Studie mit 2 und 5-jähriger Katamnese und eigene Erhebungen mit einjähriger Beobachtungszeit, wobei nur die Hälfte der übrigen Erfolgs-Kriterien signifikant mit der Skala von Carpenter & Strauss korrelierte. Händel et.al. (1996) [13] fanden über 36 Monate eine gute Vorhersage der sozialen Behinderung, nicht aber der Akutsymptomatik und der Rehospitalisierung: sie warnen jedoch ausdrücklich davor, die Prognose eines einzelnen Patienten mit dieser Skala vorhersagen zu wollen, zu gering sei der Anteil erklärter Varianz. Nicht nur die fragwürdige Verwendung eines Prognoseinstruments für einen relativ zur Literatur zu kurzen Zeitraum und für die nur teilweise damit vorhersagbare Akutsymptomatik (die ja in CGI und GAF ganz entscheidend einfließt) könnte das "Versagen" der Prognoseskala erklären: Psychiatrische Prognosen sind bekanntlich ungenau, z.T. unmöglich, wofür exemplarisch auf die Arbeit von Hugulet et al. (1995) [26] verwiesen werden kann. Natürlich steht damit wiederum die Konstruktvalidität des GAS sehr in Frage: Wenn schon vielfach in der Gruppenstatistik keine Vorhersage möglich ist, wie glaubwürdig und brauchbar ist dann im Einzelfall eine Prognose und ein davon abhängiges Erfolgsmaß ? Ich hoffe, dieses Problem mit einem kasuistischen Ansatz besser zu verstehen und werte dafür in meiner Psychotherapiepraxis Verläufe der Therapieziele aus.(Bolm 2015)[32]

Zu 7: Die von den Gründungsvätern des GAS immer wieder beschworene Überlegenheit individueller über nomothetische Erfolgsmaßstäbe findet sich in diesem gruppenstatistischen Material auch nach akribischster Suche nicht: Bei Patienten mit unverändertem oder verschlechterten Befund im CGI oder GAF z.B. erlaubt GAS nicht überzeugend einen relativen Erfolg am individuellen Maßstab darzulegen. Andererseits erwecken die Daten der Tab.6 den Verdacht, dass ein ziemlicher Anteil der auf der Grundlage von CGI- oder GAF behaupteten Effekte –soweit es sich um geringe Effektstärken handelt- artefizieller Natur ist. Selbstverständlich bedarf dies der Überprüfung an größeren Samples. Immerhin hatte eine der wenigen Studien zur Interrater-Reliabilität des CGI den Veränderungswert sehr in Frage gestellt. (Dahlke, Lohaus & Gutzmann, 1992) [27] Ohne das Verfahren von Bland & Altman [14] wäre dieses Problem nicht in den Blick gekommen. Von den zwei vorgeschlagenen Relevanzkriterien für grade noch hinnehmbare Einschränkungen der Übereinstimmungsvalidität erwies sich das an der geringen Effektstärke orientierte für alle untersuchten Differenzwerte als „K.o.-Kriterium“, das an einer CGI-Veränderungswert-Stufe orientierte Kriterium als möglicherweise zu weich (Tab. 6). Es bleibt eine ungelöste methodische Herausforderung, den so sehr erhofften und z.T. naiv behaupteten Nutzen der Qualitätssicherung auf dem Hintergrund der erheblichen Unschärfe der hier verwendeten Ergebnisparameter zu quantifizieren. In der psychiatrischen Literatur habe ich über die Größe des erwartbaren Effekts dieser Art der QS - wie über irgendeine QS- keine brauchbaren Daten gefunden, geschweige denn über die Standardabweichung in der Grundgesamtheit. Von daher ist das Fehlen der expliziten Fallzahlplanung verständlich, wie sie zuletzt Röhrig et al. (2010) [28] energisch postulieren. Bei der geplanten Studienlaufzeit von 2 Jahren waren 48 Fälle in der Experimentalgruppe erwartet und für ausreichend erachtet worden. Die tatsächlich auswertbaren 34 bzw. 32 Fälle gestatten nach Cohen (1992, Table 1, p. 157) [15] für T-Tests auf unabhängige Mittelwertsdifferenzen bei einem Signifikanzniveau von 5% und einer Power von 80 % nur die Entdeckung von großen Effekten (d= 0.8). Für die Suche nach mittleren Effekten (d=0.5) wären 64 Fälle pro Gruppe, für kleine Effekte (d= 0.2) gar 393 (!) Fälle erforderlich. Die Überprüfung der Wirksamkeit von QS im gewählten Design überschreitet bei weitem die Möglichkeiten auch eines größeren Verbundes. Methodische Probleme des GAS könnten noch eine weitere Erklärung haben: Dahling[7] hatte zwar (2006, S 86 f.) eine größere prognostische Treffsicherheit in vorliegender Studie im Vergleich mit früheren Arbeiten (Bolm 1994, 1996) [29, 30] nachgewiesen, die sich sogar im Verlauf des Projekts gesteigert hat (a.a.O. S.85) ; das wäre also eine Annäherung an die symmetrische Verteilung der GAS-Werte, ähnlich einer Normalverteilung, wie sie Kiresuk & Lund 1979 [31] als Beleg für das Zutreffen der in den Skalen eingebauten Prognosen postulieren und belegen. Dennoch liegt in der Qualität der GAS-Skalen eine mögliche Fehlerquelle : Das betrifft nicht nur die bereits erwähnte Einsparung von bis zu 2 der 5 Skalenniveaus ; es ist mir nur in 85% gelungen, die von GAS-Einsteigern erstellten GAS-Skalen telephonisch mit den Verfassern zu diskutieren ; es finden sich Schwächen dieser Skalen wie eingeschränkte Eindeutigkeit der Items, mangelhafte Äquidistanz der benachbarten Skalenwerte oder die Eindimensionalität von Skalen ist fragwürdig . Umso überraschender fällt die Korrelation dieser GAS-Endwerte mit dem CGI-Veränderungswert mit r = 0,6 nach Spearmann ( Dahling, 2006, Tab. 23, S. 88) [7] höher aus als in der Studie von Bolm (1994, Abb.1, S. 135; r = 0,4) [28] mit ausschließlich vom Verfasser selbst erstellten GAS-Skalen: Sicher wäre eine Replikation mit besser geschulten und supervidierten Skalenkonstrukteuren wünschenswert , die über ausreichend Zeit für diese Tätigkeit verfügen. Zum Schluss dieser ziemlich kritischen Gedanken zur Validität der Erfolgsmaße sei noch einmal ein Blick auf Tab. 1 gelenkt: Hat nicht, wer die Qualität dieses Verlaufs bewerten will, mit den Angaben der Goal-attainment-scale eine Aussage zum Erfolg am individuellen Maßstab in der Hand, deren „face-validity“ für den Kliniker deutlich größer ist, als die objektiven Angaben der nomothetischen Skalen CGI, GAF und KliBB ? Ist nicht die entscheidende –aber äußerst diffizile Frage für die Qualitätssicherung, ob die Kunst des Möglichen gelang, mit dem GAS offensichtlich besser zu beantworten?

Auch diese Studie konnte nicht beweisen, dass psychiatrische QS den Patienten nutzt. Ich halte es für eine richtige Konsequenz i.S. der Evidenzbasierung, alle neuen Qualitätssicherungsmaßnahmen zu stornieren, die nicht ihren Nutzen für die Patienten in replizierten drittmittelfinanzierten Studien eindeutig nachgewiesen haben: Peer-review individueller Therapieziele durch alle Berufsgruppen in der Tagesklinik scheint ein Kandidat für solche Studien zu sein. Die hier betrachteten Prognosen stimmen so wenig mit dem tatsächlichen Verlauf überein bzw. sind so verzerrt, dass ihnen gegenüber im klinischen Alltag größere Vorsicht geboten ist.