Prof. Frass kommentiert meine Studienkritik

Jetzt war es doch wieder recht ruhig hier, kein neuer Artikel in den letzten Wochen, aber im realen Leben hat sich einiges getan:

  • Prof. Frass hat auf meine hier im Blog veröffentlichte Studienkritik geantwortet und zu den einzelnen Punkten Stellung genommen.

  • Anlässlich meiner Vortragsreise nach Wien führten wir am 15.12.2015 ein zweistündiges Gespräch über diese und andere in Wien entstandene Arbeiten. Dieses verlief erfreulicherweise  in einer angenehmen und sachlichen Atmosphäre, weit von dem Umgangston entfernt, wie er hier aus der Stellungnahme doch ab und zu  durchschimmert.
  • Ganz offensichtlich nimmt Prof. Frass meine Kritikpunkte inzwischen ernst, offenbar ist sein Statistiker dabei, die Daten von Gaertner et al. neu auszuwerten. Diese Arbeit war hier  bereits Gegenstand der Diskussion.
  • Im März oder April 2016 werden wir in Wien in einer öffentlichen Veranstaltung über die verschiedenen Studienergebnisse diskutieren. Der zunächst vorgesehene Termin erwies sich als zu nah an Weihnachten, der neue zu nah an Ostern und den damit verbundenen Ferien.
  • Ein Video von meinem Vortrag bei Skeptics in the Pub in Wien gibt es übrigens auf YouTube. Titel: ‚Die Globulisierungsfalle‘, nach einem Nachruf auf Professor Oberhummer, einem der Gründungsmitglieder der Wiener Gesellschaft für kritisches Denken.

Die nun vorliegende Stellungnahme bezieht sich auf die Studie zur homöopathischen Zusatzbehandlung von COPD-Patienten auf der Intensivstation. Hier sind nur die Ausschnitte aus diesem Blogartikel wiederholt, auf die sich die Ausführungen direkt beziehen, um den Artikel nicht zu lang werden zu lassen. Die Stellungnahmen sind eingerückt und mit den Initialen gekennzeichnet (MF bzw. NA).

—————

(…)

Da Kaliumdichromat recht schwer ist – Molekulargewicht 294 – entspricht C30 einer Verdünnung von einem Molekül des Wirkstoffes auf die 250.000-fache Masse unserer Sonne. Man kann also sicher sein, dass nicht ein Patient mit einem Molekül aus der Urtinktur in Berührung kam. Wenn der Nachweis also tatsächlich gelänge, dass dieses Medikament eine Wirkung hätte, dann wäre dies in der Tat ein schwer zu widerlegender Nachweis einer prinzipiellen Wirksamkeit der Homöopathie.

MF: Der Vergleich mit der Sonne, Mond, Jupiter oder anderes ist eine Effektheischerei und hier fehl am Platze.

NA: Nein, keine Effekthascherei, sondern der Versuch, die Bedeutung von C30 irgendwie plastisch vorstellbar zu machen. Dass dies in der Homöopathie zu astronomischen Größenordnungen führt, ist ein Problem dieser Lehre, nicht des Kommentators.

(…)

Der Autor, Michael Frass, Jahrgang 1954, ist von Hause aus Internist, offenbar mit Spezialisierung auf Erkrankungen der Atemwege. Nach seinem Lebenslauf war er von 1992 bis 2004 Leiter der Intensivstation in Wien (in welchem Krankenhaus ist unklar). Er hat eine ganze Reihe von Aufsätzen veröffentlicht und auch verbesserte Mittel zur Notfallbeatmung erfunden. Seit 1994 hält er eine Professur für Innere Medizin (Universität nicht genannt).

MF: Aufsätze werden in der Schule geschrieben. Wissenschaftler machen Veröffentlichungen. Im Übrigen ist Mittel das falsche Wort für Erfindung. Diese Erfindung, der Combitube, hat es in die Richtlinien der American Heart Association (AHA) geschafft, was geflissentlich von der Community der Homöopathiekritiker übergangen wird. Die Universität ist übrigens die Medizinische Universität Wien.

(…)

Frass et al. geben zum Vergleich an, welches Stadium bei den Patienten vor der aktuellen Verschlechterung vorlag, die akut zur Einlieferung in das Krankenhaus geführt hatte. Bei der Homöopathiegruppe wird das durchschnittliche Stadium als 1,08 beziffert, bei der Placebogruppe hingegen als 1,20, wobei in beiden Gruppen eine Bandbreite von Stadium 1 bis 3 vorgelegen hat. Es wird weiterhin angeführt, dass in der Homöopathiegruppe bei fünf Patienten eine langfristige Sauerstoffbehandlung notwendig war, bei der Placebogruppe hingegen bei 9 Patienten, also fast bei doppelt so vielen. Nach Wikipedia ist diese Therapie mindestens 16 Stunden täglich, auch in der Nacht, anzuwenden. Wie gesagt, es geht um den Zustand vor der gegenwärtigen Krisensituation.

MF: Auch in einer 2-Weg-ANOVA, in der der Gruppenunterschied nach Langzeit-Sauerstofftherapie adjustiert worden ist, ist der Gruppeneffekt statistisch signifikant (p<0,001). Die Langzeit-Sauerstofftherapie selbst ist nicht signifikant unterschiedlich zwischen den Gruppen. Die nicht-invasive Heimbeatmungsbehandlung war bei jeweils einem Patienten pro Gruppe notwendig (siehe Tabelle 1). Damit ist die Argumentation des folgenden Absatzes hinfällig. Eine Sauerstoffversorgung erfolgt in der modernen Medizin mit Nasenbrille und beweglicher Sauerstoffflasche, die Lebensqualität ist nur gering herabgesetzt, die PatientInnen sind mobil. Körperliche Anstrengungen sind PatientInnen in den meisten Fällen nur bedingt möglich. Im Übrigen ist Wikipedia wohl kaum die geeignete Ressource für medizinisches Fachwissen.

NA: Wie viel schlimmer kann COPD noch werden, wenn man bereits über längere Zeiten auf die Zufuhr von Sauerstoff angewiesen ist? Ist es so falsch, in dieser Situation eine schwere Erkrankung (= Grad 3) zu sehen?

Versucht man, schon diese Angaben aus der Studie in Deckung zu bringen, dann tritt bereits ein Problem auf. Wie würde man die Lebensqualität eines Menschen beurteilen, der mehr oder weniger ständig dafür Sorge tragen muss, dass er an eine Sauerstoffversorgung angeschlossen werden kann, und dies über mindestens zwei Drittel des Tages auch in Anspruch nehmen muss? Jemand, der sich nur mehr oder weniger kurzzeitig ohne Atemkanülen frei bewegen kann und jedwede körperliche Anstrengung meiden muss – auch die, die Freude bereiten? Ich würde vermuten, dass dies mit einer gehörigen Einschränkung der Lebensqualität einhergeht und insgesamt ein schweres Krankheitsbild darstellt. Also haben fünf Patienten in der Homöopathiegruppe und neun in der Placebogruppe sicher das dritte Stadium erreicht. Dann sind aber die von Frass angegebenen Zahlen unmöglich. Selbst wenn bei allen anderen Patienten nur das erste Stadium vorgelegen hätte, was wenig glaubhaft erscheint, dann lägen die Durchschnittszahlen mindestens bei 1,4 und 1,72 anstatt 1,08 und 1,2.

Sofern die Einteilung der Stadien einer linearen Skala folgt – was mir allerdings nicht bekannt ist – dann könnte man daraus schließen, dass es den Patienten der Placebogruppe um über 20 % schlechter ging als den Patienten, die das Homöopathikum erhielten. Die Gruppen waren also durchaus nicht gleich, in ihrem Befund vor dem Krankenhausaufenthalt gab es deutliche Unterschiede.

MF: Der Einwand, der Zustand vor dem Krankenhausaufenthalt sei nicht gleich gewesen, ist nicht zu halten, da nicht statistisch unterschiedlich. Die Studie untersucht den Ist-Zustand und nicht einen allfälligen Vor-Zustand. Zudem wurde die Beurteilung, in welche Gruppe die PatientInnen vor dem Krankenhausaufenthalt gefallen sind, von Pulmologen vorgenommen. Faktum: Zum Zeitpunkt der Aufnahme in die Studie war der Zustand bei allen PatientInnen vergleichbar. Das Argument ist hiermit hinfällig.

(…)

Als erstes Ergebnis wird die Menge des abgesaugten Sekrets am zweiten Tag nach der Gabe des Medikaments oder des Placebos angegeben. Dazu wird die abgesaugte Schleimmenge gemessen. Naiv würde man jetzt erwarten, dass man das Ergebnis irgendwie in der Größe als ‚Menge pro Zeit‘ darstellt. Anstatt einer solchen einfachen und transparenten Angabe finden wir ein Datengeschwurbel vor, das nicht einfach zu überblicken ist:

MF: Was ist denn ein Geschwurbel? Wie können Daten denn „taumeln“? Oder ist intendiert, einer argumentativen Darlegung für die beabsichtigte Abqualifikation auszuweichen? Die Daten sind klar und präzise dargestellt.

NA: Prinzipiell wäre das Ergebnis dadurch einfach zu ermitteln gewesen, dass man die jeweils abgesaugten Mengen aufaddiert hätte. Selbst wenn der beschriebene Weg zum gleichen Ergebnis führen würde, das von den Autoren angewandte Verfahren ist unnötig umständlich – und verschleiert den genauen Überblick.

Die Menge wurde jeweils direkt beim Absaugen ermittelt, diese Werte wurden aber nicht direkt verwendet, sondern es erfolgte eine Gradeinteilung: Grad 1 entsprach einer Menge von 0 bis 5 ml, 6 bis 10 ml ergaben Grad 2, 11 bis 15 ml ergaben schließlich Grad 3. Der Durchschnittswert von drei solchen Graden wurde dem jeweiligen Patienten zugeordnet. Im Durchschnitt aller Patienten ergab sich so bei der Placebogruppe ein Wert von 2,44, bei der Homöopathiegruppe hingegen von 1,52. Ein deutlicher Vorteil für die Homöopathiegruppe also – nur, was hat dieser Wert denn eigentlich noch mit den tatsächlichen abgesonderten Sekretmengen zu tun?

MF: Das „Datengeschwurbel“ wurde von einem akademischen Statistiker (= kein Homöopath) der Med. Univ. Wien vorgeschlagen. Es ist nicht unüblich, Daten in Gruppen zu kategorisieren. Durch Kategorisierung von Gruppen können Daten engmaschiger erfasst werden und lassen einen besseren Schluss auf das Ergebnis zu.

NA: Für mein Verständnis sind o-15 ml engmaschiger als 1-3 Grade. Außerdem kann man sich x ml besser vorstellen als y Grad. Zumindest jedem etwas praktisch veranlagten Menschen – zum Beispiel Technikern, Apotheker und sicher den Patienten – geht das so.

(…)

Mit einer solchen Einteilung kann man Messwerte ganz schön manipulieren, insbesondere, wenn Durchschnittswerte gebildet werden. Ein Unterschied von 5 ml kann so zum Verschwinden gebracht werden.

MF: Eine Manipulation ist vielleicht die Idee eines Technikers, der Abgaswerte manipuliert. Diese krause Idee lässt Rückschlüsse auf Ihre Denkweise zu. Wir haben die Absolutwerte für Sie nachgerechnet: In unserer Studie ist der Median bei der Homöopathiegruppe 5, die Percentile 2-7; bei der Placebogruppe 12,00, die Percentile 8-13; der Wilcoxon Rank Summentest ergibt ein p<0,001. Man sieht also, dass es zu keiner Verzerrung der Daten durch die Klassifizierung gekommen ist: ob Absolutwerte oder Klassifizierung: Das Ergebnis ist das Gleiche.

NA: Auch unter Ärzten und Professoren soll es ja schon zu kritikwürdigem Verhalten gekommen sein. Wollen wir uns auf dieses unsachliche Niveau begeben?

Was bedeuten die Zahlenangaben? Sind das die Durchschnitte aus den drei Absaugungen – was ich vermute – oder die über den Tag abgesaugten Mengen?

(…)

Man hat also eine Auswahl aus den vorhandenen Messwerten getroffen – wer hat das getan und wann ist das erfolgt? Und vor allem, nach welchen Regeln wurde diese Auswahl getroffen? Wurden die drei letzten Messungen herangezogen? Oder die ersten? Oder die mit den höchsten Werten? Oder den niedrigsten? Oder was auch sonst? Auf jeden Fall verschwand schon in diesem Schritt die Gesamtmenge des am zweiten Tag abgesonderten Sekrets aus der Auswertung. Dass bei der Homöopathiegruppe häufiger abgesaugt wurde als bei der Placebogruppe, spielt bei dieser Bewertung keine Rolle mehr.

MF: Im Gegensatz zu manch anderen Studien, die die Methodik nicht klar definieren, haben wir uns auf drei Messungen geeinigt. Es handelt sich um die ersten drei am Tag 2 beim jeweiligen Patienten/in durchgeführten Messungen. Daher ist hier keine willkürliche Auswahl erfolgt, sondern es sind die vom Pflegepersonal durchgeführten ersten drei Absaugungen herangezogen worden. Da die Anzahl der Absaugungen pro Tag nicht statistisch signifikant unterschiedlich war, besteht hier kein Bias. Auch wenn man den ganzen Tag herangezogen hätte, wäre das Ergebnis nicht anders ausgefallen.

(…)

Als Laie will mir scheinen, dass die abgesaugte Schleimmenge bei einem Patienten auch davon abhängig ist, wieviel Zeit seit der letzten Absaugung vergangen ist. Nach der Beschreibung erfolgte eine routinemäßige Absaugung alle sechs Stunden, sagen wir um 1 Uhr, 7 Uhr, um 13 Uhr und um 19 Uhr. Weitere Absaugungen erfolgten bei Bedarf, also irgendwann dazwischen. Wenn nun bei einem Patienten eine zusätzliche Absaugung um 18 Uhr erfolgt ist, dann wird die turnusmäßige eine Stunde später kaum eine nennenswerte Menge ergeben haben. Zumindest deutlich weniger, als wenn keine zusätzliche Absaugung erfolgt wäre und die letzte mithin sechs Stunden zurücklag. Um die abgesaugte Menge korrekt zu bewerten, wäre also eine Betrachtung der Zeit erforderlich gewesen, in der sich diese Menge angesammelt hatte. Dies umso mehr, als durch die bedarfsgesteuerten Sonderbehandlungen nicht damit zu rechnen war, dass bei jeder Absaugung auch immer die gleiche Zeit seit der vorhergegangenen verstrichen war. Alleine, dieser Aspekt wird in der Arbeit nicht erwähnt, die Gradeinteilung der Patienten erfolgte alleine nach der absoluten abgesaugten Menge.

MF: Bei allen PatientInnen erfolgten die ersten drei Absaugungen in einem Zeitraum von 12 Stunden. Auch hier besteht also kein Unterschied zwischen den Gruppen.

(…)

In beiden Gruppen wurden am zweiten Tag jeweils 6 bis 8 Absaugungen durchgeführt, also mindestens zwei mehr als nach dem routinemäßigen Vorgehen zu erwarten wäre. Das heißt, es gab zusätzlichen Bedarf, und zwar in beiden Gruppen bei allen Patienten. Was war der Auslöser dafür, dass eine zusätzliche Absaugung durchgeführt wurde? Doch wohl sicher, dass die vorliegende Menge dem Patienten Probleme bereitet hat. Diese Menge wird individuell von Patient zu Patient verschieden gewesen sein. Da es sich aber bei den Patienten durchgängig um Erwachsene gehandelt hat, dürften die Unterschiede nicht allzu gravierend gewesen sein.

MF: Die Gradeinteilung stimmt vorzüglich: wie schon in meiner letzten Bemerkung angeführt, erfolgten die ersten drei Absaugungen in einem Zeitraum von 12 Stunden. Auch hier besteht also kein Unterschied zwischen den Gruppen. Lediglich die abgesaugten Mengen unterscheiden sich statistisch signifikant. Ob die vorliegende Menge den PatientInnen Probleme bereiten könnte, ist vor dem Absaugen nicht immer klar ersichtlich. Sonst wäre das ja ein klarer Fall von Bias (abzusaugen oder eben nicht).

Demnach wären bei den Patienten der Homöopathiegruppe die zusätzlichen Absaugungen im Mittel bereits bei wesentlich kleineren vorliegenden Sekretmengen erforderlich gewesen als in der Placebogruppe. Rein rechnerisch wäre bei der Placebogruppe eine Absaugung bei 9,7 ml Sekret erforderlich gewesen, bei der Homöopathiegruppe hingegen bereits bei 4,7 ml, also bei weniger als der Hälfte. Da die Gruppen hinsichtlich Altersstruktur, Geschlechterverteilung, Gewicht, Körpergröße sich durchaus sehr ähnlich waren, ist dies völlig unplausibel, was die Annahme einer fragwürdigen Ermittlung der Gradeinteilung untermauert.

MF: Dieses Argument ist für mich nicht nachvollziehbar: man weiß ja vor der Absaugung nicht, wieviel Sekret zu erwarten ist. Sonst müsste man ja keine Studie machen. Das lässt sich rein rechnerisch nicht vorhersagen. Hier zeigt sich die mangelnde intensivmedizinische Erfahrung. Die für Sie fragwürdige Ermittlung der Gradeinteilung habe ich bereits oben durch die absoluten Zahlen widerlegt.

NA: In der Arbeit steht: ‚Suctioning was performed routinely every 6 h and in addition when patients had profuse secretions.‘ (S. 937/938). Dies deutet darauf hin, dass der Bedarf einer zusätzlichen Absaugung erkannt wurde. Wenn dies natürlich nicht so gehandhabt wurde, dann sieht das anders aus. Nach welchen Kriterien wurde denn eine zusätzliche Absaugung vorgenommen?

Zur Ergänzung: Die Autoren führen aus, dass bei allen Patienten vor der Gabe des Medikaments ein Grad 3 vorgelegen habe, die Patienten also ‚gleich‘ waren. Bei der Fragwürdigkeit dieser Auswertung ist diese Aussage wohl nur wenig belastbar.

MF: Die Aussage ist sehr wohl belastbar, da bei allen PatientInnen die gleichen Kriterien angewandt worden sind.

NA: Der Grad 3 des Absaugevolumens kann für drei Absaugungen in Summe zwischen 25 und 45 ml liegen. Grad 2 kann übrigens bei bis zu 35 ml liegen.

Die Autoren geben an, dass den Patienten der Homöopathiegruppe im Mittel nach 2,88 Tagen der Schlauch entfernt werden konnte, bei der Placebogruppe erst nach 6,12 Tagen. Das ist doch ein schönes signifikantes Ergebnis, mit p < 0,0001 sogar ausgesprochen hochsignifikant.

MF: Ein p < 0,0001 beschreibt man in der Medizinischen Wissenschaft als signifikant. Es gibt jedoch in der Medizin kein „hoch signifikant“, sondern nur „signifikant“ oder „nicht signifikant“.

(…)

Betrachten wir die fünf Kriterien, dann ist für den Laien höchst erstaunlich, dass der Befund, den man versucht hat, mit dem Medikament zu beeinflussen, nicht auftaucht. Zumindest nicht direkt. Da ich selbst über keine Kenntnisse auf diesem Gebiet verfüge, habe ich einen Fachmann, einen HNO-Facharzt, um Auskunft gebeten. Zusammengefasst: Die ersten zwei Kriterien hängen gar nicht von der Schleimabsonderung ab, die letzten drei nur recht indirekt. Bei einem Patienten, der schlecht Luft bekommt, wird der Sauerstoffgehalt im Blut niedrig sein, was die Atmungsfrequenz erhöht. Durch eine Verengung der Luftröhre wird auch der zu messende Luftdruck beim Atmen negativ beeinflusst. Aber für diese Erscheinungen kommen auch andere Ursachen im Rahmen der COPD-Indikation in Frage. In der Studie selbst wird beschrieben, dass die Extubation eben auch wegen des möglichen Versagens anderer Organe ausgeschlossen sein kann oder weil der Patient für andere Untersuchungen ruhiggestellt werden muss.

MF: Richtig! Die Kriterien zur Extubation haben mit der Studie selbst nichts zu tun. Aber es ist Standard in einer medizinischen Studie anzugeben, nach welchen Kriterien man eine bestimmte medizinische Intervention durchzuführen plant. – Was die trachealen Sekretionen betrifft: Hier kommen die Ausbildung, das Wissen und die praktische Erfahrung ins Spiel: wenn man, egal ob als Pflegeperson oder als Arzt an einer Intensivstation arbeitet, weiß man, dass ein Patient mit zu viel Schleim aus der Luftröhre deswegen nicht vom Beatmungsschlauch befreit werden kann, weil zu viel Schleim die Luftröhre verlegen kann. Das führt in weiterer Folge zu einem nicht ausreichenden Gasautausch in der Lunge, dies wiederum zu einer mangelnden Sauerstoffversorgung sensibler Organe wie z.B. des Herzens. Dies führt wiederum zu einem Herzversagen und, wenn keine entsprechenden Maßnahmen eingeleitet werden, zum Tod der PatientInnen. Eine Extubation bei zu viel Schleimabsonderung wäre ein klassischer Kunstfehler.

Solche Basiskenntnisse werden bei den LeserInnen eines Journals wie „Chest“ als Journal des „American College of Chest Physicians“ voraus gesetzt und daher nicht extra erwähnt.

Zudem steht diese Tatsache sehr klar unter „Patients“ (S.937): „Despite regular suctioning and therapeutic bronchoscopy, extubation for these patients was impossible due to profuse, tenacious, stringy tracheal secretions (equal to grade 3 as described below) for 36 to 48 h before enrollment into the study.“

NA: Schön, eine hinreichend geringe Sekretmenge ist eine notwendige, aber offenbar nicht hinreichende Bedingung zur Extubation. Was ändert das an meinem Argument?

(…)

Frass berichtet zwar, dass die Zeit bis zur Entfernung des Luftschlauchs in beiden Gruppen unterschiedlich war – nennt aber nicht die Ursachen hierfür. Sehr gut möglich, dass eine vielleicht von der Sekretabsonderung her mögliche Herausnahme durch andere Einflüsse verhindert wurde, die gar nicht Gegenstand dieser Studie waren.

MF: Welche Einflüsse?

NA: Eben die, die möglicherweise bewirkten, dass die anderen Kriterien eine Extubation verhindert haben.

Zusätzlich ist zu bedenken: Nach den Angaben der Studie hatten die Patienten den Beatmungsschlauch bereits drei bis sieben Tage vor Beginn der Studie erhalten. Wenn wir davon ausgehen, dass die Behandlung nicht nur einfach aus einem Abwarten bestand, wann denn der Schlauch wieder entfernt werden konnte – die Studie macht hierzu keine Angaben – dann war die Genesung bei den einzelnen Patienten bereits zu Beginn der Studie recht unterschiedlich weit fortgeschritten. Es werden allerdings keine Angaben gemacht, ob sich die Gruppen in dieser Hinsicht unterschieden. Ein Versehen? Oder Absicht?

MF: Auch hier kann ich die beruhigende Mitteilung machen: die Genesung war bei den beiden Gruppen, die sich auch nicht hinsichtlich der Krankheitsursache unterschieden, gleich weit fortgeschritten. Was den Hauptpunkt, nämlich die respiratorische Situation, betrifft, so sieht man aus Tabelle 1, dass es keine Unterschiede zwischen den beiden Gruppen gab.

Quintessenz: Auch bei diesem Kriterium ist der direkte Zusammenhang zwischen der tatsächlichen Sekretbildung des Patienten und dem Endpunkt des Versuchs nicht zwangsläufig gegeben. Selbst wenn ein Placebo-Patient beispielsweise gar kein Sekret mehr bildete, jedoch aus anderen Gründen nicht ansprechbar war, somit den Atemschlauch behalten musste, dann wird dies im Studienergebnis als Vergleichsbasis für die Wirksamkeit der Behandlung der Sekretbildung herangezogen. Damit sind Aussagen zur Wirksamkeit des Homöopathikums aus diesem Kriterium nicht ableitbar.

MF: Die PatientInnen waren ansprechbar (natürlich mit Schlafpausen). Dieses Argument muss daher verworfen werden.

NA: Das war ein Beispiel, der behandelnde Arzt wird sicher wissen, was wirklich dazu geführt hat, dass nicht extubiert werden konnte.

Zweifellos ist es schön, signifikante Ergebnisse zu erzielen – und wenn man schon dabei ist, dann macht man noch ein paar mehr. Sieht ja auch wirklich spektakulärer aus.

MF: Wie macht man denn mehr signifikante Ergebnisse? Ist das das Vorgehen im Maschinenbau?

NA: Nein, nicht im Maschinenbau. Dort weiß man, dass man, wenn man auf beiden Seiten einer Balkenwaage das gleiche Gewicht hinzufügt, kein wirklich neues Ergebnis erzielt.

Das heißt, dieses Ergebnis ist eine direkte Folge des oben betrachteten Kriteriums ohne einen zusätzlichen Erkenntnisgewinn. Man könnte in ähnlicher Manier noch weitere signifikante Ergebnisse erzeugen, etwa die Zahl der auf der Intensivstation verbrachten Nächte, die Anzahl der erlebten Schichtwechsel des Personals, die Anzahl der Arztvisiten und so weiter und so fort.

MF: Der Erkenntnisgewinn besteht darin, dass ein PatientInnentag an der Intensivstation mindestens € 1.500 bis 2.000 (konservativ gerechnet) ausmacht. Dies Zahlen sind signifikant höher als an einer Normalstation. Also ich würde so eine große Ersparnis nicht vernachlässigen, besonders in Zeiten der Finanzknappheit der Krankenkassen (zumindest in Österreich). Die Homöopathiekritik stösst sich ja sonst schon an den € 5-10 eines homöopathischen Präparates, es ist daher verwunderlich, dass tausende Euros plötzlich vernachlässigbar sein sollen. Zweierlei Maß?

NA: Wenn wirklich die Homöopathie die Ursache für den Vorteil wäre …

Irgendwann während der Auswertung muss die Verblindung weggefallen sein, spätestens dann, wenn nicht schon zu irgendeinem Zeitpunkt vorher. Da, wie oben berichtet, nur weniger als die Hälfte der vorliegenden Einzelwerte nach nicht näher beschriebenen Kriterien ausgewählt wurden, ist es durchaus möglich, ohne viel Aufhebens die Auswahl einer Zielvorstellung anzupassen.

MF: Es ist richtig, dass nach verblindeter Eingabe aller Daten die Verblindung gelöst wurde. Das ist im Text nicht schlüssig beschrieben. Dies war auch zu vernachlässigen, weil die sogenannte Entblindung für diejenigen, die Studien durchführen, ein bekannter Arbeitsschritt ist.

Es wird ausgeführt, dass die Bestimmung des Zeitpunkts für die Entfernung des Atemschlauchs durch einen Arzt erfolgte, der ansonsten nicht an der Studie beteiligt war. Die Zuordnung der Patienten zu den Gruppen und die Zuteilung der Arznei bzw. des Placebos erfolgte auch durch einen nicht beteiligten Arzt. Was, wenn diese beiden Personen tatsächlich identisch waren? Namen werden in der Studie nicht genannt, somit ist es durchaus möglich, dass ein ansonsten unbeteiligter Arzt in Kenntnis der Gruppenzuordnung die Zeitpunkte der Extubation bestimmte und damit bewusst oder unbewusst einen Einfluss ausgeübt hat

MF: Da kann ich Sie beruhigen: der/die zuordnende Arzt/Ärztin waren nicht identisch. Manche KollegInnen verzichten auf Namensnennung, ganz einfach, weil sie nicht in einen Strudel der oft sehr heftig geführten Homöopathiediskussion gezogen werden wollen. Würde man Ihren Gedanken aufnehmen, so befände man sich unweigerlich auf dem Terrain der Quantenphysik und dem Thema Verschränkung zwischen Patient, Arzt und Medikament. Wollten Sie dorthin?

(…)

Die Art der Datenauswertung führt jedoch dazu, dass es keinen direkten Zusammenhang zwischen dem tatsächlichen Ausmaß der Sekretbildung, zu messen als Menge pro Zeit, und der daraus bestimmten Bewertungszahl gibt. Letztendlich werden noch nicht einmal die Hälfte der vorliegenden Messwerte nach nicht näher beschriebenen Kriterien für die Ermittlung des Ergebnisses ausgewählt.

MF: Ein direkter Zusammenhang ist oft sehr schwierig: denken Sie an Nikotin und Krebs, Alkohol und Leberzirrhose: man kann aber aus den Studien sagen, dass unter denen, die Krebs respektive eine Leberzirrhose erleiden, ein statistisch signifikant hoher Anteil an RaucherInnen respektive AlkoholikerInnen zu finden ist. Oder wurden diese Studien etwa beeinflusst, siehe Schott-Studie (http://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/Einfluesse-Arzneimittelstudie-Teil-1_Deutsches-Aerzteblatt_2010-1.pdf)

Die Sekretbildung beeinflusste den Zeitpunkt der Entfernung des Atemschlauchs wenn überhaupt, dann nur sehr indirekt. Es ist nicht ersichtlich, ob die unterschiedlichen Ergebnisse beider Gruppen überhaupt mit den in dieser Studie betrachteten Sachverhalten in Verbindung stehen

MF: Ich würde mit der Behauptung, „dass die Sekretbildung den Zeitpunkt der Entfernung des Atemschlauchs wenn überhaupt beeinflusste, dann nur sehr indirekt“ vorsichtig sein: Eine Nichtbeachtung könnte direkt zum Staatsanwalt führen. – Und wo ist der Beweis für diese Behauptung?

NA: Siehe oben: …. notwendig aber nicht hinreichend …

Die Verweildauer auf der Intensivstation ist nur eine direkte Folge der Zeitdauer zur Extubation und bringt von daher keine neuen Erkenntnisse.

MF: Welche Erkenntnisse wurden denn erwartet? Außer der oben erwähnten Kostenersparnis?

NA: Weiß ich nicht, ich habe die Untersuchung ja nicht gemacht.

Quintessenz: Diese Studie ist als Nachweis für die Wirkung des homöopathischen Medikaments nicht valide, die anderslautenden Schlussfolgerungen der Autoren sind nicht gerechtfertigt.

MF: Um Ergebnisse einer Studie statistisch beurteilen zu können, bedarf es einer genauen Kenntnis der angewandten Biometrie. Mangelt es hier an diesen entscheidenden Kriterien, wirken Aussagen eher blamabel. Es kann als Fazit festgestellt werden, dass die Studie valide ist.

Freuen wir uns mit den PatientInnen!

NA: Letzterem kann man uneingeschränkt zustimmen: Ein positiver Ausgang ist für die betroffenen Patienten sicher ein Grund zur Freude und man kann sie dazu beglückwünschen.

Inwiefern diese Studie tatsächlich als valide angesehen werden kann, wird sicher auch auf unserer Diskussion im Frühjahr 2016 zur Sprache kommen.

Ich danke Hern Prof. Frass für die Stellungnahme zu meiner Studienkritik.

Dieser Beitrag wurde unter Blog, Klinische Einzelstudien, Wirksamkeitsstudien veröffentlicht. Setze ein Lesezeichen auf den Permalink.

10 Antworten auf Prof. Frass kommentiert meine Studienkritik

  1. Pingback: Neuer Blog: „Homöotology – sanfte Infos zum Sektenausstieg“ @ gwup | die skeptiker

  2. borstel sagt:

    (- Milde und gesättigt nach einer reichlichen Portion Festtagsbraten – )

    Zum Stil: Es fällt schon auf, daß Prof. Frass ziemlich persönlich einsteigt, ich finde, aggressiver, als es der Ton der Beiträge hier ist (die Kommentare nehme ich davon ausdrücklich aus, aber die unterliegen ja nur bedingt Herrn Austs Kontrolle). Aber das nur nebenbei.

    Zur Frage der Stadieneinteilung der COPD: Die ist nicht linear (also nicht stetig), sondern ordinal (wie Schulnoten). Insofern darf schon die Frage erlaubt sein, ob hier die Bildung eines „Durchschnittswertes“ überhaupt einen Sinn hat. Sicherlich ist es zum Vergleich der Gruppen schön anzuschauen, aber z.B. in der Onkologie ist ein solches Verfahren unüblich (es wird ja nicht aus dem Tumorstadium 1 und 2 ein Durchschnitt von 1,5 errechnet), sondern es wird die Verteilung der einzelnen Stadien gegeneinander verglichen (ggfs. werden auch Stadien zusammengefaßt und verglichen, z.B. Tumorstadium I und II sowie III und IV der jeweiligen Kontroll- und Interventionsgruppe).

    Die Notwendigkeit von Absaugungen als Kriterium für eine Extubation (oder Beibehaltung der invasiven Beatmung) halte ich für sehr wichtig (in Übereinstimmung mit Prof. Frass). Trotzdem stellt sich die Frage, ob man im Studiendesign von vornherein die Dauer der invasiven Beatmung als alleinigen Endpunkt hätte wählen sollen. Die Sekretion ist zwar ebenfalls gut meßbar, aber nun einmal nur ein Surrogatparameter (und daß ein Surrogatparameter zwar schön ausschaut, dieses aber trotzdem auf harte Endpunkte nicht unbedingt eine Auswirkung haben muß, ist ja nichts neues).

    Prof. Frass‘ „Genesungsargument“ („die Genesung war bei den beiden Gruppen, die sich auch nicht hinsichtlich der Krankheitsursache unterschieden, gleich weit fortgeschritten“) finde ich eigenartig: Wie hat er das denn festgestellt? Warum wird das in seinem Paper nicht erwähnt, geschweige denn weiter ausgeführt? Ich halte besonders aus diesem Grunde die Arbeit für methodisch unsauber, denn es wäre doch ein leichtes gewesen, mit der homöopathischen Behandlung zum gleichen Zeitpunkt nach Intubation zu beginnen.

    Noch etwas seltsames: Nach den GOLD-Kriterien zur Einteilung der COPD geht es um bestimmte Lungenfunktionswerte, d.h., die Frage nach einer Langzeitsauerstoffbehandlung spielt hier keine Rolle. Es ist aber schon ungewöhnlich, daß bei einem Kollektiv mit insgesamt milder COPD (kein einziger Patient im höchsten Stadium IV) es soviele langzeitbehandelte Patienten gibt. Aber wenn es halt so war…

  3. Norbert Aust Norbert Aust sagt:

    Danke, borstel, für die Erläuterungen.

    Ich melde mich erst heute dazu, da gestern ein guter Tropfen nach dem Essen meine Fähigkeiten zur inhaltlichen Auseinandersetzung und zur korrekten Ausdrucksweise etwas beeinflusst haben könnte …

    Zur Stadieneinteilung:
    Die Verteilung der Stadien ist in der Arbeit ebenfalls angegeben, nicht nur der Durchschnittswert – dieser aber wird als plakative Größe in der Zusammenfassung aufgeführt. Theoretisch wäre das durchaus sinnvoll, wenn Stadium 1 genauso viel ‚leichter‘ ist als Stadium 2 wie Stadium 3 ’schwerer‘ ist. Dann wäre der Durchschnitt 2+2+2 gleichwertig zu 1+2+3. Etwa bei der von Frass angewandten Gradeinteilung der abgesaugten Menge geht das durchaus.

    Frass verwendet übrigens nicht die GOLD-Kriterien zur Stadieneinteilung sondern eine nicht näher mittels Kriterien definierte dreistufige Einteilung von ‚leicht‘, ‚mittel‘ und ’schwer‘. Grad 3 ist somit die höchste Stufe.

    Extubationskriterien:
    Natürlich ist eine hinreichend niedrige Sekretabsonderung erforderlich, um eine Extubation vornehmen zu können. Liege ich aber darin falsch, dass die genannten Kriterien als weitergehende Anforderungen anzusehen sind, die ebenfalls erfüllt werden müssen? Darin ist z.B. auch ein Mindestwert für den Sauerstoff-Partialdruck aufgeführt. Haben Patienten, die schon vor dem aktuellen Fall auf Langzeit-Sauerstoff-Therapie angewiesen waren, da nicht erheblich stärkere Probleme, diesen zu erreichen als andere?

    Noch einen schönen zweiten Weihnachtstag.

  4. borstel sagt:

    Ah sieh an, da habe ich wegen der GOLD-Kriterien etwas in das Paper hineingelesen – vielleicht meint Prof. Frass die BODE-Skala (findet sich in der S3-Leitlinie zur COPD, die auch im Wikipediaartikel verlinkt ist)? Aber auch hierbei findet sich die Einteilung in vier Quartilen. Wir werden es wohl nicht erfahren. Außerdem ist mir noch etwas aufgefallen: Der Partialdruck für Kohlendioxid (PaCO2), der für die Patienten angeben wird, liegt mit etwa 60 mmHg deutlich über der Grenze von 45 mmHg. Damit besteht bei allen Patienten der Studie eine respiratorische Insuffizienz (kurz gesagt, kann das Kohlendioxid aus dem Blut nicht mehr richtig abgeatmet werden). Eigentlich deutet auch das nicht auf eine leichte Form der COPD hin, aber es paßt zur Indikation für eine Langzeitsauerstofftherapie. Wie auch immer.

    Interessant wäre auch gewesen, inwieweit sich die (schulmed.) Medikation der Patienten unterschied. Wir erfahren nur, daß in beiden Gruppen keine Mucolytika (Medikamente zur Schleimverflüssigung) und keine Beta-Sympathomimetika (erweitern die Bronchien und erleichtern die Atmung, Standardmedikament bei COPD) eingesetzt wurden. Wie ist es mit z.B. Antibiotika, entzündungshemmenden Glucocorticoiden? Gab es dort Unterschiede im Verbrauch?

    Ich bin leider kein Intensivmediziner oder Facharzt für Pneumologie (Lungenkrankheiten), insofern habe ich mit der Entwöhnung der Patienten von einer invasiven Beatmung keine Erfahrungen. Aber ich weiß, daß die Entwöhnung grundsätzlich schwierig ist. Und je fortgeschrittener eine COPD ist, desto schwieriger dürfte sie sein.
    Auf jeden Fall ist die Sekretproduktion nur eines der für die Extubation zu erfüllenden Kriterien. Frass et al. schreiben unter „Patients“ jedoch explizit, daß die Sekretionen eine Extubation der Patienten 36 – 48 Stunden vor Gabe der Globuli verunmöglichten. Als Grund für die Re-Intubation von vier Patienten der Placebogruppe wird angegeben, daß durch erneute Sekretproduktion der Sauerstoffpartialdruck des Blutes (PaO2) stark sank.
    Eine kurze Überlegung hierzu: Wenn im klinischen Verlauf festgestellt wird, daß die Patienten gute Atemwerte haben, wenn sie frisch abgesaugt sind, sich diese wieder im Verlauf verschlechtern, und nach dem Absaugen von Sekret wieder bessern, dann kann man sicherlich von einem Zusammenhang ausgehen.
    Trotzdem bin ich mir nicht sicher, ob die monokausale Sicht von Prof. Frass (Sekretionen alleine verhindern die dauerhafte Extubation) wirklich zutreffend ist.

  5. borstel sagt:

    Noch eine Ergänzung zum Jahresausklang:
    Auf die Arbeit gibt es einen „Letter to the Editor“ und hierauf eine Antwort: http://journal.publications.chestnet.org/article.aspx?articleid=1084938 (Volltexte).

    Hier wird auf die Unwirksamkeit der Homöopathie aufgrund der bekannten physikalischen Unmöglichkeiten rekurriert. Die Antwort auf diesen Einwand erscheint mir doch ziemlich läppisch. Auch wenn uns das in unseren Fragen nicht weiterbringt, ist es doch immer gut zu schauen, ob sich andere Autoren mit den Artikeln befasst, Einwände erhoben oder die Arbeiten zitiert haben.

  6. Schade, dass sich die Diskutanten hier (offenbar aber nicht im persönlichen Gespräch), in persönliche Abqualifizierungen versteigen:
    „Datengeschwurbel“ / „krause Idee“
    Versachlichung tut not.

    Zur Antwort von Prof. Frass et. all. auf Treating Critically Ill Patients With Sugar Pills Response von David Colquhoun:
    Dem Totschlagsargument, dass in einer Wasserkugel mit dem Durchmesser 1.46 × 10˄8 km keine Medizin mehr enthalten sei, stimmt Prof. Frass zu.
    Schränkt jedoch spitzfindig ein, es sich in der Studie ja ein Wasser-Alkohol Gemisch. Und freiwillig sei das Einnehmen des „Potenzierten“ Stoffs außerdem.
    Mit dem ultrafast memory loss des Wassers (wahrscheinlich unter Alkoholeinfluss „signifikant“ verlängert!) ist er zufrieden.
    Anschließend fügt er eine Spendenadresse an.
    Das Jahr fängt lustig an.

  7. WolfgangM sagt:

    Das obige paper von Frass wurde ja auch anderswo diskutiert.

    Unter anderem hier:

    http://scienceblogs.com/insolence/2007/07/02/homeopathy-in-thecringeicu-1/

    Besonders wichtig zur ungleichen Verteilung beider Gruppen scheint Kommentar #4 zu sein:

    qetzal
    July 2, 2007

    For one thing, the stage of COPD in the control group was higher than that of the treatment group (1.20 ± 0.5 versus 1.08 ± 0.4, p=0.178). This seems very odd, because both groups are listed as having mild COPD by this criteria, given that the COPD stages run from 0 to 3, with 0 being normal lung function and 1 being the least severe.

    Interestingly, these numbers, along with the group size, allow us to deduce the actual distribution of COPD stage in each group. (I assume COPD stage is always a whole number, right?)

    For the treatment group, the only way to get 1.08 +/- 0.4 is if 24 patients had stage 1, and one had stage 3.

    For the control group, the only way to get 1.2 +/- 0.5 is if 21 patients were stage 1, three were stage 2, and one was stage 3.

    In other words, the placebo group included 4 patients with moderate or severe COPD. The homeopathy group included only one.

    The bottom line is that, contrary to Dana Ullman’s representation of this study as slam-dunk evidence of the efficacy of homeopathy, it’s nothing more than a very questionable study in which it is unclear whether the treatment and control groups were truly comparable.

    I think we can safely conclude they were not comparable.

  8. WolfgangM sagt:

    Eine andere Arbeit, wo Frass Koauthor ist wirft weitere Fragen auf:

    http://www.hindawi.com/journals/tswj/2008/325359/abs/

    Hier wurden Kaulquappen der Natur entnommen und Experimente durchgeführt.
    Einerseits ist es vom tierexperimentellen Standpunkt recht unsinnig Kaulquappen der Natur zu entnehmen, da hier die volle genetische Bandbreite vorliegt und daher die Standardabweichungen hoch sein müssen. Besser wäre es gut charakterisierte Kaulquappen von Froschmodellen – solche gibts zu Hauf- zu nehmen.

    Was aber in der ganzen Arbeit fehlt ist ein Hinweis- und das ist üblich- dass die Studie nach Tierschutzgesetz genehmigt ist, da steht kein Wort drinnen. Zusätzlich müssen Naturschutzgesetze beachtet werden- auch das wird nicht erwähnt.
    Es kann daher angenommen werden, dass die ganze Studie nicht nach gesetzlichen Voraussetzungen durchgeführt wurde und daher unethisch ist.

  9. Pingback: Homöopathische Aprilscherze oder meinen die das ernst? @ gwup | die skeptiker

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *