Wirksamkeit der Homöopathie mal wieder nachgewiesen …

Diesmal ist es die Dr. Peithner KG, die sich über eine neue Metaanalyse freut, ‚die wieder zeigt, was wir in der ärztlichen Praxis täglich erleben, nämlich dass homöopathische Arzneimittel wirken.‘ Dass die Ergebnisse dieser mit dem diesjährigen Peithner-Forschungspreis ausgezeichneten Diplomarbeit eigentlich genau das Gegenteil bedeuten, soll der folgende Artikel zeigen.

In Kürze

Die Dr. Peithner KG hat einen Forschungspreis für eine Diplomarbeit vergeben, in der unter der Betreuung der Professoren Frass und Kundi an der Meduni Wien eine Metaanalyse der Studien zur Homöopathie durchgeführt wurde, die zwischen 2008 und 2012 veröffentlicht wurden.

Entgegen der Darstellung in der zugehörigen Pressemitteilung überzeugt die Arbeit nicht, denn die vorliegende Literatur wurde offenbar doch unvollständig aufgearbeitet. Die Bewertung der Studienqualität ist zumindest fragwürdig, denn in den vier Studien, die auch von Mathie et al. in einem früheren Review betrachtet wurden, widersprechen sich die Beurteilungen komplett.

Hier gilt die Kritik aber eher denjenigen, die diese sehr umfangreiche Aufgabe als Diplomarbeit vergeben haben, als der Studentin, die in einem festen und engen Zeitrahmen die Arbeit irgendwie zu Ende bringen musste, um überhaupt ihr Studium abschließen zu können.

Als Ergebnis der Metaanalyse ergibt sich ein ‚Trend zugunsten der Homöopathie‘ – was einen Misserfolg der Metaanalyse bedeutet, denn es ist nicht gelungen, für die Homöopathie einen statistisch signifikanten positiven Effekt über Placebo hinaus aufzuzeigen. Die in einer Untergruppe tatsächlich vorgefundenen gelungenen Nachweise, dass die Homöopathie gleichwertig zu wirksamen Medikamenten sei, beruhen ausschließlich auf falsch ausgewerteten Studien oder einem verzerrenden Studiendesign.

Diese Arbeit bestätigt eher die Aussagen der Homöopathiekritiker als sie zu widerlegen: Es gibt keine belastbare Evidenz zugunsten der medikamentösen Wirkung homöopathischer Präparate und ein in einzelnen Studien auftretender Effekt verschwindet mit zunehmender Studiengröße.

Es bleibt abzuwarten, wie die Betreuer die Ergebnisse dieser Arbeit mit denen aus den offenbar bereits vorliegenden anderen Diplomarbeiten zu einem Ganzen verschmelzen werden, um so den ultimativen Beweis für die Wirksamkeit der Homöopathie zu erbringen.

In Länge

Hintergrund

Derzeit gibt es bei den Homöopathen offenbar einige Bestrebungen, die angebliche Wirksamkeit der Homöopathie als medikamentöse Therapieform wissenschaftlich zu untermauern. Neben einer Forschergruppe um R. Mathie von der British Homeopathic Association ist man anscheinend auch bei der Medizinischen Universität Wien in gleicher Sache tätig. Kein Geringerer als Professor Frass will hier mit seinem Kollegen Professor Kundi offensichtlich die seit 1980 veröffentlichten klinischen Studien in einem Review zusammenfassen und hat zu diesem Zweck mehrere Diplomarbeiten vergeben. Darin werden die ab 1980 veröffentlichten Studien in mehreren systematischen Reviews betrachtet und in Metaanalysen ausgewertet. Alles zusammen soll dann, so ist zu vermuten, der über alle Zweifel erhabene lang ersehnte Nachweis werden.

Eine dieser Diplomarbeiten wurde im April 2015 von der Dr. Peithner KG mit einem Forschungspreis prämiert, nämlich die von M. Rumpl im Juni 2014 eingereichte Arbeit, in der die Studien aus dem Zeitraum zwischen 2008 und 2012 betrachtet werden [1]. Natürlich wird in einer Pressemitteilung werbewirksam darüber berichtet und die Arbeit ausführlich bejubelt [2, 3]. Es handle sich um

„eine hervorragende Arbeit, die – im Gegensatz zur kürzlich zum wiederholten Male publizierten Australischen Studie – alle Kriterien wissenschaftlichen Arbeitens erfüllt. So wurde u.a. eine vollständige Bestandsaufnahme, Analyse und Bewertung aller randomisiert kontrollierten Studien durchgeführt, die im fraglichen Zeitraum erstellt wurden, wie dies bei systematischen Arbeiten eigentlich üblich ist.“

„Insgesamt erfüllten 29 Studien die Einschlusskriterien und konnten in die quantitative Analyse einbezogen werden. Ihre interne Validität war durchwegs hoch, 26 der Studien konnten sogar als hochqualitativ bewertet werden. ‚Der Vergleich der eingeschlossenen Studien zeigt einen deutlichen Trend zugunsten der homöopathischen Behandlung, einige zeigten sogar einen signifikanten Therapievorteil zugunsten der Homöopathie.'“

„Die Studie zeigt weiters deutlich, dass es sehr wohl hochqualitative Homöopathie-Studien gibt und es an der Zeit ist, die Hexenjagd zu beenden, mit der eine wirksame medizinische Therapie diskreditiert werden soll. „

Das macht neugierig.

Der kundige Leser stutzt allerdings schon darüber, dass nur ein ‚deutlicher Trend‘ zugunsten der homöopathischen Behandlung als Ergebnis zu verzeichnen ist. Also offensichtlich kein statistisch signifikantes Ergebnis, was eigentlich der Sinn und Zweck einer Metaanalyse ist. Das heißt, selbst wenn man diese 29 Studien zusammenfasst, die die Forschungsergebnisse des betrachteten Zeitraumes in seiner Gesamtheit darstellen sollen, ergibt sich nur ein Ergebnis, das nicht von einem Zufallsergebnis zu unterscheiden ist.

Liebe Freunde aus Wien, bei der Peithner KG und alle Homöopathen, die dies lesen: Das ist ein klarer Misserfolg und kein Grund zum Jubeln! Selbst in der Gesamtsicht konnte nicht aufgezeigt werden, dass die Wirksamkeit der Homöopathie zweifelsfrei über Placebo hinausgeht. Das ist das, was wir Skeptiker auch immer sagen: Es gibt keine belastbare Evidenz für die über Placebo hinausgehende Wirksamkeit der Homöopathie!

Eine Metaanalyse als Diplomarbeit?

Anders als in Deutschland wird ein Studium der Medizin in Österreich nicht mit einem Staatsexamen abgeschlossen, sondern, wie andere Studiengänge auch, durch eine Diplomprüfung. Diese beinhaltet auch die Anfertigung einer Diplomarbeit, mit der der Absolvent seine Fähigkeit nachweisen soll, ‚wissenschaftliche Themen selbständig und methodisch vertretbar zu bearbeiten‘ (Link). Innerhalb von 20 Arbeitstagen ist zunächst eine Planung des Projekts zu erarbeiten und in einem Vortrag darzustellen. Für die Bearbeitung bis zur Abgabe der fertigen Diplomarbeit steht dann ein Zeitraum von sechs Monaten zur Verfügung.

Zum Vergleich: Die letzte Metaanalyse von Mathie et al. wurde durch ein Team von sechs gestandenen Wissenschaftlern durchgeführt [8], von denen zumindest einige im Anfertigen von Metaanalysen erfahren sind. Im Oktober 2012 wurde das Ergebnis der Literaturrecherche zu dieser Analyse veröffentlicht [6], das Studienprotokoll folgte im Januar 2013 [7] und der Bericht über Review und Metaanalyse selbst wurde im Juni 2014 erstmals zur Veröffentlichung eingereicht, erst im November 2014 wurde das Manuskript dann akzeptiert [8]. Wir können also von einer Bearbeitungszeit in der Größenordnung von zwei, vielleicht drei Jahren ausgehen, die ein hochkarätiges Team aus erfahrenen Fachspezialisten benötigte, um die Studien zu sichten, zu analysieren, zu bewerten und statistisch auszuwerten. Hier fertigt eine Studentin unter beträchtlichem Zeitdruck ihre erste selbstständige wissenschaftliche Arbeit an und muss dabei thematisch den gleichen Umfang abdecken. Wenn sie nicht innerhalb von sechs Monaten fertig wird, wird sie nicht zum zweiten Teil der dritten Diplomprüfung zugelassen. Auch wenn es mir nicht gelungen ist, herauszubekommen, was die Folgen einer solchen Fehlleistung wären – sie dürften auf jeden Fall erhebliche Auswirkungen auf den weiteren Berufsweg des Absolventen haben.

Schlussfolgerung: Die im folgenden dargelegte Kritik an der Diplomarbeit richtet sich nicht gegen die Autorin, die ein ganz beträchtliches Arbeitspensum abzuarbeiten hatte: Literaturrecherche, dann lesen, analysieren und bewerten von über 100 Studien, fast alle auf Englisch, Einarbeitung in die Methodik einer Metaanalyse, Datenaufbereitung zur statistischen Analyse, Interpretation des Ergebnisses, um nur die wesentlichen Punkte zu nennen. Dass da einige Punkte nicht mit der erforderlichen Tiefe und Sorgfalt bearbeitet wurden, dass keine Zeit blieb, einmal einen kritischen Abstand zur eigenen Arbeit zu gewinnen und die Ergebnisse selbstkritisch zu überprüfen, dürfte verständlich sein. Ich gehe daher davon aus, dass die Studentin gar nicht die Möglichkeit hatte, eine qualitativ hochwertige Arbeit abzuliefern.

Meine Kritik an der Arbeit richtet sich an die Betreuer, allen voran an Professor Frass, der sich gerne als erfahrener Wissenschaftler und Forscher auf dem Gebiet der Medizin geriert.

Wie kann man erwarten, dass die erste selbstständige wissenschaftliche Arbeit einer darin unerfahrenen Studentin eine belastbare Evidenz der höchsten Güteklasse ergibt? Wie ignorant muss man denn gegenüber den Anforderungen sein, die dabei zu erfüllen sind? Zur Illustration: Alleine das von der Cochrane Collaboration herausgegebene Handbuch für systematische Reviews, das den Standard darstellt, umfasst 673 Druckseiten – auf Englisch, versteht sich [9]. Ist den Betreuern nicht bekannt, welchen Aufwand eine sorgfältige Arbeit bedeutet und wie viel man davon in sechs Monaten leisten kann? Nicht den Anfänger trifft die Schuld, wenn aus der Arbeit kein Meisterwerk internationalen Rangs hervorgeht, sondern denjenigen, der ihn damit betraut hat und es hätte besser wissen müssen.

Diese Diplomarbeit ist noch nicht die in einem Fachjournal zu veröffentlichende Metaanalyse des gesamten Vorrats an vorliegenden Studien seit 1980. Aber wenn Frass et al. die Arbeit nicht selbst nochmals machen wollen – und danach sieht es ja durchaus aus – dann ist diese Arbeit ein Baustein. Man darf gespannt sein, wie die Schwächen ausgeglichen werden – und ob das überhaupt erfolgt.

Ich warte jedenfalls mit einigem Interesse auf die Veröffentlichung dieser Arbeit.

Metaanalyse als Methode

Eine Metaanalyse ist die zusammenfassende Betrachtung und Auswertung von mehreren Studien, um eine Forschungsfrage bestmöglich anhand der vorliegenden Evidenz zu beantworten. Durch die Zusammenfassung einer Mehrzahl von Einzelstudien erhöht sich die Basis in Gestalt der Anzahl der Studienteilnehmer. Verschiedene Vorgehensweisen bei den einzelnen Studien zeigen auf, wie robust der gemessene Effekt gegen kleinere Veränderungen ist. Effekte, die in kleineren Studien nicht erkennbar waren, können sich von einer übergeordneten Warte aus betrachtet deutlich zeigen. Die Metaanalyse ist das Instrument, um zu bewerten, ob sich die vorliegenden Studien bestätigen oder widersprechen und um in letzterem Fall zu einer Entscheidung zu kommen, was wohl dem wahren Sachverhalt am Nächsten kommt.

Will man eine Forschungsfrage mit Hilfe einer Metaanalyse beantworten, dann ist es erforderlich, zunächst in einer Literaturrecherche alle Studien zu ermitteln, die diese Frage zum Inhalt haben könnten. Danach sind die aufgefundenen Arbeiten zu prüfen, ob sie tatsächlich einen Beitrag liefern können, indem man sie hinsichtlich vorab festgelegter Einschluss- und Ausschlusskriterien analysiert. Die verbleibenden Studien müssen dahingehend bewertet werden, ob die Ergebnisse möglicherweise durch Unzulänglichkeiten im Design, der Durchführung und der Auswertung verfälscht worden sein könnten. Die für die statistische Auswertung relevanten Daten müssen extrahiert und aufbereitet werden. Nach dieser Auswertung sind die Ergebnisse zu analysieren und zu diskutieren, inwieweit sie eine Beantwortung der eingangs gestellten Forschungsfrage tatsächlich ermöglichen – ja, und es muss festgestellt werden, wie die Antwort letztendlich lautet.

Die Einzelheiten der Methodik hat H. Walach auf seinem Blog sehr umfassend und verständlich dargestellt, weswegen ich hier auf eine ausführlichere Darstellung verzichten möchte. Der interessierte Leser sei auf diese Quelle verwiesen (Link). Lediglich zum Thema des Quotenverhältnisses (‚Odds ratio‘) bin ich anderer Ansicht als Walach, eine Betrachtung hierzu findet sich in diesem Blogbeitrag zur Metaanalyse von Mathie et al. (Link).

Punkt 1: Forschungsfrage

Ja, welche Frage sollte denn nun beantwortet werden? Das muss man sich als Leser der Arbeit von Rumpl selbst zusammenreimen. Aus den Einschlusskriterien und Angaben aus der Zusammenfassung ist zu schließen, dass es darum geht, die medikamentöse Wirkung homöopathisch potenzierter Arzneimittel im Vergleich zu Placebo oder zu wirksamen Medikamenten zu bewerten, so wie sie sich aus den Forschungsarbeiten im betrachteten Zeitraum zwischen 2008 und 2012 ergibt.

Interessant am Fehlen dieser Angabe ist, dass dies ein Mangel ist, den Frass an dem Review von Shang et al. scharf kritisiert [4, 5].

Gleich am Anfang sei auch noch angeführt, dass Frass et al. die Shang-Studie dahingehend kritisiert haben, dass die Verfasser offenbar gegen die Homöopathie voreingenommen gewesen seien und dies in der Arbeit erkennbar sei. Nun, hier haben wir eine Autorin, die angibt, langjähriges Mitglied der ‚StudentInnen-Initiative Homöopathie‘ der Medizinischen Universität Wien gewesen zu sein, zwei Jahre lang sogar als Vorsitzende. Ob das so wirklich eine unvoreingenommene Betrachtung erwarten lässt?

Punkt 2: Vollständigkeit der betrachteten Studien

In der Arbeit sollten alle Studien betrachtet werden, die im Zeitraum 2008 bis 2012 veröffentlicht wurden, und folgende Kriterien erfüllten:

• es handelt sich um ein potenziertes homöopathisches Arzneimittel
• es gibt mindestens zwei Studiengruppen mit mindestens einer Kontrollgruppe
• randomisierte Gruppeneinteilung
• Vorhandensein der zur Auswertung erforderlichen Daten

Solche Studien hat die Autorin in einer umfassenden Suche in den einschlägigen medizinischen Datenbanken gesucht und dabei 107 Arbeiten gefunden, die auf Ein- und (hier nicht wiedergegebene) Ausschlusskriterien untersucht wurden. Die Ergebnisse dieser Betrachtung machen einen großen Teil des Umfanges der schriftlichen Ausarbeitung aus, denn es werden nicht nur die letztendlich in die Metaanalyse eingeschlossenen Studien in einem Auswertungsschema präsentiert. Auch für die nicht eingeschlossenen Studien werden die Charakteristika in einer tabellarischen Übersicht dargestellt und die Gründe genannt, warum sie nicht in der statistischen Analyse berücksichtigt wurden. Dies war sicher eine sehr umfangreiche und zeitintensive Fleißarbeit.

Aber: Ist der Überblick vollständig, sind alle vorliegenden Studien berücksichtigt worden?

Die Carstens-Stiftung unterhält eine Datenbank für klinische Studien zur Homöopathie, die über ihre Webseite kostenlos nach einer Registrierung zur Verfügung steht (Link). Dort findet man bei der Suche im fraglichen Zeitraum mit den Schlagwörtern ‚randomisiert‘ für die Gruppeneinteilung und ‚parallel‘ für das Studiendesign 67 Treffer für Kontrolle mittels Placebo und weitere 17 für ’standard‘, also die übliche Behandlung mit einem wirksamen Arzneimittel der evidenzbasierten Medizin.

Nach den Zahlen sieht das zunächst gut aus, schließlich hat die Autorin mehr Studien gefunden als diese 84 Stück – allerdings sind nicht alle in der Datenbank genannte Studien auch in die Betrachtung eingeflossen: Insgesamt 18 Studien fehlen! Selbst wenn man die Suche auf ‚Hauptstudien‘ (‚main publications‘) einschränkt, verbleiben immer noch 8 Studien, die in der Datenbank gelistet aber in der Diplomarbeit nicht erwähnt worden sind (s. Anhang).

Mithin: Die behauptete Vollständigkeit der Literaturanalyse ist nicht erreicht worden. Wie groß die Auswirkungen sind, kann naturgemäß nicht beurteilt werden – dennoch wirft dies ein bezeichnendes Licht auf die Qualität der Bearbeitung – und die Urteilskraft derjenigen, die die Arbeit beurteilt haben.

Punkt 3: Bewertung der Studien

Die Autorin hat sehr viel Aufwand darauf investiert, die betrachteten Studien aufzulisten, die charakteristischen Merkmale darzustellen und gegebenenfalls die Gründe für den Ausschluss aus der Betrachtung zu nennen. Allerdings ist dies auch in diesem Punkt nicht vollständig gelungen. Nach den Angaben im Flow-Diagramm [1, Kapitel 5.1.] wurden für den fraglichen Zeitraum 107 Publikationen gefunden, 78 wurden ausgeschlossen. Da 29 Studien in die Metaanalyse eingeflossen sind, sieht das zunächst vollständig aus – allerdings sind in der Tabelle nur Angaben über die Ausschlussgründe für 64 Arbeiten zu finden. Die Angaben für 14 Studien fehlen folglich. Auch ein Fehlen einer solchen Übersicht hatte Frass übrigens an der Shang-Analyse bemängelt [4, 5].

Ob die Bewertung hinsichtlich der Ein- und Ausschlusskriterien zutreffend erfolgt ist, würde eine umfangreiche Überprüfung erfordern: man müsste zumindest die Inhalte der verfügbaren Zusammenfassungen überprüfen – und das ist mir zu viel Aufwand.

Für die Bewertung der Qualität de Studien steht jedoch eine andere Quelle zur Verfügung. Die Metaanalyse von Mathie et al. [8] überschneidet sich etwas mit der hier betrachteten Arbeit. Es gibt insgesamt vier Studien, die sowohl bei Mathie als auch bei Rumpl hinsichtlich der Qualität bewertet wurden. Bei Mathie wird eine Bewertung des ‚Risk of Bias‘ durchgeführt, wie sie von der Cochrane Collaboration im Handbuch vorgeschlagen wird [9, Kapitel 8]. Rumpl hingegen verwendet den Jadad score, in dem die Randomisierung, die Verblindung und die Berichterstattung über Studienabbrecher bewertet wird. Die Bewertung der Cochrane Collaboration ist allerdings eine Weiterentwicklung des Jadad-Scores, indem nun die Risiken bewertet werden, ob die Ergebnisse durch unzureichende Randomisierung, Verblindung oder selektive Berichterstattung verfälscht worden sein könnten. Somit sollten sich prinzipiell ähnliche Bewertungsergebnisse zeigen. Es ergibt sich allerdings folgender Sachverhalt:

Der Gegensatz ist schon erstaunlich. Selbst Mathie, als Wissenschaftsberater der British Homeopathic Association sicher kein scharfer Kritiker der Homöopathie, stuft diese vier Studien in die niedrigste Kategorie ein, Rumpl hingegen in die höchste. Bei allen Vorbehalten zu den Unterschieden der Bewertungsverfahren, die zu einer gewissen Unschärfe in der Vergleichbarkeit führen könnten – diese genau gegenteiligen Bewertungen sind damit nicht erklärbar. Das deutet auf Fehler in der Durchführung der Bewertung hin. Wenn die Bewertung dieser vier Studien fehlerbehaftet ist, dann ist dies höchst wahrscheinlich nicht nur auf diese beschränkt.

Ein anderer Punkt: Die Arbeit von Sinha [15] wird bei Rumpl mit der vollen Punktzahl bewertet, was nach ihren Kriterien auch zwei Punkte für eine Verblindung beinhaltet: einen, wenn in der Arbeit eine doppelte Verblindung erwähnt wird, einen zweiten, wenn die beschriebene Methode hierfür angemessen ist. Bei der Arbeit von Sinha wurden beide Punkte vergeben, obwohl, wie eine Textsuche in der Arbeit ergab, die Zeichenfolge ‚blind‘ in der Arbeit nicht auftaucht, eine Verblindung (‚blinding‘) also gar nicht beschrieben wurde. Auch im Abstract wird keine Verblindung erwähnt.

Anmerkung:

Im Text dieser Studie wird an einer Stelle tatsächlich ausgesagt, dass die Eltern / Betreuer der Kinder und das Studienpersonal während der gesamten Studie über die Gruppenzuteilung im Unklaren waren, aber nicht, wie das erreicht wurde. Aber es wird ausführlich beschrieben, dass die Kinder in der Homöopathiegruppe völlig anders behandelt wurden als in der Kontrollgruppe – was mit einer wirksamen Verblindung nicht möglich wäre.

Auch ist das von Rumpl gezogene Limit von drei Punkten, damit die Studie als ‚hochwertig‘ bezeichnet wird, eindeutig zu niedrig. Diese Punktzahl kann nämlich auch eine Studie beispielsweise ohne jegliche Verblindung erreichen, wie als Beispiel die Arbeit von Relton [13] zeigt. Dies reduziert den Wert des Ergebnisses als Evidenz drastisch [9], steht bei Rumpl aber der Eingruppierung als ‚hochqualitativ‘ nicht im Wege. Folge: Nicht alle bei Rumpl als ‚hochqualitativ‘ bewertete Stduein sind auch ‚belastbare Evidenz‘.

Erstaunlich bleibt auch, dass die Qualität einer Einzelstudie keinen Einfluss darauf hat, wie sie in die Metaanalyse einfließt. Und dass es sich gelegentlich nur um Pilotstudien handelt, stört offenbar auch nicht.

Quintessenz: Der Jubel über die hohe Validität der in die Betrachtung eingeflossenen Studien dürfte in hohem Umfang auf einer Fehlbewertung der Güte der Studien beruhen.

Punkt 4: Ergebnisse der Metaanalyse

Die aufgefundenen Studien werden vier verschiedenen homöopathischen Stilrichtungen zugeordnet, was aber nicht bis in die Auswertung verfolgt wird. Lediglich die ‚individualisierte Homöopathie‘, also die klassische homöopathische Therapie nach Hahnemann mit individuell verordneten Einzelmitteln, wird getrennt ausgewertet. Über die anderen Spielarten (Verordnung nach Indikation, Verordnung von Komplexmitteln und Isopathie) erfährt man nichts Näheres.

In der zusammenfassenden Auswertung wird zwischen Studien mit binären Endpunkten und Studien mit kontinuierlichen Endpunkten unterschieden. Ein ‚binärer Endpunkt‘ liegt vor, wenn in der betrachteten Einzelstudie für das Ergebnis der Therapie nur zwei Möglichkeiten vorhanden sind (‚geheilt‘ oder ’nicht geheilt‘). Demgegenüber handelt es sich um einen kontinuierlichen Endpunkt, wenn Zahlenwerte als Ergebnis gemessen wurden, die viele verschiedene Werte annehmen können, z. B. die Krankheitsdauer. Beide Kategorien erfordern verschiedene Auswerteverfahren, daher ist eine Trennung durchaus sinnvoll. In jeder der beiden Kategorien wurden jeweils noch Untergruppen gebildet und getrennt ausgewertet, und zwar jeweils die Studien, in denen die Kontrollgruppe mit Placebo behandelt wurde beziehungsweise ein aktives Medikament zum Vergleich angesetzt wurde.

In manchen der Einzelstudien wird über mehrere Ergebnisse berichtet, die manchmal sogar in beide Kategorien fallen. Daher ergibt die Addition der Anzahl der Einzelergebnisse eine höhere Anzahl als die 29 betrachteten Studien.

Alle Ergebnisse werden ohne irgendwelche begleitende Informationen dargestellt, etwa wie viel oder welche Krankheitsbilder untersucht wurden, die Gesamtzahl der Patienten in einer Untergruppe etc. Auch eine Bewertung oder Kommentierung der gefundenen Zahlenwerte fehlt fast vollständig.

– Studien mit binären Endpunkten

Insgesamt wurden 11 Studien ausgewertet, die zusammen 13 Resultate berichteten. Die Gesamtzahl der Patienten betrug 1280. Die grafische Darstellung in der Arbeit zeigt, dass darin nur vier signifikant positive Ergebnisse auftraten. In der zusammenfassenden statistischen Auswertung ergab sich zwar ein leichter Vorteil zugunsten der Homöopathie, der allerdings keine statistische Signifikanz erreichte. Mehr braucht man zu dem Ergebnis nicht zu sagen. Wenn eine Metaanalyse kein signifikantes Ergebnis erzielt, dann ist der Nachweis einer Wirksamkeit gescheitert. Das Ergebnis kann durch zufällige Streuung der Einzelergebnisse entstanden sein.

Mehr ist hier nicht zu sagen.

– Studien mit kontinuierlichen Endpunkten

In diese Kategorie fielen 24 Studien, in denen über 25 Ergebnisse berichtet wurde und insgesamt 2027 Patienten beteiligt waren. Auch hier ist die Situation ähnlich wie oben: insgesamt liegen in nur acht Fällen signifikante Ergebnisse vor, in der zusammenfassenden statistischen Auswertung ergab sich jedoch ein statistisch signifikantes Ergebnis – allerdings nur auf den ersten Blick.

Die dargestellte Analyse der Untergruppen zu dieser Kategorie zeigt, dass das positive Ergebnis nur auf die Studien zurückzuführen ist, in denen die Vergleichsgruppe mit aktiven Medikamenten behandelt wurde. Die Untergruppe der Studien, die mit Placebo verglichen wurden, immerhin mit 19 Einzelergebnissen bei 1874 beteiligten Patienten die weitaus überwiegende Anzahl, erreicht dies nicht. Auch hier kann keine Wirkung zweifelsfrei nachgewiesen werden, die über ein Placebo hinausgeht. Auch hier braucht man nichts mehr weiter zu sagen. Auch hier ist die Metaanalyse ein Misserfolg.

Lediglich bei den Studien mit kontinuierlichen Endpunkten, bei denen die Kontrollgruppen aktive Medikamente erhielten, ergibt sich ein klarer Vorteil zugunsten der Homöopathie, der dafür gesorgt hat, dass in der Zusammenfassung noch ein positives statistisch signifikantes Ergebnis übriggeblieben ist.

Nun sind aber Studien, in denen wirksame Medikamente zum Vergleich herangezogen werden, etwas trickreich [10]. Normalerweise ist das Ziel eines solchen Nachweises, dass das getestete Mittel genauso oder zumindest nicht schlechter wirkt als das bekannt wirksame Medikament (‚equivalence trials‘, ’non-inferiority trials‘), während in einer placebokontrollierten Studie die Überlegenheit der getesteten Substanz gezeigt werden soll (’superiority trial‘).

Will man in einer Studie die Überlegenheit der getesteten Substanz zeigen, dann kann aus einem aufgetretenen Unterschied der beiden Gruppen nicht nur geschlossen werden, dass die Therapie tatsächlich einen Unterschied herbeigeführt hat, sondern auch, dass das Studiendesign, die gewählten Endpunkte, die Mess- und Auswerteverfahren etc. auch tatsächlich für den Nachweis geeignet waren. Die Gruppen haben ja offenbar messbar auf die Behandlungsunterschiede reagiert.

Ergibt sich in einer Non-inferiority Studie hingegen kein Unterschied zum wirksamen Medikament, dann kann man dem Ergebnis nicht entnehmen, ob die beiden Therapien tatsächlich gleichwertig waren – oder ob das Vorgehen der Studie ungeeignet war, einen Unterschied herbeizuführen, etwa indem ungeeignete Endpunkte zur Beurteilung herangezogen wurden. Selbst wenn sich in beiden Gruppen das gleiche Ergebnis zeigt, kann das immer noch bedeuten, dass beide Therapien gleichermaßen unwirksam waren und man nur die Placeboeffekte gemessen hat. Dies kann auch bei einem prinzipiell wirksamen Vergleichsmedikament durchaus der Fall sein, wenn es falsch angewendet wurde (Dosierung, Wartezeit, Wirkungsdauer) oder für die untersuchte Indikation nicht geeignet war.

Eine Verblindung des Studienteams wirkt bei dem Nachweis der Überlegenheit hervorragend, um eine Beeinflussung auszuschließen, bei einem Gleichheitstest allerdings überhaupt nicht: Um alle Patienten gleich zu bewerten, braucht man nicht zu wissen, zu welcher Gruppe sie im Einzelnen gehören.

Hinzu kommen noch einige weitere Schwierigkeiten, die hier aber den Rahmen sprengen würden. Insgesamt gelten Studien mit aktiven Kontrollmitteln als weniger zuverlässig als placebokontrollierte Studien, wenn damit die Gleichwertigkeit zu einer bestehenden Therapie nachgewiesen werden soll – was hier durchweg der Fall war. Allerdings kann man nur auf ein solches Studiendesign zurückgreifen, wenn eine Behandlung der Kontrollgruppe mittels Placebo – also eigentlich die Nicht-Behandlung – ethisch nicht vertretbar ist.

In dem speziellen Fall der vorliegenden Arbeit haben die eingeschlossenen Studien allerdings noch einige andere Schwachstellen aufzuweisen, auf die mich Ulrich Berger, Professor an der Wirtschaftsuniversität Wien, hingewiesen hat [11]:

Von den insgesamt fünf Studien in dieser einzigen Untergruppe mit positivem Gesamtergebnis wurden die Daten der Studie von Karow [12] verkehrt herum eingetragen: anstatt eines Nachteils der homöopathischen Behandlung wurden die Zahlen als Vorteil gewertet, womit fälschlicherweise ein signifikant positives Studienergebnis in die Betrachtung eingeflossen ist.

Bei zwei Studien dieser Gruppe (Relton [13], Taylor [14]) erhielten jeweils beide Gruppen die gleiche Standard-Therapie, die Verumgruppe erhielt zusätzlich Homöopathika, die Kontrollgruppe jedoch gar nichts. Bei Relton bestand die homöopathische Therapie unter Anderem aus fünf tiefgehenden (‚in depth‘) Gesprächen, wonach dann die Mittel verordnet wurden. Bei Taylor wurden homöopathische Ohrentropfen verabreicht. Die Kontrollgruppe erhielt wie gesagt nichts dergleichen.

Wie wohl einsichtig, dürfte diese Ungleichbehandlung zu einem erheblichen Placeboeffekt in der Verumgruppe geführt haben, der dann als Wirkung des homöopathischen Mittels wahrgenommen worden wäre. Studien eines solchen Designs, von manchen Autoren ‚A + B > A‘ bezeichnet, sind generell als Nachweis einer medikamentösen Wirkung völlig ungeeignet. Sowie B in der obigen Gleichung nicht null ist – und dafür sorgt schon der Placeboeffekt – führt dieses Studiendesign zwangsläufig immer (!) zu einem positiven Ergebnis.

Die Studie von Sinha [15] wurde, wie oben bereits erwähnt, trotz der vergebenen vollen Bewertungspunktzahl unverblindet durchgeführt, das heißt, die Patienten und das Studienpersonal wussten, welcher Patient eine individualisierte homöopathische Therapie erhielt und wer konventionell mit dem üblichen Standard behandelt wurde. Jetzt braucht man nur noch zu wissen, dass diese Studie am ‚Regional Research Institute of Homeopathy in Jaipur/Indien‘ durchgeführt wurde, um sich davon zu überzeugen, dass diese Evidenz ziemlich sicher keine ist.

Bleibt alleine noch die Arbeit von Adler [16] in dieser Gruppe übrig: Dort wurde aber kein statistisch signifikantes Ergebnis erzielt.

Ende der Vorstellung.

In der einzigen Teilgruppe, die zunächst ein signifikantes Gesamtergebnis zeigte, sind bei drei der fünf Studien mit hoher Wahrscheinlichkeit die Ergebnisse nicht auf eine medikamentöse Wirkung zurückzuführen, bei der vierten wurden die Daten zugunsten der Homöopathie vertauscht – und die letzte enthält kein signifikantes Ergebnis. Die Auswertung dieser Untergruppe ist mithin gegenstandslos, da zu viele Schwachstellen aufgetreten sind.

Zusammengefasst konnte in keiner Teilgruppe, weder bei den Studien mit binären Endpunkten noch bei den Studien mit kontinuierlichen Endpunkten ein Nachweis erbracht werden, dass homöopathischen Präparaten eine medikamentöse Wirkung innewohnt.

Quintessenz: Das einzige statistisch signifikante Ergebnis einer Untergruppe ist ein statistischer Artefakt, keine real belastbare Evidenz.

Endergebnis

Die Metaanalyse ist also gründlich misslungen.

Es wäre allerdings möglich, dass eine Zusammenfassung der Betrachtungen für binäre und kontinuierliche Endpunkte etwas Anderes ergibt als die Summe der Ergebnisse der Untergruppen. Es ist ja gerade das Wesen einer Metaanalyse, dass aus mehreren für sich einzeln betrachtet nicht signifikanten Ergebnissen durch die Vergrößerung der Anzahl der betrachteten Teilnehmer eben doch ein signifikanter Effekt identifiziert werden kann. Ob das hier auch möglich ist, wenn man kontinuierliche und binäre Ergebniszahlen geeignet ineinander umrechnen würde, ist schwer zu sagen. Aber selbst wenn dies möglich wäre, dürfte der Effekt nicht gerade groß sein – und damit deutlich im Widerspruch zu den vollmundigen Aussagen stehen, die Homöopathie sei eine wirksame Therapieform für alle möglichen Sorten von Beschwerden.

Bestätigung für die Skeptiker

Was sagen die Skeptiker zu den klinischen Studien zur Homöopathie? Mit zunehmender Größe, das heißt, Anzahl der Teilnehmer, wird der Effekt immer kleiner. Das hat sich auch in dieser Metaanalyse bestätigt.

Dies ist der Funnel-Plot, der für die Studien mit kontinuierlichen Endpunkten angegeben wurde. (Ich habe die den Durchschnittswert angebende Linie entfernt und die blaue Linie durch 0 eingefügt). Die vertikale Achse ‚Precision‘ gibt die Größe des statistischen Fehlers an, entspricht also in etwa der Teilnehmerzahl in der jeweiligen Studie. Die Horizontale Achse gibt die Wirksamkeit an. Links von der 0 sind die Studien, die Ergebnisse zugunsten der Homöopathie gezeigt haben, je weiter im Minus umso besser. Rechts von der 0 die Studien, deren Ergebnis gegen eine Wirksamkeit der Homöoapthie spricht.

‚Je größer die Studie, desto geringer der Effekt.‘ Das findet sich hier voll bestätigt. Auch die oft zitierte Kritik von Professor Hahn, wonach größere Studien eben dann angesetzt werden, wenn der gesuchte Effekt eher klein ist, zieht nicht: Die vier größten Studien zeigen keinen Effekt auf oder einen, der gegen die Homöopathie spricht.

Ein kleiner Scherz am Rande: Funnel Plots werden üblicherweise dazu eingesetzt, um abzuschätzen, ob ein sogenannter Publication bias vorliegen könnte. Dies ist der Effekt, dass Studien, deren Ergebnisse den Überzeugungen der Autoren nicht entsprechen, öfter in der Schublade liegen bleiben und nicht veröffentlicht werden als solche mit positivem Ergebnis. Für eine Metaanalyse bedeutet dies eine Verzerrung der Datenlage und es ist deshalb wichtig festzustellen, ob ein solches Risiko besteht.

Wenn ein Publication bias in großem Umfang vorliegt, dann zeigt sich dies darin, dass der Funnel-Plot unsymmetrisch ist, indem unvorteilhafte Ergebnisse fehlen, die bei kleiner Anzahl der Teilnehmer auftreten müssten. Angesichts der Symmetrie dieses Plots, schreibt die Autorin, kann man allerdings eine solche Verzerrung der Datenlage ausschließen. Aaah ja…

Forscherpreis und Presseecho

Wie kommt jetzt die Dr. Peithner KG, der bedeutendste Hersteller homöopathischer Mittel in Österreich, dazu, diese Arbeit mit einem Preis auszuzeichnen? Wieso wird diese Arbeit so bejubelt?

Wie man sieht, kann man auch aus einer solchen schwachen Arbeit mit ein wenig Geschick im Marketing eine positiv klingende Wertung herauskitzeln. Dass ein ‚positiver Trend‘ die Umschreibung dafür ist, dass der Nachweis misslungen ist, das weiß ja der Normalbürger nicht. Auch nicht die katastrophale Bedeutung dessen, wenn dies in einer Metaanalyse passiert, in der die Ergebnisse von allen verfügbaren Studien – hier mit zusammen über 3000 Patienten – zusammengefasst wird.

Natürlich können die Autoren nichts dazu, wie Alwin Schönberger im Profil, dem österreichischen Pendant zum deutschen Spiegel, über diese Arbeit schreibt [17], was andere in Pressetexte hineindichten, wenn diese sogar einen Nachweis für die Wirksamkeit der Homöopathie schlechthin herbeireden. Aber, man muss bedenken, Rumpl hat diesen Forscherpreis nicht einfach so bekommen. Der Peithner-Preis ist kein Wissenschaftspreis, bei dem ein Komitee aus den veröffentlichten Arbeiten die Beste heraussucht und die Autoren damit überrascht. Auf der Webseite der Dr. Peithner KG (Link) gibt es ein Formular, das man ausfüllen und zusammen mit der Arbeit einreichen muss, um sich um diesen Preis aktiv zu bewerben. Es kann nicht sein, dass ein Akademiker ernsthaft glaubt, ein Unternehmen würde jedes Jahr einen Preis von € 3000,- vergeben, ohne einen Nutzen daraus ziehen zu wollen. Wie naiv wäre das denn?

Also, die werbemäßige Nutzung der Arbeitsergebnisse dürfte bei der Bewerbung um den Preis absehbar gewesen sein.

Schließlich….

Man darf gespannt sein, ob die Schwächen dieser Arbeit in das geplante ultimative Review mit Metaanalyse der Herren Frass und Kundi einfließen werden.

Anhang:

Studien aus der CORE-Hom Datenbank der Carstens-Stiftung, die unter den Suchbegriffen ‚randomised‘ und control ‚parallel‘ für den Zeitraum 2008 bis 2012 als ‚main publication‘ genannt aber in der Diplomarbeit nicht aufgeführt werden:

(1) Badulici S, Radu JR, Mazenot C, Belon Ph, Popescu S. Treatment of orthoergic dermatitis by homeoplasmine cream. Proc 63rd LMHI Congress. Ooostende, Belgium; 2008.

(2) Chebel,I.F.O (2012). Acoa do tratamento homeopatico na sintomalogia da sindrome da ardencia bucal em duas fases: estudo duplo cego placebo controlado e estudo alberto. Thesis, Universidade de Sao Paulo, Brazil.

(3) Paris, A. , Schmidlin, S.; Mouret, S.; Hodaj, E.; Marijnen, P.; Boujedaini, N.; Polosan, M.; Cracowski, J.L.: Effect of Gelsemium 5CH and 15CH on anticipatory anxiety, A phase III, single-centre, randomized, placebo-controlled study. Fundam Clin Pharmacol 26(6), 2012: S. 751-760

(4) Pestana-Caldeira,J.N. : The efficacy of Magen ((R)) on infantile colic, Faculty of Health Sciences, University of Johannesburg o.J.: S. 1-81

(5) Razlog, R., Pellow, J. & White, S.J., 2012, ‘A pilot study on the Efficacy of Valeriana officinalis mother tincture and Valeriana officinalis 3X in the treatment of attention deficit hyperactivity disorder’, Health SA Gesondheid 17(1), Art. #603, 7 pages

(6) Piraneo, S.; Maier, J.; Nervetti, G.; Duca, P.; Valli, C.; Milanesi, A.; Pagano, F.; Scaglione, D.; Osio, M.; Nascimbene, C.: A Randomized Controlled Clinical Trial Comparing the Outcomes of Homeopathic-phytotherapeutic and Conventional Therapy of Whiplash in an Emergency Department. Hom Links 2012, 25(1): 50-55

(7) Souza,L.M. de A.; Dantas,A.L.L.; Ribeiro,A. de O.; Ramacciato,J.C.; Motta,R.H.L. Acao Anti-Edematosa: Arnica Montana 6ch X Diclofenaco de Sódio 50 Mg. Pesquisa Brasileira em Odontopediatria e Clínica Integrada 11(4): 491-496

(8) Villanueva, D.F.D.; Rodriguez, A.P.; Garcia, L.R.G.; Oses, C.A.M. : Use of homeopathic formula in malnourished children. Int J High Dil Res 2012, 11(38): 25-32

Quellen und Literatur:

[1] Rumpl M: Metaanalyse homöopathischer Studien im Zeitraum 2008 bis 2012, Diplomarbeit Medizinische Universität Wien, 2014. Link zum Volltext

[2] NN: Jungärztin aus Oberösterreich für Diplomarbeit ausgezeichnet, Fa. Dr. Peithner KG, Pressemitteilung vom 20.4.2015, Link zum Volltext

[3] NN: Dr. Peithner Sonderpreis für Forschung in der Homöopathie 2014, Artikel in oekonews.at vom 2.5.2015, Link zum Volltext

[4] Shang A et al.: Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy, Lancet 2005; 366: 726-32, Link zum Volltext

[5] Frass M, Schuster E, Muchitsch I, Duncan J, et al.: Bias in the trial and reporting of trials of homeopathy: a fundamental breakdown in peer review and standards? Journal of alternative and complementary medicine (2005) 11 (5) pp. 779 – 785

[6] Mathie RT, Hacke D, Clausen J, Nicolai T, Riley DS, Fisher P: Rondomised controlled trials of homeopathy in humans: characterising the research journal literature for systematic review, in: Homeopathy (2013) 102, 3-24, Link zum Volltext

[7] Mathie RT, Legg LA, Clausen J, Davidson JRT, Lloyd SM, Ford I: Systematic review and meta-analysis of randomised, placebo-controlled trials of individualised homeopathic treatment: Study protocoll, 2013. Version 1.0; 25 January 2013. Link zum Volltext

[8] Mathie RT, Lloyd SM, Legg LA, Clausen J, Moss S, Davidson JRT, Ford I: Randomised placebo-controlled trials of individualised homeopathic treatment: systematic review and meta-analysis, in: Systematic Reviews 2014, 3: 142, doi: 10.1186/2046-4053-3-142, Link zum Volltext

[9] Higgins JPT, Green S: Cochrane Handbook for Systematic reviews of Interventions, Cochrane Book Service, 2008 Link zum Volltext

[10] Snapinn SM: Noninferiority trials, Curr Control Trials Cardiovasc Med. 2000; 1(1): 19–21. Published online 2000 Jul 31. doi:  10.1186/cvm-1-1-019,  Link zum Volltext

[11] Berger U: persönliche Mitteilung vom 25.5.2015 (unveröffentlicht)

[12] Karow J, Abt H, Fröhling M, Ackermann H, Efficacy of Arnica montana D4 for Healing of Wounds After Hallux Valgus Surgery Compared of Diclofenac. J Altern Complement Med 2008;14: 17-25. Link zum Abstract

[13] Relton C, Smith C, Raw J, Walters C, Adebajo AO, Thomas KJ, Young TA: Healthcare provided by a homeopath as an adjunct to usual care for Fibromyalgia (FMS): results of a pilot Randomised Controlled Trial. Homeopathy 2009;98:77-82. Link zum Abstract

[14] Taylor, J.A.; Jacobs, J.: Homeopathic ear drops as an adjunct to standard therapy in children with acute otitis media. Homeopathy 2011;100:109-115. Link zum Abstract

[15] Sinha, M.N.; Siddiqui, V.A.; Nayak, C.; Singh, V.; Dixit, R.; Dewan, D.; Mishra, A.: Randomized controlled pilot study to compare Homeopathy and Conventional therapy in Acute Otitis Media. Homeopathy 2012, 101(1): 5-12, Link zum Volltext

[16] Adler UC, Paiva NM, Cesar AT, Adler MS, Molina A, Padula AE, Calil HM. Homeopathic Individualized Q-potencies versus Fluoxetine for Moderate to Severe Depression: Double-Blind, Randomized Non-Inferiority Trial. eCAM 2011; 2011:520182. Link zum Abstract

[17] Schönberger A: Tröpfcheninfektion, profil 22, 22. Mai 2015, S. 74 ff