{"id":1952,"date":"2014-06-14T18:56:14","date_gmt":"2014-06-14T16:56:14","guid":{"rendered":"http:\/\/www.beweisaufnahme-homoeopathie.de\/?p=1952"},"modified":"2019-01-02T18:30:27","modified_gmt":"2019-01-02T17:30:27","slug":"betrachtungen-zur-metaanalyse-von-shang-et-al","status":"publish","type":"post","link":"http:\/\/www.beweisaufnahme-homoeopathie.de\/?p=1952","title":{"rendered":"Betrachtungen zur Metaanalyse von Shang et al."},"content":{"rendered":"<div class=\"shariff shariff-align-flex-start shariff-widget-align-flex-start\" data-services=\"facebook%7Ctwitter\" data-url=\"http%3A%2F%2Fwww.beweisaufnahme-homoeopathie.de%2F%3Fp%3D1952\" data-timestamp=\"1546453827\" data-hidezero=\"1\" data-backendurl=\"?rest_route=\/shariff\/v1\/share_counts&\"><ul class=\"shariff-buttons theme-default wcag_colors orientation-horizontal buttonsize-small\"><li class=\"shariff-button facebook shariff-nocustomcolor\" style=\"background-color:#000\"><a href=\"https:\/\/www.facebook.com\/sharer\/sharer.php?u=http%3A%2F%2Fwww.beweisaufnahme-homoeopathie.de%2F%3Fp%3D1952\" title=\"Bei Facebook teilen\" aria-label=\"Bei Facebook teilen\" role=\"button\" rel=\"nofollow\" class=\"shariff-link\" style=\"; background-color:#38548F; color:#fff\" target=\"_blank\"><span class=\"shariff-icon\" style=\"\"><svg width=\"32px\" height=\"20px\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 18 32\"><path fill=\"#3b5998\" d=\"M17.1 0.2v4.7h-2.8q-1.5 0-2.1 0.6t-0.5 1.9v3.4h5.2l-0.7 5.3h-4.5v13.6h-5.5v-13.6h-4.5v-5.3h4.5v-3.9q0-3.3 1.9-5.2t5-1.8q2.6 0 4.1 0.2z\"\/><\/svg><\/span><span class=\"shariff-text\">teilen<\/span>&nbsp;<span data-service=\"facebook\" style=\"color:#38548F\" class=\"shariff-count\"> 12<\/span>&nbsp;<\/a><\/li><li class=\"shariff-button twitter shariff-nocustomcolor\" style=\"background-color:#000\"><a href=\"https:\/\/twitter.com\/share?url=http%3A%2F%2Fwww.beweisaufnahme-homoeopathie.de%2F%3Fp%3D1952&text=Betrachtungen%20zur%20Metaanalyse%20von%20Shang%20et%20al.\" title=\"Bei Twitter teilen\" aria-label=\"Bei Twitter teilen\" role=\"button\" rel=\"noopener nofollow\" class=\"shariff-link\" style=\"; background-color:#115A92; color:#fff\" target=\"_blank\"><span class=\"shariff-icon\" style=\"\"><svg width=\"32px\" height=\"20px\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 30 32\"><path fill=\"#55acee\" d=\"M29.7 6.8q-1.2 1.8-3 3.1 0 0.3 0 0.8 0 2.5-0.7 4.9t-2.2 4.7-3.5 4-4.9 2.8-6.1 1q-5.1 0-9.3-2.7 0.6 0.1 1.5 0.1 4.3 0 7.6-2.6-2-0.1-3.5-1.2t-2.2-3q0.6 0.1 1.1 0.1 0.8 0 1.6-0.2-2.1-0.4-3.5-2.1t-1.4-3.9v-0.1q1.3 0.7 2.8 0.8-1.2-0.8-2-2.2t-0.7-2.9q0-1.7 0.8-3.1 2.3 2.8 5.5 4.5t7 1.9q-0.2-0.7-0.2-1.4 0-2.5 1.8-4.3t4.3-1.8q2.7 0 4.5 1.9 2.1-0.4 3.9-1.5-0.7 2.2-2.7 3.4 1.8-0.2 3.5-0.9z\"\/><\/svg><\/span><span class=\"shariff-text\">twittern<\/span>&nbsp;<span data-service=\"twitter\" style=\"color:#115A92\" class=\"shariff-count shariff-hidezero\"><\/span>&nbsp;<\/a><\/li><li class=\"shariff-button rss shariff-nocustomcolor\" style=\"background-color:#000\"><a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?feed=rss\" title=\"RSS-feed\" aria-label=\"RSS-feed\" role=\"button\" class=\"shariff-link\" style=\"; background-color:#aa2e00; color:#fff\" target=\"_blank\"><span class=\"shariff-icon\" style=\"\"><svg width=\"32px\" height=\"20px\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 32 32\"><path fill=\"#fe9312\" d=\"M4.3 23.5c-2.3 0-4.3 1.9-4.3 4.3 0 2.3 1.9 4.2 4.3 4.2 2.4 0 4.3-1.9 4.3-4.2 0-2.3-1.9-4.3-4.3-4.3zM0 10.9v6.1c4 0 7.7 1.6 10.6 4.4 2.8 2.8 4.4 6.6 4.4 10.6h6.2c0-11.7-9.5-21.1-21.1-21.1zM0 0v6.1c14.2 0 25.8 11.6 25.8 25.9h6.2c0-17.6-14.4-32-32-32z\"\/><\/svg><\/span><span class=\"shariff-text\">RSS-feed<\/span>&nbsp;<\/a><\/li><\/ul><\/div><p>Wesentlich aufw\u00e4ndiger als gedacht: Eine Auseinandersetzung mit der letzten gro\u00df angelegten Studie zur Wirksamkeit der Hom\u00f6opathie, die sich mit Originalarbeiten besch\u00e4ftigt: die im Jahr 2005 im Lancet ver\u00f6ffentlichte Arbeit von Shang et al.<\/p>\n<p><!--more--><\/p>\n<p><b>In K\u00fcrze<\/b><\/p>\n<p>Die Metaanalyse von Shang et al. aus dem Jahr 2005 kam zwar zu einem aus naturwissenschaftlicher Sicht zutreffenden, vernichtenden Urteil \u00fcber die Wirksamkeit der Hom\u00f6opathie, kann aber methodisch nicht \u00fcberzeugen. Die Art der verwendeten Kennzahlen beeinflusst offenbar das Ergebnis erheblich. Dar\u00fcber hinaus schlie\u00dfen die Autoren aus ihrer Meta-Regressionsanalyse auf das Vorhandensein eines Gr\u00f6\u00dfeneinflusses der Studien, wobei aber andere denkbare M\u00f6glichkeiten der Erkl\u00e4rung nicht betrachtet werden. Das Ergebnis scheint daher nicht belastbar zu sein. Die Betrachtung nur der gr\u00f6\u00dften und qualitativ hochwertigen Studien f\u00fchrt auch nicht weiter, da die Auswahlkriterien der Studien f\u00fcr diese Untergruppe nicht nachvollziehbar dargestellt werden und daher m\u00f6glicherweise nicht vorab festgelegt worden waren.<\/p>\n<p>Trotz des wahrscheinlich zutreffenden Ergebnisses, dass die Hom\u00f6opathie nicht besser wirkt als Placebo, kann diese Metaanalyse nicht \u00fcberzeugen. H\u00e4tte man stattdessen die Durchf\u00fchrung der Einzelstudien bewertet, w\u00e4re man sicher schnell zu dem Schluss gekommen, dass deren Ergebnisse mit der 5%-Wahrscheinlichkeit f\u00fcr falsch-positive Resultate in Einklang stehen. Dies erscheint als ein wirkungsvollerer Ansatz, die Wirksamkeit der Hom\u00f6opathie zu beurteilen, als die angewandten komplexen und angreifbaren Methoden.<\/p>\n<p><b>Allgemein<\/b><\/p>\n<p>Die Metaanalyse von Shang et al., die 2005 im Lancet ver\u00f6ffentlicht wurde, ist immer noch eine der wichtigsten Arbeiten zur Hom\u00f6opathie, denn sie ist die bislang letzte, die sich mit originalen Forschungsarbeiten besch\u00e4ftigt und dabei versucht, zu einer Bewertung der gesamten vorliegenden Evidenz zu kommen [1]. Die erst vor Kurzem ver\u00f6ffentlichte Untersuchung der australischen Gesundheitsbeh\u00f6rde greift auf vorhandene Metaanalysen zur\u00fcck [2] &#8211; bezeichnenderweise nicht auf die Shang-Studie &#8211; und \u00fcbernimmt damit zwangsl\u00e4ufig Sichtweisen, Interpretationen und gegebenenfalls auch Fehler der jeweiligen Rezensenten.<\/p>\n<p>Die Schwierigkeit an der Shang-Studie hingegen liegt darin, dass von verschiedenen Seiten Kritik ge\u00fcbt wurde, die zu einem gro\u00dfen Teil nicht von der Hand zu weisen ist. Andererseits muss an der Kritik aber auch gelegentlich wieder Kritik ge\u00fcbt werden. Dies macht die Auseinandersetzung mit diesem Thema so komplex &#8211; und ist auch der Grund daf\u00fcr, dass ich f\u00fcr diesen Artikel erheblich mehr und l\u00e4nger recherchieren musste als ich gedacht hatte.<\/p>\n<p><b>Hintergrund<\/b><\/p>\n<p>Die hier betrachtete Metaanalyse wurde im Auftrag des Schweizer Bundesamts f\u00fcr Gesundheit am Institut f\u00fcr Sozial- und Pr\u00e4ventivmedizin der Universit\u00e4t Bern erarbeitet. Sie war Bestandteil des &#8218;Programms Evaluation Komplement\u00e4rmedizin (PEK)&#8216;, das Entscheidungsgrundlagen daf\u00fcr liefern sollte, ob unter anderem die Hom\u00f6opathie in den Leistungskatalog der Schweizer Gesundheitsversorgung aufgenommen werden sollte. Dazu wurden Wirksamkeit, Kosten und Sicherheit im Vergleich zu konventionellen Therapien betrachtet. Die Shang-Studie &#8211; gelegentlich nach dem Leiter des beauftragten Instituts auch als Egger-Studie bezeichnet &#8211; hatte die Wirksamkeit zum Thema.<\/p>\n<p style=\"padding-left: 30px;\">Hinweis:<\/p>\n<p style=\"padding-left: 30px;\">Derzeit ist das Thema wieder aktuell, weil der Schweizer Bundesrat im Mai 2014 beschlossen hat, auf eine Untersuchung der Wirksamkeit von Therapien der Komplement\u00e4rmedizin zu verzichten und die Kosten dennoch von den Krankenkassen \u00fcbernehmen zu lassen. Hierzu gibt es einen Appell der Schweizer Skeptiker (<a href=\"https:\/\/www.skeptiker.ch\/themen\/appell-wissenschaft-vor-politik-bei-komplementaermedizin\/\" class=\"broken_link\">Link<\/a>), dem man sich anschlie\u00dfen kann. Sicher wird die Schweizer Regierung die Unterschriften aus Deutschland und \u00d6sterreich nicht in ihren \u00dcberlegungen ber\u00fccksichtigen &#8211; eine ideelle Unterst\u00fctzung der Schweizer Kollegen wird aber wohl auch nicht schaden.<\/p>\n<p><b>Inhalts\u00fcbersicht <\/b><\/p>\n<p>Auftragsgem\u00e4\u00df sollte neben anderen Therapieformen (Anthroposophische Medizin, Neuraltherapie, Phytotherapie, TCM) auch die Wirksamkeit der Hom\u00f6opathie im Vergleich zur konventionellen Medizin anhand von placebokontrollierten Vergleichsstudien untersucht werden. Hierzu betrachtete man Studien zur Hom\u00f6opathie und hinsichtlich Indikation und Vorgehensweise direkt vergleichbare Studien der konventionellen Medizin. Damit ergaben sich folgende Auswahlkriterien f\u00fcr die in die Studie aufzunehmenden Hom\u00f6opathiestudien:<\/p>\n<ul>\n<li>bis einschlie\u00dflich 2003 ver\u00f6ffentlicht<\/li>\n<li>placebokontrollierte Vergleichsstudie<\/li>\n<li>randomisierte Gruppenzuordnung<\/li>\n<li>auswertbare Daten vorhanden<\/li>\n<li>eine Vergleichsstudie der konventionelle Medizin liegt vor<\/li>\n<\/ul>\n<p>Insgesamt wurden 165 potenziell relevante Studien ermittelt, wovon aber 55 aus verschiedenen Gr\u00fcnden ausgeschlossen wurden, etwa, weil sie nicht aufgefunden werden konnten (9), keine Vergleichsstudie vorlag (7), \u00fcber die gleiche Untersuchung mehrfach berichtet wurde (8). Einige zeigten auch das falsche Studiendesign, enthielten nicht die zur Auswertung ben\u00f6tigten Daten oder es trafen auch noch andere Gr\u00fcnde zu (zus. 31).<\/p>\n<p>Im Wesentlichen sind mit dem Datenbestand zwei Untersuchungen durchgef\u00fchrt worden, auf die im Folgenden noch n\u00e4her eingegangen wird. Zuerst wurde in einer sogenannten Meta-Regressionsanalyse untersucht, ob die Gr\u00f6\u00dfe einer Studie, das hei\u00dft die Zahl der teilnehmenden Versuchspersonen, einen Einfluss auf das Studienergebnis hat. Man fand, dass dies bei der Hom\u00f6opathie durchaus der Fall war, und zwar so stark, dass der positive Effekt im Mittel praktisch verschwunden w\u00e4re, wenn man die Einzelstudien alle mit der gr\u00f6\u00dften Teilnehmerzahl aus dem ganzen Spektrum durchgef\u00fchrt h\u00e4tte. Shang et al. schlossen daraus, dass es sich bei der Hom\u00f6opathie nur um eine Placebowirkung bzw. sogenannte Kontexteffekte handeln k\u00f6nne. Kontexteffekte sind solche, die sich aus dem Umfeld und den Gegebenheiten der Behandlung ergeben und nicht von der speziell angewandten Ma\u00dfnahme &#8211; der Anwendung eines bestimmten hom\u00f6opathischen Medikaments &#8211; abh\u00e4ngen.<\/p>\n<p>Da sich ein starker Gr\u00f6\u00dfeneinfluss zeigte, hat man daraufhin noch eine Untergruppe der qualitativ hochwertigen Studien mit hoher Teilnehmerzahl ausgew\u00e4hlt und gemeinsam betrachtet. Man kam zu dem Schluss, dass diese zwar im Mittel durchaus einen kleinen positiven Effekt aufzeigen, der aber nicht statistisch signifikant ist. Das hei\u00dft, der positive Effekt ist als ein Zufallsergebnis anzusehen, und mit einiger Wahrscheinlichkeit h\u00e4tte sich auch ein gegenteiliger Effekt ergeben k\u00f6nnen. Auch dies st\u00fctzt die Einsch\u00e4tzung der Autoren, dass die Hom\u00f6opathie keine \u00fcber Placebo hinausgehende Wirksamkeit aufweist.<\/p>\n<p>Als die Studie im Lancet erschien, sahen sich die Herausgeber dazu veranlasst, in einem Leitartikel das Ende der Hom\u00f6opathie zu verk\u00fcnden [3], was sicher die Aufmerksamkeit auf diese Arbeit verst\u00e4rkt und die Kritik daran befl\u00fcgelt haben d\u00fcrfte.<\/p>\n<p>Nat\u00fcrlich hat die Analyse erhebliche Kritik auf sich gezogen, bezeichnenderweise nicht nur von Bef\u00fcrwortern der Hom\u00f6opathie sondern auch von den Auftraggebern der Studie selbst. Von allen Kritiken, die ich bisher gelesen habe &#8211; was bestimmt keine vollst\u00e4ndige Sichtung darstellt &#8211; erscheint mir die Kritik der PEK [4], von L\u00fcdtke und Rutten [5], von Rutten und Stolper [6] und schlie\u00dflich von Hahn [7] als die fundiertesten, daher werde ich diese in der folgenden Studienkritik neben meiner eigenen Sichtweise darstellen. Dabei beschr\u00e4nke ich mich allerdings auf die Hom\u00f6opathie selbst und gehe nicht weiter auf den Vergleich zur konventionellen Medizin ein. Schlie\u00dflich ist das Urteil &#8218;Hom\u00f6opathie ist nur Placebo&#8216; eine absolute Wertung und unabh\u00e4ngig davon, was sich bei der Betrachtung der konventionellen Medizin ergab.<\/p>\n<p><b>Generelle Kritik<\/b><\/p>\n<p>Das Hauptproblem, das man als Hom\u00f6opathiekritiker mit dieser Studie hat, ist, dass es eigentlich keine gute Studie ist. Sie bietet den Hom\u00f6opathianh\u00e4ngern viel zu viele Ansatzpunkte zur berechtigten Kritik, so dass die Zweifel an der Studienmethodik schnell das Studienergebnis ins Gegenteil verkehren [8], was auch nicht zutreffend ist. Also, liebe Hom\u00f6opathen, wenn Sie aus meinen folgenden kritischen Ausf\u00fchrungen schlie\u00dfen wollen, die Hom\u00f6opathie sei eine wirksame Therapie, dann sollten Sie zuvor die letzten Abschnitte dieses zugegebenerma\u00dfen recht umfangreichen Artikels lesen.<\/p>\n<p>Zun\u00e4chst muss man einfach feststellen, dass die Ver\u00f6ffentlichung selbst eine mittlere Katastrophe ist, und man wundert sich, wie eine der renommiertesten medizinischen Fachzeitschriften der Welt dazu kam, dieses Manuskript in der vorliegenden Form zu publizieren. Grunds\u00e4tzlich sollen die Leser zumindest prinzipiell in die Lage versetzt werden, die angestellten Untersuchungen nachzuvollziehen &#8211; das ist eine Forderung, die das Lancet Jahre zuvor selbst aufgestellt hatte. Erst auf Nachfragen in Leserbriefen wurden Daten nachgereicht, mal hier, mal da, daher auch die unten angegebenen vielen Quellen, in denen die Daten verstreut sind. Ganz wesentliche Daten &#8211; mit welchen Werten die einzelnen Studien in die Meta-Regression eingegangen sind &#8211; sind bis heute nicht publiziert.<\/p>\n<p>Das sind zwar nur Formalien &#8211; aber dennoch enorm \u00e4rgerlich.<\/p>\n<p><b>Meta-Regressionsanalyse<\/b><\/p>\n<p>Mit einer Regressionsanalyse wird versucht, Daten zu strukturieren, indem man \u00fcberpr\u00fcft, von welchen anderen unabh\u00e4ngigen Variablen sie abh\u00e4ngig sind. Bei der Meta-Regressionsanalyse werden die Ergebnisse der in die Metaanalyse aufgenommenen Studien untersucht (<a href=\"http:\/\/en.wikipedia.org\/wiki\/Meta-regression\">Link<\/a>). Shang et al. haben verschiedene Variablen erprobt, als Wesentliche ist die Gr\u00f6\u00dfe der Studie dabei herausgekommen, weswegen sich die folgende Darstellung auf diese Analyse beschr\u00e4nkt.<\/p>\n<p>Grundlage f\u00fcr diese Betrachtung ist ein sogenannter Funnel-plot (&#8218;Trichter- oder Schornstein-Bild&#8216;, <a href=\"http:\/\/de.wikipedia.org\/wiki\/Funnel_plot\">Link<\/a>). Hier wird die Gr\u00f6\u00dfe der Studie \u00fcber die St\u00e4rke der in den Studien ermittelten Effekten dargestellt. Da Studien mit geringerer Teilnehmerzahl st\u00e4rker streuen als gro\u00dfe, ergibt sich normalerweise ein Bild, das einem umgekehrten Trichter oder Schornstein \u00e4hnlich sieht, daher der Name. Aus Gr\u00fcnden des Urheberrechts kann ich den in der Shang-Studie f\u00fcr die Hom\u00f6opathie-Studien angegebenen Funnel-plot hier nicht wiedergeben. Da die Studie aber frei im Internet verf\u00fcgbar ist, kann der interessierte Leser \u00fcber diesen <a href=\"http:\/\/www.homeovet.cl\/Libros\/Are%20the%20clinical%20effects%20of%20homoeopathy%20placebo%20effects%20Comparative%20study%20of%20placebo-controlled%20t.pdf\" class=\"broken_link\">Link<\/a> die Studie \u00f6ffnen und zu Fig. 2, obere H\u00e4lfte, scrollen (auf Seite 729).<\/p>\n<p>Jeder einzelne dargestellte Punkt entspricht dem Ergebnis einer Studie &#8211; allerdings haben Shang et al. darauf verzichtet, Daten zu liefern, aus denen man nachvollziehen k\u00f6nnte, welche Studie zu welchem Punkt geh\u00f6rt. Die allermeisten Punkte liegen links von der gestrichelten senkrechten Linie, das hei\u00dft, in der betreffenden Studie erwies sich das Hom\u00f6opathikum als wirksamer als das Placebo, rechts von der Linie w\u00e4re das anders herum.<\/p>\n<p>Man erkennt die durchgezogene nach rechts oben weisende Linie, die die Regressionsgerade darstellt. Sie stellt quasi als Mittelwert die Abh\u00e4ngigkeit des Studienergebnisses von deren Gr\u00f6\u00dfe dar. Da sie am oberen Ende die gestrichelte senkrechte Linie fast schneidet, bedeutet dies, dass die Wirkung im Mittel verschwinden w\u00fcrde (Odds Ratio = 1), wenn man alle Studien mit der Gr\u00f6\u00dfe durchf\u00fchren w\u00fcrde, die der maximalen Studiengr\u00f6\u00dfe entspricht.<\/p>\n<p><b>Kennzahlen<\/b><\/p>\n<p>Nun habe ich etwas ein Problem mit den Kenngr\u00f6\u00dfen, die hier f\u00fcr die Regressionsanalyse verwendet wurden. (Achtung: dieser Abschnitt befasst sich sehr intensiv mit Kennzahlen und deren Bedeutung. Wer dies \u00fcberspringen m\u00f6chte, kann bis zum Abschnitt &#8218;Weitere Kritikpunkte&#8216; scrollen.)<\/p>\n<p>Zun\u00e4chst wird nicht die Anzahl der Studienteilnehmer als Ma\u00dfzahl f\u00fcr die Studiengr\u00f6\u00dfe herangezogen, sondern der Standardfehler. Der Standardfehler ist eigentlich ein Ma\u00df f\u00fcr die Streuung der Ergebnisse, das prinzipiell mit zunehmender Gr\u00f6\u00dfe der Stichprobe, das hei\u00dft, mit der Anzahl der Studienteilnehmer, abnimmt. Aber eben nur prinzipiell, n\u00e4mlich, wenn gleichartige Untersuchungen miteinander verglichen werden, die mithin \u00e4hnliche Ergebnisse liefern m\u00fcssten. In den Standarfehler flie\u00dfen n\u00e4mlich zwei Bestimmungsgr\u00f6\u00dfen ein, die Streuung der vorliegenden Daten (Standardabweichung) und die Zahl der Teilnehmer. Ein kleiner Standardfehler kann mithin entweder eine gro\u00dfe Teilnehmerzahl bei gro\u00dfer Standardabweichung oder eine kleine Teilnehmerzahl bei kleiner Standardabweichung bedeuten.<\/p>\n<p>Da sich die Streuungen der Genesungszeit beispielsweise bei Gehirnersch\u00fctterungen und bei der Bek\u00e4mpfung von Warzen sicher erheblich unterscheiden, folgt daraus, dass zwei Studien bei gleichem Standardfehler dennoch mit h\u00f6chst unterschiedlichen Teilnehmerzahlen durchgef\u00fchrt worden sein k\u00f6nnen, also verschieden &#8218;gro\u00df&#8216; waren.<\/p>\n<p>Dieser Sachverhalt hat durchaus Konsequenzen f\u00fcr das Ergebnis der Metaregression.<\/p>\n<p>Verwendet man nicht den Standardfehler sondern tats\u00e4chlich die Zahl der Teilnehmer, ergibt sich ein Bild, das kaum \u00c4hnlichkeit mit der Grafik bei Shang aufweist. F\u00fcr das folgende Bild habe ich mir einmal die M\u00fche gemacht, die nur grafisch gegebenen Daten zur Effektgr\u00f6\u00dfe zu digitalisieren und der Anzahl der Teilnehmer gegen\u00fcberzustellen. Jetzt sehen wir den tats\u00e4chlich zu erwartenden Verlauf eines Funnel-plots, zwar etwas asymmetrisch, aber mit der Majorit\u00e4t der Studien im unteren Bereich. Folge: Bildet man jetzt die Regressionsgerade, bestimmt die Vielzahl der Studien unter ca. 50 bis 100 Teilnehmer den Startwert und die Studien mit hoher Teilnehmerzahl legen die Richtung fest. Bei Shang hingegen legt der gro\u00dfe Punkthaufen zwischen SE = 0,6 und 0,0 einen Punkt fest, die Richtung wird durch die kleineren Studien (gr\u00f6\u00dferes SE, in der Grafik nach unten abgetragen) bestimmt.<\/p>\n<p><a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/Mein-Funnel-Plot.jpg\"><img loading=\"lazy\" class=\"alignnone size-full wp-image-1970\" src=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/Mein-Funnel-Plot.jpg\" alt=\"Mein Funnel Plot\" width=\"549\" height=\"551\" srcset=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/Mein-Funnel-Plot.jpg 549w, http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/Mein-Funnel-Plot-150x150.jpg 150w, http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/Mein-Funnel-Plot-298x300.jpg 298w\" sizes=\"(max-width: 549px) 100vw, 549px\" \/><\/a><\/p>\n<p>Bild 1: angepasster Funnel-plot<\/p>\n<p>Der Effekt ist immens.<\/p>\n<p>Shang hatte die Regressionsgerade daf\u00fcr benutzt, hochzurechnen, wie wohl ein Ergebnis aussehen w\u00fcrde, wenn es quasi dem Mittelwert aller Studien entspr\u00e4che und mit der gr\u00f6\u00dften Teilnehmerzahl aller Studien ermittelt worden w\u00e4re. Dies wurde nach der Originalberechnung zu OR = 0,96 abgesch\u00e4tzt, also als fast wirkungslos (s. unten). Nach meiner Regressionsrechnung (s. r\u00f6tliche Linie) erg\u00e4be sich f\u00fcr die gr\u00f6\u00dfte Studie ein Wert von 1,66, also ganz sicher dem Placebo unterlegen (wobei ich allerdings keine M\u00f6glichkeit habe, meinen Rechenansatz per se mit dem von Shang zu vergleichen, es fehlen halt die Daten!).<\/p>\n<p>Ist dieses Ergebnis &#8211; oder das von Shang &#8211; aber wirklich real?<\/p>\n<p>Als Weiteres habe ich ein ebenso gro\u00dfes Problem mit der Verwendung der Odds Ratio (OR), dem Quotenverh\u00e4ltnis, als Kennwert f\u00fcr die Effektgr\u00f6\u00dfe. Die Effektgr\u00f6\u00dfe ist ein Ma\u00df f\u00fcr den Unterschied zwischen den beiden Vergleichsgruppen. Hier gibt es durchaus unterschiedliche M\u00f6glichkeiten der Darstellung.<\/p>\n<p>Nehmen wir als Beispiel dieses fiktive Versuchsergebnis:<\/p>\n<table border=\"1\" width=\"100%\" cellspacing=\"0\" cellpadding=\"4\">\n<colgroup>\n<col width=\"64*\" \/>\n<col width=\"64*\" \/>\n<col width=\"64*\" \/>\n<col width=\"64*\" \/> <\/colgroup>\n<tbody>\n<tr valign=\"TOP\">\n<td width=\"25%\"><\/td>\n<td width=\"25%\">Hom\u00f6opathie<\/td>\n<td width=\"25%\">Placebo<\/td>\n<td width=\"25%\">Summe<\/td>\n<\/tr>\n<tr valign=\"TOP\">\n<td width=\"25%\">geheilt<\/td>\n<td width=\"25%\">60<\/td>\n<td width=\"25%\">40<\/td>\n<td width=\"25%\">100<\/td>\n<\/tr>\n<tr valign=\"TOP\">\n<td width=\"25%\">nicht geheilt<\/td>\n<td width=\"25%\">40<\/td>\n<td width=\"25%\">60<\/td>\n<td width=\"25%\">100<\/td>\n<\/tr>\n<tr valign=\"TOP\">\n<td width=\"25%\">Summe<\/td>\n<td width=\"25%\">100<\/td>\n<td width=\"25%\">100<\/td>\n<td width=\"25%\">200<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Zwanzig von hundert Patienten profitieren von der Behandlung, also jeder F\u00fcnfte. Die anderen werfen ihr Geld zum Fenster hinaus, sie w\u00e4ren entweder ohnehin geheilt worden oder auch mit dem Medikament nicht. Dies ergibt rechnerisch eine Effektst\u00e4rke von 0,2 [9]. Im Allgemeinen betrachtet man eine Effektst\u00e4rke von 0,1 als schwachen Effekt, 0,3 als mittleren und 0,5 und gr\u00f6\u00dfer als starken Effekt (<a href=\"http:\/\/de.wikipedia.org\/wiki\/Effektst%C3%A4rke\">Link<\/a>). Wir haben hier also einen eher schwachen Effekt vorliegen. Klingt nicht so sch\u00f6n.<\/p>\n<p>Als n\u00e4chste Stufe kann man das relative Risiko betrachten (<a href=\"http:\/\/de.wikipedia.org\/wiki\/Relatives_Risiko\">Link<\/a>). Demnach ist die Chance geheilt zu werden mit dem Hom\u00f6opathikum 1,5 mal so hoch wie unter Placebo. Immerhin steht jetzt eine Zahl von 50 % im Raum gegen\u00fcber vorher nur 20 %. Wenn man bedenkt, dass Placebo eigentlich kein wirksames Medikament ist, klingt das auch noch nicht so toll.<\/p>\n<p>Aber das Quotenverh\u00e4ltnis hilft (<a href=\"http:\/\/de.wikipedia.org\/wiki\/Quotenverh%C3%A4ltnis\">Link<\/a>).<\/p>\n<p>Die Quote ist definiert als das Verh\u00e4ltnis der Mitglieder einer Gruppe, die das Merkmal zeigen, zu denen, die es nicht zeigen, und nicht zur Gesamtmenge. Wenn von 100 Personen 75 geheilt sind, dann sind es 25 nicht, die Quote w\u00e4re also 3 (und nicht 0,75).<\/p>\n<p>Die Quote unter Verum ist im obigen Beispiel also 60 \/ 40 = 1,5, unter Placebo 40 \/ 60 = 0,667. Das Quotenverh\u00e4ltnis ist also 1,5 \/ 0,667 = 2,25. Die Quote ist also mehr als doppelt so hoch. Mit etwas Gl\u00fcck findet man jetzt auch einen Journalisten, der das falsch versteht und zitiert, und schon ist ein mehr als doppelt so wirksames Medikament auf dem Markt. Die extrem gro\u00dfen Risiken f\u00fcr irgendwelche Risikogruppen, irgendetwas Schlimmes zu erleiden, kommen \u00fcbrigens auf dem gleichen statistisch\/journalistischen Weg zustande (<a href=\"http:\/\/www.lungeninformationsdienst.de\/krankheiten\/lungenkrebs\/risikofaktoren\/index.html\">Link<\/a>), sonst w\u00e4ren sie nicht erkl\u00e4rbar.<\/p>\n<p>Man muss mit Quotenverh\u00e4ltnissen auch eher logarithmisch denken, denn zwei genau gegenteilige Effekte ergeben als Quotient die Zahl 1. Das genaue Gegenteil eines Quotenverh\u00e4ltnisses von 10 ist 1\/10, also 0,1. Erst als Logarithmus wird dies 1 bzw. -1.<\/p>\n<p>Aber unabh\u00e4ngig davon ist das Quotenverh\u00e4ltnis als Kennzahl der Effektst\u00e4rke f\u00fcr Vergleichszwecke eher ungeeignet, denn zumindest bei der Analyse dichotomer Daten wie im obigen Beispiel (geheilt \/ nicht geheilt) ist es nicht linear und vor allem nicht eindeutig.<\/p>\n<p>Ich habe einmal durchgespielt, wie sich Quotenverh\u00e4ltnis und Effektst\u00e4rke ver\u00e4ndern, wenn man einen fiktiven Versuch betrachtet, jeweils mit 100 Teilnehmern in Verum- und Placebogruppe. Dabei habe ich die Zahl der Erfolge der Verumgruppe variiert und die passenden Daten f\u00fcr ein Quotenverh\u00e4ltnis von 0,1 (entsprechend 10) ermittelt.<\/p>\n<p><a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/OR-Hom\u00f6opathie.jpg\"><img loading=\"lazy\" class=\"alignnone size-full wp-image-1963\" src=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/OR-Hom\u00f6opathie.jpg\" alt=\"OR Hom\u00f6opathie\" width=\"586\" height=\"351\" srcset=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/OR-Hom\u00f6opathie.jpg 586w, http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/OR-Hom\u00f6opathie-300x179.jpg 300w\" sizes=\"(max-width: 586px) 100vw, 586px\" \/><\/a><\/p>\n<p>Bild 2: Mehrdeutigkeit des Quotenverh\u00e4ltnisses<\/p>\n<p>Wie man erkennt, kann ein Quotenverh\u00e4ltnis von 0,1 sowohl einen starken Effekt kennzeichnen, im Maximum 0,52, als auch einen recht schwachen, im Rechenbeispiel im Extremfall 0,06 &#8211; und alle anderen Werte dazwischen. Mal profitieren mehr als die H\u00e4lfte der Patienten, ein anderes Mal weniger als ein Zehntel &#8211; oder eben irgendetwas dazwischen.<\/p>\n<p>Damit erf\u00fcllt das Quotenverh\u00e4ltnis als Kennzahl in diesem Fall eine ganz wesentliche Forderung nicht, n\u00e4mlich, dass gleiche Kennzahlen auch gleiche Zust\u00e4nde beschreiben m\u00fcssen &#8211; sonst taugen sie nicht f\u00fcr einen Vergleich. Genau das ist aber hier der Fall. Quotenverh\u00e4ltnisse von 0,1 kommen hier durchaus vor, nur ob sie einen starken oder einen schwachen Effekt beschreiben, ist nicht erkennbar.<\/p>\n<p>Die obige Grafik gilt f\u00fcr die Analyse kategorisierter Daten. Shang et al. haben hingegen f\u00fcr die Studien auch Quotenverh\u00e4ltnisse aus kontinuierlichen Ergebnisdaten ermittelt. Inwieweit hier die Vorbehalte der Nichtlinearit\u00e4t und der Mehrdeutigkeit auch zutreffen, kann ich derzeit nicht beurteilen. Da das Quotenverh\u00e4ltnis sinnvoll nur dann bestimmbar ist, wenn es auch Quoten gibt, scheint der Weg, aus kontinuierlichen Daten Quotenverh\u00e4ltnisse zu errechnen, eben \u00fcber die Definition von Gut\/Schlecht-Aussagen zu f\u00fchren. Dann gelten die obigen Vorbehalte auch f\u00fcr diese Datentypen. Die von Shang et al. angegebene Quelle, wie die Umrechnung erfolgt, muss ich hier allerdings noch auswerten. Ob dies ergiebig sein wird, steht dahin, denn das Quotenverh\u00e4ltnis wird in der Zusammenfassung dieser Arbeit nicht erw\u00e4hnt.<\/p>\n<p>Schlussendlich ist es nicht m\u00f6glich, aus den angegebenen Quotenverh\u00e4ltnissen die tats\u00e4chlichen Effektst\u00e4rken zur\u00fcckzurechnen. Damit kann man auch nicht nachvollziehen, ob die berichteten Daten die in den Einzelstudien vorliegenden Sachverhalte treffend wiedergeben. Man m\u00fcsste hierzu alle 110 Studien sichten, wozu mir die Kapazit\u00e4t fehlt.<\/p>\n<p>Dies waren jetzt die Vorbehalte zu dieser Analyse, die sich rein auf die angewandte Mathematik bzw. die verwendeten Kennzahlen beziehen.<\/p>\n<p><b>Weitere Kritikpunkte<\/b><\/p>\n<p>Aber ist es \u00fcberhaupt gerechtfertigt, die 110 Studien gemeinsam zu betrachten &#8211; und ist das Bild halbwegs vollst\u00e4ndig? Das sind die Vorbehalte, die praktisch alle anderen Autoren anf\u00fchren.<\/p>\n<p>Dass die Regressionsgerade im oberen Bereich zur Unwirksamkeit hin tendiert, liegt an der Asymmetrie der Daten. Am deutlichsten ist das im obigen Bild 1 zu erkennen. W\u00e4ren die Punkte in etwa symmetrisch zur Odds Ratio = 0,5 angeordnet, dann w\u00fcrde die r\u00f6tliche Regressionsgerade etwa senkrecht nach oben verlaufen, und bei der gr\u00f6\u00dften Studie erg\u00e4be sich ein Quotenverh\u00e4ltnis von etwa 0,5, also eine unzweifelhafte Wirksamkeit der Hom\u00f6opathika. Zur Symmetrie fehlen also eine Reihe kleiner Studien mit negativen Ergebnissen. Das f\u00fchrt zu der etwas absurden Schlussfolgerung, dass es mehrerer solcher negativer Ergebnisse bed\u00fcrfte, um die Evidenz f\u00fcr die Hom\u00f6opathie zu verbessern, oder dass es einige kleine positive Studien weniger geben m\u00fcsste. Ich muss zwar zugeben, mich hier durchaus im Grenzbereich meiner Statistikkenntnisse zu bewegen, aber das kann ich einfach nicht glauben.<\/p>\n<p>Aber, dessen ungeachtet, woher kommt die Asymmetrie?<\/p>\n<p>Shang et al. gehen davon aus, dass in kleineren Studien die Effekte \u00fcberbetont werden. Stellen Sie sich vor, in einem Sack w\u00e4ren nur schwarze und wei\u00dfe Kugeln, und Sie sollen die Anteile herausfinden. Wenn Sie nur zehn Kugeln ziehen, ist der kleinste Wert, den man unterscheiden kann, 10 %. Um einen Unterschied von nur zwei oder drei Prozent zu ermitteln m\u00fcssen wesentlich mehr Kugeln gezogen werden. Nach diesem Bild w\u00e4re die Gr\u00f6\u00dfe des festgestellten Effekts eine Folge der Gr\u00f6\u00dfe der Studie &#8211; und die Schlussfolgerung der Autoren w\u00e4re gerechtfertigt.<\/p>\n<p>Eine andere M\u00f6glichkeit ist, dass, wie schon gesagt, bei kleineren Studien die Ergebnisse zwar eher streuen als bei gro\u00dfen, aber dass bei kleineren Studien die Wahrscheinlichkeit gr\u00f6\u00dfer ist, dass negative Ergebnisse einfach nicht zur Ver\u00f6ffentlichung gelangen, als bei den teureren gr\u00f6\u00dferen. Dieser Effekt wird als &#8218;Publication bias&#8216; oder auch als &#8218;Schubladenproblem&#8216; bezeichnet. Wenn dies vorliegt, dann kann man eigentlich nicht auf einen Gr\u00f6\u00dfeneinfluss schlie\u00dfen. Je gr\u00f6\u00dfer das Schubladenproblem ist, desto weniger zutreffend ist die Schlussfolgerung der Autoren, da ja das Vorhandensein kleiner negativer Studien das Ergebnis f\u00fcr die Hom\u00f6opathie verbessern w\u00fcrde.<\/p>\n<p>Die Auftraggeber der Studie selbst f\u00fchren einen weiteren Punkt an [4]. Eigentlich ist das Verfahren der Meta-Regressionsanalyse daf\u00fcr gedacht, gleichartige Daten zu untersuchen und aus der Zusammenfassung zu einer gr\u00f6\u00dferen Datenmenge Effekte zu erkennen, die bei kleineren Einzelstudien nicht erkennbar sind. Hier wurde aber alles M\u00f6gliche in einen Topf geworfen, die verschiedensten Krankheitsbilder: Gehirnersch\u00fctterung, Muskelkater, Warzen, Durchfall und so weiter und so fort. Selbst wenn die Hom\u00f6opathie eine wirksame Therapie w\u00e4re, dann w\u00e4re sicher nicht zu erwarten, dass diese in allen F\u00e4llen die gleiche Wirksamkeit zeigen w\u00fcrde. Wenn dies so ist, dann setzt sich der gro\u00dfe Gesamt-Funnelplot aus vielen kleinen zusammen, was bei unterschiedlichen Wirksamkeiten keine Gesamtsymmetrie ergeben muss. Als Folge ist aus einer Neigung der Gesamtregressionsgraden nicht zu schlie\u00dfen, dass ein genereller asymmetrischer Gr\u00f6\u00dfeneffekt vorliegt. Daher haben die Auftraggeber der Studie selbst deutlich bem\u00e4ngelt, dass ihnen Shangs Schlussfolgerung, Hom\u00f6opathie sei nur Placebo, zu weit geht. Diese methodische Kritik wandelt sich nat\u00fcrlich bei den Bef\u00fcrwortern der Hom\u00f6opathie dahingehend, dass die Auftraggeber die ganze Studie verworfen h\u00e4tten, was wiederum die Wirksamkeit der Hom\u00f6opathie beweisen k\u00f6nne [8].<\/p>\n<p>Einen anderen Aspekt f\u00fchren Rutten und L\u00fcdtke an [5]. Bei der Auswahl der Studien f\u00fcr diese Untersuchung wurden auch sieben Studien nicht aufgenommen, da sich keine vergleichbaren Studien der konventionellen Medizin gefunden h\u00e4tten, sowie weitere neun, die nicht aufgefunden wurden. Darunter seien aber vier Studien, die mit hoher Teilnehmerzahl f\u00fcr die Hom\u00f6opathie positive Ergebnisse erbracht h\u00e4tten und zudem auch in fr\u00fcheren Metaanalysen als qualitativ hochwertig eingesch\u00e4tzt worden seien. W\u00fcrde man diese in den Funnel-Plot mit aufnehmen, dann erg\u00e4be sich ebenfalls eine steilere Regressionsgerade, was wiederum zu einem g\u00fcnstigeren Ergebnis der Hochrechnung gef\u00fchrt h\u00e4tte.<\/p>\n<p>Schlie\u00dflich f\u00fchrt Hahn noch einen sehr interessanten Aspekt ein [7]: Man betrachtet \u00fcblicherweise, dass die vergleichsweise gro\u00dfe Effektst\u00e4rke bei kleineren Studien eine Folge der geringeren Genauigkeit und der h\u00f6heren Streuung ist. Was aber, wenn es sich mit Ursache und Wirkung genau anders herum verh\u00e4lt? Letztendlich kosten gro\u00dfe Studien einiges an Geld, mehr als kleine, und Forschungsgelder sind immer knapp. Wenn also bei einer Studie eine gro\u00dfe Effektst\u00e4rke zu erwarten ist, entweder weil entsprechende Erfahrungen bzw. Literaturangaben oder Vorversuche vorliegen, dann ist die geringe Teilnehmerzahl eher eine Folge eines gro\u00dfen Effekts und nicht die Ursache daf\u00fcr. Aus wirtschaftlichen Gr\u00fcnden w\u00fcrde nur eine kleinere Zahl an Teilnehmern rekrutiert. Dann hat aber die Regressionsgerade keine Aussagekraft dahingehend, dass der Effekt bei hoher Teilnehmerzahl verschwinden w\u00fcrde, sondern eben nur f\u00fcr die bekannte Tatsache, dass man bei kleinen Effekten gro\u00dfe Teilnehmerzahlen zur Entdeckung braucht.<\/p>\n<p>So, damit soll es zur Regressionsanalyse genug sein. Ich kann ehrlich nicht beurteilen, ob die angef\u00fchrten Vorbehalte alle zutreffen, und wenn ja, in welchem Ausma\u00df. Dazu liegen mir nicht gen\u00fcgend Informationen vor, und ich habe auch nicht die Kapazit\u00e4t, mich in vertretbarer Zeit in alle die angef\u00fchrten und weggelassenen Studien einzufinden, um hier ein klareres Bild zu erlangen. Dass sich bei Verwendung anderer Kennzahlen wahrscheinlich deutlich andere Ergebnisse zeigen, der Umstand, dass es der Hom\u00f6opathie an ein paar kleinen negativen Studien fehlt, um in Summe positiver dazustehen, l\u00e4sst doch einige Zweifel hinsichtlich der Aussagekraft der Untersuchung aufkommen.<\/p>\n<p>Obwohl das Ergebnis dieses Teils durchaus meiner Erwartungshaltung entspricht, muss festgehalten werden, dass die Methodik, die zu dem Ergebnis gef\u00fchrt hat, wahrscheinlich ungeeignet war.<\/p>\n<p><b>Die Besten und Gr\u00f6\u00dften<\/b><\/p>\n<p>Ausgehend von dem festgestellten Gr\u00f6\u00dfeneffekt haben Shang et al. eine zusammenfassende Betrachtung der Studien angestellt, die als von hoher Qualit\u00e4t bewertet wurden und als ausreichend gro\u00df anzusehen sind.<\/p>\n<p>Auswahlkriterien f\u00fcr die Qualit\u00e4t waren die allgemein \u00fcblichen Kriterien hinsichtlich der Angemessenheit von Randomisierung und Verblindung sowie das Beachten des Intent-to-treat-Prinzips, wonach \u00fcber alle Studienteilnehmer berichtet werden muss. <b>Dass<\/b> diese Kriterien anzuwenden sind, dar\u00fcber besteht durchgehende Einigkeit, dies wurde von keinem Kritiker beanstandet.<\/p>\n<p>Beanstandet wurde aber sehr wohl, <b>wie<\/b> die Kriterien angewendet wurden. Rutten f\u00fchrt aus, dass es vier Studien g\u00e4be, die in der fr\u00fcheren Metaanalyse von Linde aus dem Jahre 1997 als hochwertig eingestuft worden seien, drei davon mit hoher Teilnehmerzahl, von Shang et al. aber nicht in diese Gruppe aufgenommen worden sind.<\/p>\n<p>Wenn dies auch nachvollziehbar erscheint, so erscheint der n\u00e4chste Punkt eher etwas abwegig. Rutten bem\u00e4ngelt n\u00e4mlich, dass Studien zur hom\u00f6opathischen Behandlung von Muskelkater mit in die Betrachtung einbezogen wurden. Hier k\u00f6nne ja die Hom\u00f6opathie nicht wirken, sie sei schlie\u00dflich nicht als Therapie f\u00fcr Gesunde gedacht.<\/p>\n<p style=\"padding-left: 30px;\"><span style=\"font-family: Arial,sans-serif;\"><span style=\"font-size: medium;\"><i><span style=\"font-weight: normal;\">As treatment of healthy <\/span>individuals is very rare in homeopathic practice this outcome has low external validity to judge the effect of homeopathy as a method.<\/i><\/span><\/span><\/p>\n<p>Ein Muskelkater nach einem Marathonlauf, so muss man wohl vermuten, kann nat\u00fcrlich nur gesunde Menschen treffen, Kranke machen schlie\u00dflich keinen Marathonlauf. Nun gut, es scheint mithin zwei Arten von Verstimmungen der Lebenskraft zu geben, was nach hom\u00f6opathischer Auffassung die Ursache von Beschwerden und Krankheiten ist: echte Beschwerden eben und solche Erscheinungen, die sich nur wie Beschwerden anf\u00fchlen. Wie ist das mit Schwangerschaft, Verstauchungen, Gehirnersch\u00fctterungen und Operationsfolgen? \u00c4hnliches gilt f\u00fcr die Studie, die sich mit der Vorbeugung gegen grippale Infekte befasst.<\/p>\n<p>Der gr\u00f6\u00dfte Vorbehalt besteht aber in der Frage, was denn eine &#8218;gr\u00f6\u00dfere Studie&#8216; sei. Im Text von Shang et al. wird beschrieben, dass es sich um die Studien handele, die mit einem Standardfehler im unteren Quartilsbereich angesiedelt seien. Nur, welche sind das? Auch hier lassen uns die Autoren im Unklaren. Die kleinste der als &#8218;gr\u00f6\u00dfere Studien&#8216; in die Betrachtung eingeflossenen Untersuchungen zeigt 98 Teilnehmer. Insgesamt haben 31 der 110 Hom\u00f6opathiestudien 98 oder mehr Teilnehmer. Oder werden die Gr\u00f6\u00dfendaten durch die Verwendung des Standardfehlers als Kriterium verzerrt? Das Quartil l\u00e4ge in der 28. Studie, was 104 Teilnehmern entspricht. Auch eine gerade Zahl (100 oder 90) w\u00fcrde nach einem vorab bestimmten Zahlenwert aussehen, aber 98?<\/p>\n<p>Die ausgewerteten 8 gro\u00dfen Studien sind tats\u00e4chlich die nach Teilnehmerzahl gerechnet gr\u00f6\u00dften Studien mit guter Qualit\u00e4t. Also scheint die Verwendung des Standardfehlers als Kriterium die Reihung doch nicht allzu sehr durcheinandergebracht zu haben, jedenfalls nicht hier.<\/p>\n<p>Die folgende Tabelle gibt die 21 von Shang et al. als qualitativ hochwertig angesehenen Studien wieder. Die gr\u00fcn unterlegten Zeilen kennzeichnen f\u00fcr die Hom\u00f6opathie positive Studien, rot das Gegenteil. Die Studien mit den Nummern 1 bis 8 sind in die Endauswertung der &#8218;gro\u00dfen Studien&#8216; eingeflossen.<\/p>\n<p><a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/Untersuchungen.jpg\"><img loading=\"lazy\" class=\"alignnone size-full wp-image-1965\" src=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/Untersuchungen.jpg\" alt=\"Untersuchungen\" width=\"590\" height=\"570\" srcset=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/Untersuchungen.jpg 590w, http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2014\/06\/Untersuchungen-300x289.jpg 300w\" sizes=\"(max-width: 590px) 100vw, 590px\" \/><\/a><\/p>\n<p>Tabelle 1: Qualitativ hochwertige Studien<\/p>\n<p>Man erkennt, dass durchaus die gr\u00f6\u00dfere Zahl der Studien zu einem positiven Ergebnis kam, wenn auch manchmal nur recht schwach. Damit ist klar, dass es von dem angewandten Grenzwert abh\u00e4ngt, bis zu dem die Studien ber\u00fccksichtigt werden, wie das zusammengefasste Ergebnis aussieht. Das l\u00e4sst auch den Verdacht aufkeimen, dass die Festlegung der Zahl 98 post hoc erfolgte, um die 8. Studie noch mit aufzunehmen, was das Ergebnis sicher nicht verbessert hat. Starker Tobak, aber nicht von der Hand zu weisen, denn die Autoren geben keine verst\u00e4ndlichen Informationen zur Auswahl.<\/p>\n<p>Also, auch dieses Ergebnis, dass die zusammengefasste Betrachtung der besten und gr\u00f6\u00dften Studien zwar eine Wirksamkeit der Hom\u00f6opathie zeigt, dies aber mit einiger Wahrscheinlichkeit auch genau anders herum sein k\u00f6nnte, ist auf etwas fragw\u00fcrdige Weise zustande gekommen.<\/p>\n<p><b>&#8230; und jetzt?<\/b><\/p>\n<p>Wenn man solche Reviews liest, auch die Kritiken dazu, dann f\u00e4llt auf, dass sich eigentlich niemand mit dem Innenleben der Studien besch\u00e4ftigt. Was immer die Studienautoren auch geschrieben haben, wird au\u00dfer den Qualit\u00e4tskriterien Randomisierung, Verblindung und Intent-to-treat nicht weiter \u00fcberpr\u00fcft. Dabei springen einen die Fehler manchmal geradezu an, selbst wenn man die Studie nur einfach liest. H\u00e4tten Shang et al. sich einfach diese kleine M\u00fche gemacht, man h\u00e4tte sich das ganze zweifelhafte Auswahlverfahren sparen und auf die statistische Auswertung in weiten Teilen verzichten k\u00f6nnen.<\/p>\n<p>Wie man solche Betrachtungen systematisch betreiben kann, hatte ich auf der Skepkon 2014 in M\u00fcnchen vorgestellt, eine entsprechende Fachver\u00f6ffentlichung ist f\u00fcr die n\u00e4chsten Monate geplant. Hier nur eine zusammenfassende Aufz\u00e4hlung der Vorbehalte zu den 13 f\u00fcr die Hom\u00f6opathie positiven &#8218;qualitativ hochwertigen&#8216; Studien:<\/p>\n<ul>\n<li><span style=\"text-decoration: underline;\">Rottey 1995, Vorbeugung gegen Erk\u00e4ltungskrankheiten &#8211; negativ<\/span><br \/>\nErgebnis nicht statistisch signifikant. Bewertung nach den in der Datenbank der Carstens-Stiftung zu findenden Angaben zum Ergebnis.<\/li>\n<li><span style=\"text-decoration: underline;\">Papp 1998, Grippaler Infekt &#8211; negativ (<a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?page_id=844\">Link<\/a>)<\/span><br \/>\nUngeeignete Auswertung: Zielkriterium durchschnittliche Krankheitsdauer wird nicht ermittelt, rund 30 % der Patienten werden dabei nicht ber\u00fccksichtigt.<\/li>\n<li><span style=\"text-decoration: underline;\">Schmidt 2002, Gewichtsreduktion &#8211; negati<\/span>v<br \/>\nMangelnde therapeutische Relevanz und winzige Effektgr\u00f6\u00dfe,die Unterschiede betrugen kurzzeitig nur wenige Gramm, zumeist auch noch in der falschen Richtung.<\/li>\n<li><span style=\"text-decoration: underline;\">Jacobs 2000, Kindlicher Durchfall &#8211; negativ (<a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?page_id=404\">Link<\/a>)<\/span><br \/>\nDominierender Effekt durch die gleichzeitige Trinktherapie am ersten Tag und deutliche Gruppenunterschiede k\u00f6nnen zu dem Ergebnis gef\u00fchrt haben, nach dem ersten Tag keine Wirksamkeit der Hom\u00f6opathika erkennbar.<\/li>\n<li><span style=\"text-decoration: underline;\">Weiser 1994, Chronische Nasennebenh\u00f6hlenentz\u00fcndung &#8211; negativ<\/span><br \/>\nInhomogene Punktvergabe zu einem Gesamtscore, gleiche Werte bedeuten nicht unbedingt gleiche Intensit\u00e4t der Beschwerden, Langzeitdaten nicht berichtet, subjektiver Vorteil bei Placebo.<\/li>\n<li><span style=\"text-decoration: underline;\">Jacobs 1994, Kindlicher Durchfall &#8211; negativ (<a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?page_id=404\">Link<\/a>)<\/span><br \/>\nsiehe oben (Jacobs 2000).<\/li>\n<li><span style=\"text-decoration: underline;\">Jacobs 2001, Mittelohrentz\u00fcndung &#8211; negativ<\/span><br \/>\nNur Pilotstudie mit zu kleiner Teilnehmerzahl, Hauptergebnis nicht signifikant.<\/li>\n<li><span style=\"text-decoration: underline;\">Wiesenauer 1983, Heuschnupfen &#8211; positiv<\/span><br \/>\nNichts zu bem\u00e4ngeln.<\/li>\n<li><span style=\"text-decoration: underline;\">Zell 1988, Verstauchungen &#8211; negativ<\/span><br \/>\nEs wurde Traumeel verabreicht, das zu einem hohen Umfang auch Wirkstoffe in Urtinkturkonzentration enth\u00e4lt. Wirkung der hom\u00f6opathischen Anteile nicht nachweisbar.<\/li>\n<li><span style=\"text-decoration: underline;\">B\u00f6hmer 1992, Verstauchungen &#8211; negativ<\/span><br \/>\nWie Zell 1988.<\/li>\n<li><span style=\"text-decoration: underline;\">Tveiten (1998), Muskelschmerz nach Anstrengung &#8211; negativ (<a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?page_id=885\">Link<\/a>)<\/span><br \/>\nKein Testkriterium beschrieben, in sieben (!) gr\u00f6\u00dferen Studien nicht repliziert, kein objektiver Effekt gegeben.<\/li>\n<li><span style=\"text-decoration: underline;\">Stevinson 2003, Schmerzen und Bluterg\u00fcsse nach Operation &#8211; negativ<\/span><br \/>\nKeine Signifikanz, die Autoren selbst halten das erzielte Ergebnis f\u00fcr unbedeutend.<\/li>\n<li><span style=\"text-decoration: underline;\">Lepaisant 1995, Pr\u00e4menstruelles Syndrom &#8211; unklar<\/span><br \/>\nStudie liegt nicht vor. Dean berichtet, dass die Studie nicht randomisiert durchgef\u00fchrt wurde, was allerdings zu den Selektionskriterien im Widerspruch steht.<\/li>\n<\/ul>\n<p>Wie man sieht, bleibt eigentlich nur ein Studienergebnis bestehen, ein weiteres ist zweifelhaft wegen der unklaren Informationen zu dieser Studie. Ein bis zwei nicht negative Studien sind mit der Wahrscheinlichkeit von 5 % f\u00fcr ein falsch-positives Studienergebnis durchaus im Einklang.<\/p>\n<p><b>Zusammengefasst:<\/b><\/p>\n<p>Zur \u00fcbergreifenden statistischen Auswertung der Studienlage bleiben einige Vorbehalte, die nicht zu entkr\u00e4ften sind. Daher bestehen erhebliche Zweifel an der Belastbarkeit der Einsch\u00e4tzung, bei der Hom\u00f6opathie handle es sich um eine reine Placebowirkung. Dies sind aber Vorbehalte, die sich rein auf die angewandte Methodik beziehen, also auf die Art der Kennzahlbildung, der Studienauswahl und generell auf die Auswerteverfahren. Leider gibt dies den Verfechtern der Hom\u00f6opathie aber die Gelegenheit, die Studie anzugreifen und sie eher als Hinweis auf eine vorliegende Wirksamkeit zu nutzen.<\/p>\n<p>Eine Betrachtung der zugrundeliegenden Einzelstudien und eine Bewertung der internen Validit\u00e4t zeigt allerdings, dass die Ergebnisse selbst der allermeisten hochwertigen und gro\u00dfen Studien h\u00f6chstwahrscheinlich nicht auf die Wirkung der hom\u00f6opathischen &#8218;Arzneimittel&#8216; zur\u00fcckgef\u00fchrt werden k\u00f6nnen.<\/p>\n<p>Die Metaanalyse hat zwar im Ergebnis Recht &#8211; das hei\u00dft, sie entspricht der skeptischen Erwartungshaltung &#8211; aber nicht unbedingt in der Methodik.<\/p>\n<p><b>Literatur<\/b><\/p>\n<p>[1] Shang A et al.: Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy, Lancet 2005; 366: 726-32, Link zum Volltext: <a href=\"http:\/\/www.homeovet.cl\/Libros\/Are%20the%20clinical%20effects%20of%20homoeopathy%20placebo%20effects%20Comparative%20study%20of%20placebo-controlled%20t.pdf\" class=\"broken_link\">Hier<\/a><\/p>\n<p>[1a] Liste der von Shang ber\u00fccksichtigten Studien als Webappendix zur Originalver\u00f6ffentlichung im Lancet: <a href=\"http:\/\/www.sciencedirect.com\/science\/article\/pii\/S0140673605671772\" class=\"broken_link\">Link<\/a>, erfordert Login, dann Beitrag \u00f6ffnen und Webappendix 1 suchen!<\/p>\n<p>[1b] Shang A et al.: Study characteristics of homeopathy studies, Homepage des Instituts f\u00fcr Sozial- und Pr\u00e4ventivmedizin, <a href=\"http:\/\/www.ispm.unibe.ch\/unibe\/portal\/fak_medizin\/ber_vkhum\/inst_smp\/content\/e93945\/e93964\/e180045\/e467513\/pane467545\/e467549\/1433.Study_characteristics_of_homoeopathy_studies_corrected_eng.pdf\">Link<\/a><\/p>\n<p>[1c] Shang A et al.: List of excluded homeopathy studies, Homepage des Instituts f\u00fcr Sozal- und Pr\u00e4ventivmedizin, <a href=\"http:\/\/www.ispm.unibe.ch\/unibe\/portal\/fak_medizin\/ber_vkhum\/inst_smp\/content\/e93945\/e93964\/e180045\/e467513\/pane467545\/e467548\/1435.List_of_excluded_homoeopathy_studies_eng.pdf\">Link<\/a><\/p>\n<p>[1d] Angaben zu den in das Endergebnis eingeflossenen Studien finden sich in: Shang A et al.: Are the clinical effects of homoeopathy placebo effects? Authors&#8216; reply: Lancet 2005; 366: 2083-84, <a href=\"http:\/\/www.sciencedirect.com\/science\/article\/pii\/S0140673605678816\" class=\"broken_link\">Link<\/a>, erfordert Login, dann Beitrag \u00f6ffnen!<\/p>\n<p>[2] Optum: Effectiveness of Homeopathy for Clinical Conditions: Evaluation of the Evidence, Overview Report, October 2013, <a href=\"http:\/\/consultations.nhmrc.gov.au\/public_consultations\/homeopathy_health\" class=\"broken_link\">Link<\/a><\/p>\n<p>[3] The Lancet:&#8217;The End of Homeopathy&#8216;, Lancet 2005; 366: 690, <a href=\"http:\/\/www.sciencedirect.com\/science\/article\/pii\/S0140673605671498\" class=\"broken_link\">Link<\/a>, erfordert Login.<\/p>\n<p>[4] Melchart D et al: Programm Evaluation Komplement\u00e4rmedizin (PEK), Schlussbericht 20.04 2005, <a href=\"http:\/\/www.homeovet.cl\/Libros\/Are%20the%20clinical%20effects%20of%20homoeopathy%20placebo%20effects%20Comparative%20study%20of%20placebo-controlled%20t.pdf\" class=\"broken_link\">Link<\/a> zum Volltext<\/p>\n<p>[5] L\u00fcdtke R, Rutten ALB: The conclusions on the effectiveness of homeopathy highly depend on the set of analyzed trials, Journal of Clinical Epidemiology 2008; 61(12): 1197-1204, <a href=\"http:\/\/www.anthromed.org\/UploadedDocuments\/LuedtkeRuttenJCE08.pdf\" class=\"broken_link\">Link<\/a> zum Volltext<\/p>\n<p>[6] Rutten ALB, Stolper CF: The 2005 meta-analysis of homeopathy: the importance of post-publication data, Homeopathy 2008; 97: 169-177, <a href=\"https:\/\/s3.amazonaws.com\/academia.edu.documents\/42674338\/The_meta-analysis_of_homeopathy_The_impo20160214-23973-3cayvi.pdf?AWSAccessKeyId=AKIAIWOWYYGZ2Y53UL3A&amp;Expires=1546453762&amp;Signature=LV8pAw7kdR5f0WwyDAd1YsS67KM%3D&amp;response-content-disposition=inline%3B%20filename%3DThe_2005_meta-analysis_of_homeopathy_the.pdf\" class=\"broken_link\">Link<\/a> zum Volltext<\/p>\n<p>[7] Hahn RG: &#8218;Homeopathy: Meta-Analyses of Pooled Clinical Data&#8216;, Forsch. Komplement\u00e4rmedizin 2013; 20: 376-381, DOI 10.1159\/000355916, <a href=\"http:\/\/www.ncbi.nlm.nih.gov\/pubmed\/24200828\">Link<\/a> zum Abstract<\/p>\n<p>[8] Rutten L, et al.: Proof against homeopathy does in fact support homeopathy, <span class=\"citation\"><span class=\"ref-journal\">Homeopathy. <\/span>2006;<span class=\"ref-vol\">95<\/span>:57\u201361. Kein Abstract verf\u00fcgbar<\/span><\/p>\n<p>[9] Sch\u00e4fer T: Methodenlehre II, Verfahren f\u00fcr nominalskalierte Daten, Folie 10, <a href=\"https:\/\/www.tu-chemnitz.de\/hsw\/psychologie\/professuren\/method\/homepages\/ts\/methodenlehre\/meth5.pdf\" class=\"broken_link\">Link<\/a> zum Volltext<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Wesentlich aufw\u00e4ndiger als gedacht: Eine Auseinandersetzung mit der letzten gro\u00df angelegten Studie zur Wirksamkeit der Hom\u00f6opathie, die sich mit Originalarbeiten besch\u00e4ftigt: die im Jahr 2005 im Lancet ver\u00f6ffentlichte Arbeit von Shang et al.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[13,10,8],"tags":[],"_links":{"self":[{"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/posts\/1952"}],"collection":[{"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=1952"}],"version-history":[{"count":21,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/posts\/1952\/revisions"}],"predecessor-version":[{"id":5081,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/posts\/1952\/revisions\/5081"}],"wp:attachment":[{"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=1952"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=1952"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=1952"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}