{"id":2783,"date":"2015-12-29T16:25:13","date_gmt":"2015-12-29T15:25:13","guid":{"rendered":"http:\/\/www.beweisaufnahme-homoeopathie.de\/?p=2783"},"modified":"2015-12-29T16:25:13","modified_gmt":"2015-12-29T15:25:13","slug":"signifikante-ergebnisse-in-klinischen-studien-teil1","status":"publish","type":"post","link":"http:\/\/www.beweisaufnahme-homoeopathie.de\/?p=2783","title":{"rendered":"Signifikante Ergebnisse in klinischen Studien (Teil1)"},"content":{"rendered":"<div class=\"shariff shariff-align-flex-start shariff-widget-align-flex-start\" data-services=\"facebook%7Ctwitter\" data-url=\"http%3A%2F%2Fwww.beweisaufnahme-homoeopathie.de%2F%3Fp%3D2783\" data-timestamp=\"1451406313\" data-hidezero=\"1\" data-backendurl=\"?rest_route=\/shariff\/v1\/share_counts&\"><ul class=\"shariff-buttons theme-default wcag_colors orientation-horizontal buttonsize-small\"><li class=\"shariff-button facebook shariff-nocustomcolor\" style=\"background-color:#000\"><a href=\"https:\/\/www.facebook.com\/sharer\/sharer.php?u=http%3A%2F%2Fwww.beweisaufnahme-homoeopathie.de%2F%3Fp%3D2783\" title=\"Bei Facebook teilen\" aria-label=\"Bei Facebook teilen\" role=\"button\" rel=\"nofollow\" class=\"shariff-link\" style=\"; background-color:#38548F; color:#fff\" target=\"_blank\"><span class=\"shariff-icon\" style=\"\"><svg width=\"32px\" height=\"20px\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 18 32\"><path fill=\"#3b5998\" d=\"M17.1 0.2v4.7h-2.8q-1.5 0-2.1 0.6t-0.5 1.9v3.4h5.2l-0.7 5.3h-4.5v13.6h-5.5v-13.6h-4.5v-5.3h4.5v-3.9q0-3.3 1.9-5.2t5-1.8q2.6 0 4.1 0.2z\"\/><\/svg><\/span><span class=\"shariff-text\">teilen<\/span>&nbsp;<span data-service=\"facebook\" style=\"color:#38548F\" class=\"shariff-count\"> 1<\/span>&nbsp;<\/a><\/li><li class=\"shariff-button twitter shariff-nocustomcolor\" style=\"background-color:#000\"><a href=\"https:\/\/twitter.com\/share?url=http%3A%2F%2Fwww.beweisaufnahme-homoeopathie.de%2F%3Fp%3D2783&text=Signifikante%20Ergebnisse%20in%20klinischen%20Studien%20%28Teil1%29\" title=\"Bei Twitter teilen\" aria-label=\"Bei Twitter teilen\" role=\"button\" rel=\"noopener nofollow\" class=\"shariff-link\" style=\"; background-color:#115A92; color:#fff\" target=\"_blank\"><span class=\"shariff-icon\" style=\"\"><svg width=\"32px\" height=\"20px\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 30 32\"><path fill=\"#55acee\" d=\"M29.7 6.8q-1.2 1.8-3 3.1 0 0.3 0 0.8 0 2.5-0.7 4.9t-2.2 4.7-3.5 4-4.9 2.8-6.1 1q-5.1 0-9.3-2.7 0.6 0.1 1.5 0.1 4.3 0 7.6-2.6-2-0.1-3.5-1.2t-2.2-3q0.6 0.1 1.1 0.1 0.8 0 1.6-0.2-2.1-0.4-3.5-2.1t-1.4-3.9v-0.1q1.3 0.7 2.8 0.8-1.2-0.8-2-2.2t-0.7-2.9q0-1.7 0.8-3.1 2.3 2.8 5.5 4.5t7 1.9q-0.2-0.7-0.2-1.4 0-2.5 1.8-4.3t4.3-1.8q2.7 0 4.5 1.9 2.1-0.4 3.9-1.5-0.7 2.2-2.7 3.4 1.8-0.2 3.5-0.9z\"\/><\/svg><\/span><span class=\"shariff-text\">twittern<\/span>&nbsp;<span data-service=\"twitter\" style=\"color:#115A92\" class=\"shariff-count shariff-hidezero\"><\/span>&nbsp;<\/a><\/li><li class=\"shariff-button rss shariff-nocustomcolor\" style=\"background-color:#000\"><a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?feed=rss\" title=\"RSS-feed\" aria-label=\"RSS-feed\" role=\"button\" class=\"shariff-link\" style=\"; background-color:#aa2e00; color:#fff\" target=\"_blank\"><span class=\"shariff-icon\" style=\"\"><svg width=\"32px\" height=\"20px\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewBox=\"0 0 32 32\"><path fill=\"#fe9312\" d=\"M4.3 23.5c-2.3 0-4.3 1.9-4.3 4.3 0 2.3 1.9 4.2 4.3 4.2 2.4 0 4.3-1.9 4.3-4.2 0-2.3-1.9-4.3-4.3-4.3zM0 10.9v6.1c4 0 7.7 1.6 10.6 4.4 2.8 2.8 4.4 6.6 4.4 10.6h6.2c0-11.7-9.5-21.1-21.1-21.1zM0 0v6.1c14.2 0 25.8 11.6 25.8 25.9h6.2c0-17.6-14.4-32-32-32z\"\/><\/svg><\/span><span class=\"shariff-text\">RSS-feed<\/span>&nbsp;<\/a><\/li><\/ul><\/div><p>&#8222;Wie muss man sich signifikante Ergebnisse bei Hom\u00f6opathiestudien so vorstellen? Wie sieht das denn bei wirksamen Arzneimitteln aus, z.B. Aspirin?&#8220;<\/p>\n<p>Das war sinngem\u00e4\u00df die Frage des Users 2xhinschauen auf dem GWUP-Blog (<a href=\"http:\/\/blog.gwup.net\/2015\/11\/26\/stern-tv-und-stern-interview-jetzt-online-dr-natalie-grams-zur-homoopathie\/#comment-58643\">Link<\/a>).<\/p>\n<p>Ich nehme dies zum Anlass, mich einmal generell \u00fcber die Signifikanz auszulassen, wie sie von den Protagonisten der Hom\u00f6opathie gerne dargestellt wird &#8211; was da eigentlich dahinter steht und was der Patient f\u00fcr sich daraus ableiten kann.<\/p>\n<p><!--more--><\/p>\n<p><strong>Problemstellung<\/strong><\/p>\n<p>Die Hom\u00f6opathie ist, glaubt man ihren Protagonisten, bei all ihrer behaupteten Sanftheit und Nat\u00fcrlichkeit eine sehr wirkungsvolle Therapieform, mit der alle nur erdenklichen Krankheiten und Beschwerden effektiv geheilt werden k\u00f6nnen. Das gilt angeblich auch f\u00fcr schwerste Pathologien (Krebs, Diabetes, Infektionskrankheiten etc.), insbesondere, wenn sie chronisch sind und die Patienten bereits &#8218;von der Universit\u00e4tsmedizin aufgegeben wurden&#8216;. (Anmerkung: \u00c4rzte werden ausschlie\u00dflich an Universit\u00e4ten ausgebildet. Nur Heilpraktiker durchlaufen &#8211; wenn \u00fcberhaupt &#8211; eine &#8218;Schule&#8216;.) Kurzum, wer sich der Hom\u00f6opathie anvertraut, und das tun ja angeblich immer mehr Menschen, wird mit ziemlicher Sicherheit eine durchgreifende Besserung seiner Situation erreichen k\u00f6nnen &#8211; so die vollmundigen Aussagen der Hom\u00f6opathen jedenfalls.<\/p>\n<p>Was kann der Patient f\u00fcr sich daraus ableiten, wenn ihm erkl\u00e4rt wird, f\u00fcr seine Indikation oder sogar f\u00fcr die Hom\u00f6opathie als Ganzes g\u00e4be es Studien mit signifikanten positiven Effekten? Studien, in denen also ermittelt wurde, dass das Hom\u00f6opathikum &#8217;signifikant&#8216; wirksamer war als das in der Kontrollgruppe verabreichte wirkstofffreie Placebo? Dies wird im ersten Teil dieses Artikels behandelt.<\/p>\n<p>Welche Kennzahl beschreibt hingegen die Erfolgschancen eines Patienten, das hei\u00dft, wie stark die Verbesserung eigentlich sein wird, die der Patient von der Behandlung erwarten kann? Wird eine solche Kennzahl \u00fcberhaupt in Studien oder sonstwo systematisch ermittelt? Gedanken hierzu werden in K\u00fcrze in Teil 2 folgen.<\/p>\n<p>Ich kann die obige Frage allerdings nur zum Teil beantworten, denn ich habe mich nur mit Studien zur Hom\u00f6opathie besch\u00e4ftigt. Ich bef\u00fcrchte allerdings, dass es bei den evidenzbasierten Kollegen um keinen Deut besser aussieht &#8211; schlie\u00dflich ist auch hier viel Geld involviert. Aber dies macht die Situation bei der Alternativmedizin nicht besser.<\/p>\n<p><strong>Dreh- und Angelpunkt: Signifikante Ergebnisse<\/strong><\/p>\n<p>Jeder, der sich mit Studien zur Wirksamkeit von Therapien besch\u00e4ftigt, d\u00fcrfte davon geh\u00f6rt haben, dass die Ergebnisse &#8217;signifikant&#8216; sein m\u00fcssen, um bedeutsam zu sein. Ist das Ergebnis &#8217;signifikant&#8216;, dann gilt die Studie f\u00fcrderhin als Beleg f\u00fcr eine Wirksamkeit der untersuchten Arznei. Sind sie es nicht, dann gilt der Nachweis als misslungen &#8211; was \u00fcbrigens nicht bedeutet, dass damit das Gegenteil nachgewiesen sei.<\/p>\n<p>Mit signifikanten Vorteilen einer Therapie wird gerne geworben, denn der Laie versteht dem allgemeinen Sprachgebrauch folgend darunter etwas Gro\u00dfes, Deutliches. Ganz im Sinne des Dudens, der die Adjektive &#8218;bedeutend, bemerkenswert, betr\u00e4chtlich, deutlich, gewichtig etc.&#8216; als Synonyme f\u00fcr &#8217;signifikant&#8216; auff\u00fchrt (<a href=\"http:\/\/www.duden.de\/rechtschreibung\/signifikant#Bedeutunga\">Link<\/a>).<\/p>\n<p>Diese Sichtweise ist aber nur bedingt zutreffend, denn im Zusammenhang mit Forschungsarbeiten ist die &#8217;statistische Signifikanz&#8216; gemeint. Diese steht nicht f\u00fcr die Gr\u00f6\u00dfe eines Unterschiedes zwischen Placebo- und Verumgruppe, sondern f\u00fcr dessen Wahrscheinlichkeit des Auftretens. \u00dcblicherweise wird ein Signifikanzniveau von 5 % als Grenzwert definiert.<\/p>\n<p>Von welcher Wahrscheinlichkeit sprechen wir hier?<\/p>\n<p>Beim Werfen einer idealen M\u00fcnze ist es gleich wahrscheinlich, ob das Wappen oder die Zahl sichtbar ist, wenn die M\u00fcnze gefallen ist. Nun ist aber nicht zu erwarten, dass in jedem Fall, beispielsweise nach hundert W\u00fcrfen, Wappen und Zahl jeweils absolut gleich oft gefallen sein werden. Nehmen wir an, bei 100 W\u00fcrfen gab es 60 Mal Wappen und 40 Mal Zahl. Ist das noch die zu erwartende zuf\u00e4llige Streuung oder deutet das schon darauf hin, dass die M\u00fcnze systematisch eine Seite bevorzugt? Hierzu wird mit einem statistischen Testverfahren die Wahrscheinlichkeit berechnet, mit der dieses Ergebnis auftritt, wenn die M\u00fcnze tats\u00e4chlich absolut &#8218;gleichm\u00e4\u00dfig&#8216; w\u00e4re. Liegt diese Wahrscheinlichkeit bei unter 5 %, dann gilt die Abweichung definitionsgem\u00e4\u00df als signifikant, das hei\u00dft, man geht davon aus, dass die M\u00fcnze wahrscheinlich nicht &#8218;gleichm\u00e4\u00dfig&#8216;, sondern eher &#8218;einseitig&#8216; ist.<\/p>\n<p>Die Grenze der Signifikanz als Wahrscheinlichkeit von 5 % f\u00fcr das Eintreten des Ergebnisses von 5 % bedeutet aber auch, dass es durchaus F\u00e4lle gibt, in denen zwar tats\u00e4chlich ein Zufallsergebnis vorliegt, dies aber, weil es wenig wahrscheinlich ist, als ein Nicht-Zufallsergebnis gedeutet wird. Dies nennt man einen &#8218;Fehler 1. Art&#8216;, &#8218;Alpha-Fehler&#8216; oder ein &#8218;falsch-positives Ergebnis&#8216;. Im Beispiel bedeutet dies, dass man die M\u00fcnze f\u00fcr einseitig h\u00e4lt, sie es in Wirklichkeit aber nicht ist. Es d\u00fcrfte klar sein, dass ein tats\u00e4chlich falsch-positives Ergebnis bei einer Wiederholung des Experiments aufgrund der geringen Wahrscheinlichkeit (sehr wahrscheinlich) nicht mehr auftritt.<\/p>\n<p>Naheliegend w\u00e4re nun, einfach die Grenze von 5 % auf kleinere Werte zu verschieben. Dies erh\u00f6ht aber das Risiko, dass man ein tats\u00e4chlich nicht auf einem Zufall beruhendes Ergebnis nicht erkennt. Etwa, dass die M\u00fcnze tats\u00e4chlich eine Seite bevorzugt, allerdings nur in geringem Umfang. Dies ist dann der &#8218;Fehler 2. Art&#8216;, &#8218;Beta-Fehler&#8216; oder ein &#8218;falsch-negatives Ergebnis&#8216;. Im Beispiel k\u00e4me man zu dem Schluss, die M\u00fcnze w\u00e4re in Ordnung, sie ist es aber in Wirklichkeit nicht. Auch ein solcher Fehler lie\u00dfe sich durch Wiederholung des Versuchs (wahrscheinlich) erkennen.<\/p>\n<p>\u00dcblicherweise soll die Wahrscheinlichkeit eines Fehlers 2. Art bei nicht mehr als 20% liegen, was unter Anderem durch die Anzahl der Testw\u00fcrfe &#8211; 1000 anstatt 100 &#8211; und die Anwendung eines geeigneten Testverfahrens sichergestellt wird. Damit wollen wir uns aber hier nicht befassen.<\/p>\n<p>Bei einer klinischen Studie wird aber nicht gew\u00fcrfelt oder eine M\u00fcnze geworfen &#8211; hoffentlich nicht! Der Zufall kommt auf andere Weise ins Spiel. Bekanntlich werden die Testpersonen in zwei Gruppen aufgeteilt, deren eine das zu testende Mittel erh\u00e4lt (&#8218;Verum&#8216;), die andere zu Vergleichszwecken ein Mittel ohne jeden Wirkstoffgehalt. Wenn sich nach der Therapie zeigt, dass es in beiden Gruppen unterschiedlich starke Verbesserungen gegeben hat, dann ist die Frage, ob dies vielleicht auch nur eine Folge einer zuf\u00e4lligen ungleichm\u00e4\u00dfigen Verteilung der Patienten gewesen sein k\u00f6nnte. Es k\u00f6nnte ja sein, dass sich bei allen geheilten Probanden die Besserung ohne den Einfluss des Mittels ergeben hat, diese Patienten jedoch unterschiedlich auf die beiden Gruppen verteilt worden sind. Dies w\u00fcrde wie ein Vorteil f\u00fcr eine der beiden Gruppen aussehen, jedoch auf einem Zufall beruhen.<\/p>\n<p>Mit statistischen Testverfahren, die an die Art der vorliegenden Daten angepasst sind, wird ermittelt, wie wahrscheinlich eine solche Ungleichm\u00e4\u00dfigkeit der Verteilung w\u00e4re, wenn sie nur durch die zuf\u00e4llige Verteilung zustande gekommen w\u00e4re und das Mittel nicht wirksam war. Ist diese Wahrscheinlichkeit geringer als 5 %, dann geht man davon aus, dass der Unterschied signifikant daf\u00fcr ist, dass die Wirkung des eingenommenen Mittels als Ursache angesehen werden kann. Die Einschr\u00e4nkungen zu falsch-positiven und falsch-negativen Ergebnissen gelten auch hier wie oben beschrieben.<\/p>\n<p><strong>Die solide Vorgehensweise<\/strong><\/p>\n<p>Ein solides wissenschaftliches Vorgehen sieht etwa wie folgt aus:<\/p>\n<p>Man legt vorher fest, also bevor man die Untersuchung startet, anhand welcher Daten man den Nachweis f\u00fchren will, wie man sie ermitteln und auswerten will. Will man eine erfolgreiche Therapie beurteilen, indem man die Schwere der Symptome bewertet, die Dauer der Beschwerden, irgendwelche messbaren Daten, die K\u00f6rpertemperatur vielleicht oder das subjektive Wohlbefinden? Gleichg\u00fcltig was es ist, woran man den Erfolg erkennen will, man muss dies vor Beginn der Studie festlegen. Der K\u00f6nigsweg ist, die Studie vorher registrieren zu lassen oder eine Ver\u00f6ffentlichung zu schreiben, in der diese Festlegungen getroffen werden. In der M\u00fcnchner Kopfschmerzstudie ist man so verfahren [1] oder auch bei der Metaanalyse von Mathie [2].<\/p>\n<p>Woher wei\u00df man nun, welches Kriterium man verwenden soll? Zweckm\u00e4\u00dfigerweise nat\u00fcrlich das, was man am einfachsten messen kann oder das die deutlichsten Ergebnisse erzielt. Wenn man keine Literaturdaten oder Vorarbeiten anderer Autoren zur Verf\u00fcgung hat, dann macht man eine Pilotstudie mit einer relativ kleinen Teilnehmerzahl und probiert das Vorhaben einfach aus. Anhand dieser Vorstudie, die auch ver\u00f6ffentlicht wird, trifft man die Festlegungen f\u00fcr die nun folgende Hauptstudie. In dieser Hauptstudie ergibt sich dann im Idealfall tats\u00e4chlich ein signifikanter Unterschied der Arznei gegen\u00fcber Placebo. Damit ist man dann schon auf einer sehr hohen Stufe der Evidenz angekommen &#8211; die nur noch dadurch \u00fcbertroffen werden kann, dass andere Forscher unabh\u00e4ngig von der ersten Forschergruppe bei vergleichbaren Versuchen zu \u00e4hnlichen Ergebnissen kommen und dies in einer Metaanalyse zusammenfassend best\u00e4tigt werden kann.<\/p>\n<p>Soweit der Idealfall.<\/p>\n<p><strong>Die Zitier-Signifikanz<\/strong><\/p>\n<p>Der Idealfall des Nachweises ist, wie vielleicht nachvollziehbar, recht aufw\u00e4ndig &#8211; und tr\u00e4gt auch immer das Risiko des Scheiterns in sich. Da muss man sich schon \u00fcberlegen, was man eigentlich will:<\/p>\n<p>Es ist werbewirksam, wenn man auf signifikante Studien verweisen kann, was der Laie f\u00e4lschlicherweise aber durchaus erw\u00fcnscht als einen f\u00fchlbaren gro\u00dfen Vorteil versteht, den er bei Anwendung der Therapie erreichen kann. Es m\u00fcssen also signifikante Studienergebnisse her! Also irgendwo muss in der Studie das Wort &#8217;signifikant&#8216; auftauchen, sonst kann man es nicht zitieren. Nat\u00fcrlich w\u00e4re es sch\u00f6n, wenn man Ergebnisse h\u00e4tte, deren Signifikanz \u00fcber jeden Zweifel erhaben sind &#8211; aber was macht man, wenn das nicht der Fall ist?<\/p>\n<p><strong>M\u00f6glichkeit 1: Cherrypicking<\/strong><\/p>\n<p>Wenn man eine Studie unternimmt, dann kann man einfach sehr viele Vergleichsdaten ermitteln (&#8218;Data mining&#8216;). Da die Signifikanz mit einer Wahrscheinlichkeit von 5 % auftritt, wird man bei hinreichend gro\u00dfer Anzahl von Daten auch etwas finden k\u00f6nnen, das signifikant ist. Und schon hat man ein zitierf\u00e4higes signifikantes Ergebnis erzeugt. Nat\u00fcrlich ist das kein wissenschaftlich solides Vorgehen, siehe oben, aber dennoch legen manche Arbeiten den Schluss nahe, dass so etwas passiert.<\/p>\n<p>In der Arbeit von Ferley et al. geht es beispielsweise um die Wirksamkeit eines hom\u00f6opathischen Pr\u00e4parats namens Oscillococcinum bei grippalen Infekten [3]. Eine ausf\u00fchrliche Besprechung dieser Arbeit findet sich in meinem Buch (<a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?page_id=72\">Link<\/a>), eine Replikation durch Papp et al. wurde <a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?p=844\">hier<\/a> in meinem Blog besprochen. Eine Vorstudie wurde nicht ver\u00f6ffentlicht, die Studie wurde auch nicht registriert, was zur Zeit der Ver\u00f6ffentlichung allerdings auch noch nicht \u00fcblich war.<\/p>\n<p>Es ging also um ganz banale Erk\u00e4ltungskrankheiten, die normalerweise innerhalb etwa einer Woche, maximal in zwei Wochen, von selbst ausheilen. Jetzt m\u00fcssen wir uns vorstellen, dass die Forscher vorab, also bevor die Daten erhoben wurden, festgelegt haben, dass sie die Wirkung des Mittels anhand der Genesungsrate nach zwei Tagen beurteilen wollen. So haben sie es jedenfalls in der Studie beschrieben. Sie wollen also nicht die durchschnittliche Dauer bei allen Patienten zur Bewertung heranziehen, sondern nur abz\u00e4hlen, wie viele Patienten am Ende des zweiten Tages &#8211; also weit vor dem &#8217;normalen&#8216; Ende der Beschwerden &#8211; keine Symptome mehr haben. Klingt zun\u00e4chst ungew\u00f6hnlich, k\u00f6nnte aber durchaus aus der \u00dcberzeugung geboren sein, dass das verabreichte Medikament eine richtige Bombe ist. Man k\u00f6nnte allerdings auch die Frage stellen, ob diese Patienten \u00fcberhaupt an einer soliden Erk\u00e4ltung erkrankt waren.<\/p>\n<p>Und, siehe da, es zeigt sich, dass tats\u00e4chlich am zweiten Tag ein statistisch signifikanter Unterschied in den Genesungsraten vorliegt. Also tats\u00e4chlich das Power-Medikament, wie angenommen? Im Zitat in der Ratgeberliteratur liest sich das dann so:<\/p>\n<p style=\"padding-left: 30px;\"><em>&#8222;Eine interessante Doppelblindstudie mit einer sehr hohen Teilnehmerzahl (&#8230;) konnte zeigen, dass das hom\u00f6opathische Mittel Oscillococcinum (&#8230;) die Zahl der Genesungen innerhalb der ersten 48 Stunden im Vergleich zur Placebogruppe signifikant erh\u00f6hte&#8220; [4, S. 45]<\/em><\/p>\n<p>Was der Laie gerne so versteht, dass <span style=\"text-decoration: underline;\">ab<\/span> dem zweiten Tag ein Vorteil bestanden h\u00e4tte.<\/p>\n<p>Ein einfacher Test, ob tats\u00e4chlich ein Cherrypicking vorgelegen haben k\u00f6nnte, besteht darin, anhand des Textes der Studie zu pr\u00fcfen, welche Signifikanz sich bei einem geringf\u00fcgig ge\u00e4nderten Bewertungskriterium ergeben h\u00e4tte. Hier vielleicht bei einem anderen Zeitpunkt, also nicht nach zwei Tagen, sondern nach drei Tagen. Und tats\u00e4chlich, da ergibt sich eben keine Signifikanz mehr! Auch nicht nach nur einem Tag oder \u00fcberhaupt in den Genesungsraten irgendeines anderen Tages w\u00e4hrend der Studie. Nur an dem einen eigentlich v\u00f6llig unlogisch festgelegten Stichtag zeigt sich ein signifikantes Ergebnis, sonst nicht.<\/p>\n<p><a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2015\/12\/Ferley-normierter-Verlauf.png\" rel=\"attachment wp-att-2781\"><img loading=\"lazy\" class=\"wp-image-2781 aligncenter\" src=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2015\/12\/Ferley-normierter-Verlauf.png\" alt=\"Ferley normierter Verlauf\" width=\"444\" height=\"399\" \/><\/a><\/p>\n<p>Dies ist der Heilungsverlauf der beiden Gruppen aus Ferleys Arbeit, allerdings auf gleiche Gruppenst\u00e4rken umgerechnet.<\/p>\n<p>In Summe zeigt sich, dass der Effekt des Hom\u00f6opathikums eher gering ist. Aus welchen Zuf\u00e4llen heraus auch immer: genau an dem einen Tag, den die Autoren v\u00f6llig unlogisch als Bewertungszeitpunkt ausgesucht hatten, hatte sich ein signifikanter Wert gezeigt. Der obige Text des Ratgebers m\u00fcsste anders lauten:<\/p>\n<p>Der signifikante Vorteil f\u00fcr den Patienten besteht nicht <span style=\"text-decoration: underline;\">ab<\/span> dem zweiten Tag, sondern nur <span style=\"text-decoration: underline;\">am<\/span> zweiten Tag. Wir werden die Daten sp\u00e4ter noch genauer betrachten.<\/p>\n<p><strong>M\u00f6glichkeit 2: Man nehme etwas anderes Signifikantes<\/strong><\/p>\n<p>Wenn sich nun beim besten Willen kein signifikanter Unterschied zwischen den beiden Gruppen finden l\u00e4sst, dann kann man auch andere Daten nehmen, um aus ihnen ein signifikantes Ergebnis zu erzeugen. Ein Beispiel ist die Arbeit von Cavalcanti et al. [5]. Hier geht es um die Behandlung des Juckreizes, der bei Dialysepatienten auftreten kann. In beiden Gruppen, Hom\u00f6opathie und Placebo, traten Verbesserungen auf, in der Hom\u00f6opathiegruppe durchaus st\u00e4rkere Effekte als unter Placebo, aber es reichte eben nicht f\u00fcr einen signifikanten Unterschied.<\/p>\n<p>Die L\u00f6sung: Zu den Bewertungstagen f\u00fchrt man nicht nur einen Vergleich zwischen den Gruppen aus, sondern auch zwischen den am Ende der Behandlung ermittelten Daten und denen am Anfang. Siehe da: In der Hom\u00f6opathiegruppe zeigen sich signifikante Unterschiede, in der Placebogruppe nicht. In der Zusammenfassung steht dann:<\/p>\n<p style=\"padding-left: 30px;\"><em>&#8222;Reduction was statistically significant (P &lt; 0.05) at every point of the observation&#8220;<\/em><\/p>\n<p>Wem f\u00e4llt auf, dass da die W\u00f6rter &#8218;compared to placebo&#8216; fehlen?<\/p>\n<p>Was sagt das in dieser Form aus?<\/p>\n<p>Nichts.<\/p>\n<p>Was bedeutet es, wenn die Ver\u00e4nderungen in der Gruppe signifikant sind, also wahrscheinlich nicht zuf\u00e4lliger Natur sind? Nichts. Die Unterschiede sind zu beiden Zeitpunkten f\u00fcr jeweils alle Gruppenmitglieder gemessen worden und liegen nach Ma\u00df und Zahl vor. Eine Unsicherheit besteht hinsichtlich m\u00f6glicher Messfehler, aber die kann man nicht mit einem Signifikanztest ermitteln.<\/p>\n<p>Ebenso wenig kann man damit unterscheiden, welche Ursache zur Verbesserung der Situation gef\u00fchrt hat, ob diese tats\u00e4chlich durch das Medikament bewirkt wurden oder von irgendwelchen \u00e4u\u00dferen Einfl\u00fcssen. Die kann man mit einer Kontrollgruppe erfassen &#8211; aber f\u00fcr diesen Gruppenvergleich ergab sich ja gerade kein signifikanter Unterschied. Ob die Entwicklung ein Zufall war oder nicht, k\u00f6nnte man eher dadurch kl\u00e4ren, dass es (a) eine plausible Erkl\u00e4rung f\u00fcr die Ursachen gibt, die die Entwicklung in Gang gesetzt haben und (b) dass \u00e4u\u00dfere Einfl\u00fcsse ausgeschlossen werden k\u00f6nnen.<\/p>\n<p>Aus dieser Betrachtung folgt, dass es ziemlich genau auf den Wortlaut ankommt, mit dem die Forscher ihr Ergebnis beschreiben, um entscheiden zu k\u00f6nnen, ob es sich um eine sinnvolle Angabe handelt (&#8217;signifikante Verbesserungen in der Verumgruppe im Vergleich zur Kontrollgruppe&#8216;) oder eben nicht (&#8217;signifikante Verbesserungen in der Verumgruppe&#8216;). Dazu wird man sich am besten ebenfalls die Originalver\u00f6ffentlichung vornehmen, denn eventuell ist die Zusammenfassung nicht so deutlich formuliert, wie sie es sein sollte.<\/p>\n<p><strong>M\u00f6glichkeit 3: Finde den Trend<\/strong><\/p>\n<p>Wenn man nun beim besten Willen nichts findet, was signifikant ist, was macht man dann mit der sch\u00f6nen und teuren Studie? Dann wird man ja doch wohl noch irgendwo einen Trend finden k\u00f6nnen, also einen Unterschied zwischen Hom\u00f6opathie und Placebo zugunsten Hom\u00f6opathie. Auch wenn der dann nicht signifikant ist, kann man immer noch von einem Trend zugunsten der Hom\u00f6opathie sprechen. Klingt ja auch gut, wie zum Beispiel in der Pressemeldung zur Preisverleihung f\u00fcr die Meta-Analyse von Rumpl (s. <a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?p=2507\">hier<\/a>).<\/p>\n<p>Aber was bedeutet das wirklich?<\/p>\n<p>Signifikanz ist ein Ma\u00dfstab daf\u00fcr, ob ein festgestellter Unterschied zwischen den zwei Gruppen wahrscheinlich auf einem Zufall beruht oder nicht. Ist ein Ergebnis nicht signifikant, dann kann es sein, dass der Unterschied auf der Verteilung der Patienten auf die Gruppen beruht &#8211; und rein gar nichts mit einer Wirkung des Mittels zu tun hat.<\/p>\n<p>Nat\u00fcrlich ist es m\u00f6glich, dass nur ein kleiner Effekt aufgetreten ist, der einfach nur nicht gro\u00df genug war, um als signifikant in Erscheinung zu treten. Sofern es keine auf plausiblen Annahmen und bekannten Effekten beruhende Erkl\u00e4rung f\u00fcr einen Effekt gibt &#8211; wie es bei der Hom\u00f6opathie ja der Fall ist &#8211; dann gibt es eigentlich nur einen sinnvollen Weg, herauszufinden, ob es sich tats\u00e4chlich um einen zwar kleinen aber nicht-zuf\u00e4lligen Effekt handelt, n\u00e4mlich den Versuch zu wiederholen, gegebenenfalls sogar mit einer h\u00f6heren Teilnehmerzahl. Ein tats\u00e4chlich vorhandener Effekt wird sich dann erneut zeigen, in der gemeinsamen Betrachtung der Ergebnisse (Metaanalyse) m\u00fcsste sich der Effekt deutlicher identifizieren lassen &#8211; und irgendwann auch als signifikantes Ergebnis feststellbar sein.<\/p>\n<p>Alleine aus einem f\u00fcr die Hom\u00f6opathie positiven Ergebnis zu schlie\u00dfen, dass es sich hierbei um einen &#8211; nat\u00fcrlich auf die Wirksamkeit des Mittels zur\u00fcckgehenden &#8211; Trend handele, ist nach meiner Meinung Humbug. Der R\u00fcckschluss auf die Wirksamkeit ist wegen eines m\u00f6glichen Fehlers erster Art schon bei einem signifikanten Ergebnis aus nur einer einzigen Studie nicht unbedingt gerechtfertigt &#8211; um wie viel mehr erst, wenn keine Signifikanz gegeben ist.<\/p>\n<p><strong>Zahlenwerte zur Signifikanz<\/strong><\/p>\n<p>Um einige Aspekte der Zahlenwerte zu beleuchten, sei hier als Beispiel das Ergebnis aus der Arbeit von Ferley et al. betrachtet, die Arbeit, die auch schon oben zitiert wurde. Wir betrachten hier aber die Daten zur Krankheitsdauer aller Patienten, wie sie aus den Angaben der Studie errechnet werden k\u00f6nnen. Der Einfachheit halber lassen wir f\u00fcr diese Betrachtung die Patienten weg, die innerhalb der Beobachtungszeit von sieben Tagen nicht gesund wurden. Dies ergibt die Verteilung im n\u00e4chsten Bild.<\/p>\n<p><a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2015\/12\/Ferley-Tagesraten.png\" rel=\"attachment wp-att-2782\"><img loading=\"lazy\" class=\"alignnone size-full wp-image-2782\" src=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2015\/12\/Ferley-Tagesraten.png\" alt=\"Ferley Tagesraten\" width=\"731\" height=\"657\" srcset=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2015\/12\/Ferley-Tagesraten.png 731w, http:\/\/www.beweisaufnahme-homoeopathie.de\/blog\/wp-content\/uploads\/2015\/12\/Ferley-Tagesraten-300x270.png 300w\" sizes=\"(max-width: 731px) 100vw, 731px\" \/><\/a><\/p>\n<p>Dies ist die originale Verteilung, wie sie aus Ferleys Daten errechnet werden kann. Man erkennt die h\u00f6here Anzahl der Patienten, die am zweiten Tag nach der Einnahme in der Hom\u00f6opathiegruppe geheilt waren. Die statistischen Daten lauten:<\/p>\n\n<table id=\"tablepress-26\" class=\"tablepress tablepress-id-26\">\n<thead>\n<tr class=\"row-1 odd\">\n\t<th class=\"column-1\">&nbsp;<\/th><th class=\"column-2\">Hom\u00f6opathie<\/th><th class=\"column-3\">Placebo<\/th>\n<\/tr>\n<\/thead>\n<tbody class=\"row-hover\">\n<tr class=\"row-2 even\">\n\t<td class=\"column-1\">Anzahl Teilnehmer<\/td><td class=\"column-2\">196<\/td><td class=\"column-3\">190<\/td>\n<\/tr>\n<tr class=\"row-3 odd\">\n\t<td class=\"column-1\">Mittlere Dauer (Tage)<\/td><td class=\"column-2\">3,99<\/td><td class=\"column-3\">4,27<\/td>\n<\/tr>\n<tr class=\"row-4 even\">\n\t<td class=\"column-1\">Standardabweichung<\/td><td class=\"column-2\">1,65<\/td><td class=\"column-3\">1,45<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<!-- #tablepress-26 from cache -->\n<p>Im Klartext bedeutet dies, dass in der Hom\u00f6opathiegruppe die Beschwerden im Durchschnitt 0,28 Tage k\u00fcrzer andauerten als mit Placebo (das sind nur knapp 7 Stunden!). Man k\u00f6nnte aus dem Diagramm auch ablesen, dass nur 17 Patienten einen Vorteil hatten. Dies ist die Differenz zwischen den an den Tagen 1 bis 3 genesenen Patienten in der Hom\u00f6opathiegruppe zur Placebogruppe. Bezogen auf die Anzahl der Patienten, die das hom\u00f6opathische Mittel einnahmen, sind dies 8,5 % &#8211; also nur knapp einer von zehn Patienten. Mehr als neun von zehn Patienten werfen ihr Geld zum Fenster hinaus. In Anbetracht der \u00fcblicherweise vollmundigen Aussagen zur Wirksamkeit der Hom\u00f6opathie in allen Lebenslagen erscheint mir dieses Ergebnis \u00e4u\u00dferst k\u00fcmmerlich.<\/p>\n<p>Nach meiner Rechnung zeigt ein sogenannter T-Test mit diesen Daten, dass dieser Unterschied nicht signifikant ist (Wahrscheinlichkeit p = 0,08).<\/p>\n<p>H\u00e4tte Ferley aber prozentual das gleiche Ergebnis mit einer h\u00f6heren Anzahl von Patienten erreicht, dann s\u00e4he das ganz anders aus: Bei einer um die H\u00e4lfte h\u00f6heren Teilnehmerzahl also bei 294 Hom\u00f6opathie- und 285 Placebopatienten h\u00e4tte sich bei der absolut gleichen prozentualen Verteilung ein signifikantes Ergebnis ergeben (p = 0,03). Dies liegt daran, dass durch die h\u00f6here Anzahl die Verteilung sicherer bekannt ist und man davon ausgeht, dass die wahren Werte besser, das hei\u00dft mit kleinerem Fehler, abgebildet werden.<\/p>\n<p>Also: Auch ein solch kleiner Vorteil kann signifikant sein, wenn er mit einer hinreichend gro\u00dfen Zahl an Versuchspersonen ermittelt worden ist. Die dem Laien naheliegende Schlussfolgerung &#8217;signifikant = gro\u00df&#8216; ist also unzutreffend. Nat\u00fcrlich w\u00e4re in jedem Versuch ein nicht signifikanter Unterschied kleiner als ein signifikanter, allerdings ist das nur ein relativer Ma\u00dfstab, kein absoluter. Genau genommen ist die Aussage, die oftmals als Qualit\u00e4tsmerkmal zitiert wird (&#8218;Ergebnis eine Gro\u00dfen Studie mit vielen Teilnehmern&#8216;), eher ein\u00a0 Hinweis auf das Gegenteil, n\u00e4mlich dass die Gruppenunterschiede nur recht gering sind.<\/p>\n<p>Quintessenz:<\/p>\n<p>Ob ein Ergebnis statistisch signifikant ist oder nicht, sagt nichts dar\u00fcber aus, wie gro\u00df der Nutzeffekt f\u00fcr den Patienten ist. Liegt dem Versuch eine hohe Anzahl der Teilnehmer zugrunde, dann kann es sich auch um vergleichsweise unbedeutende Effekte handeln, mit denen eine Signifikanz zu erreichen ist.<\/p>\n<p>Mit Fug und Recht kann ein Patient erwarten, dass ein &#8218;richtiges&#8216; Medikament signifikant besser wirkt als ein Placebo. Das sollte ein Selbstverst\u00e4ndlichkeit sein, kein Werbeargument. Als solches taugt die Aussage n\u00e4mlich nicht, weil \u00fcberhaupt nicht erkennbar ist, wie stark denn der Nutzen des Medikaments f\u00fcr den Patienten ist. Genau genommen ist das Werbeargument der signifikanten Studienergebnisse etwa gleich stark wie bei einem Auto der Hinweis, dass es vier R\u00e4der hat. Oder dass ein neu errichtetes Geb\u00e4ude stehen bleibt und nicht einst\u00fcrzt.<\/p>\n<p>Eine Selbstverst\u00e4ndlichkeit eben.<\/p>\n<p><strong>Literaturquellen<\/strong><\/p>\n<p>[1] Walach H, Haeusler W, Lowes T, Mussbach D, Schamell U, Springer W, Stritzl G, Gaus W, Haag G: Classical homeopathic treatment of chronic headaches, in: Cephalalgia 1997; 17:119-126, <a href=\"http:\/\/journals.lww.com\/pidj\/Abstract\/2001\/02000\/Homeopathic_treatment_of_acute_otitis_media_in.12.aspx\" class=\"broken_link\">Link<\/a> zum Abstract<\/p>\n<p>[2] Mathie RT, Lloyd SM, Legg LA, Clausen J, Moss S, Davidson JRT, Ford I: Randomised placebo-controlled trials of individualised homeopathic treatment: systematic review and meta-analysis, in: Systematic Reviews 2014, 3: 142, doi: 10.1186\/2046-4053-3-142, <a href=\"http:\/\/www.systematicreviewsjournal.com\/content\/pdf\/2046-4053-3-142.pdf\">Link<\/a> zum Volltext<\/p>\n<p>[3] Ferley JP, Tmirou D, D&#8217;Adhemar D, Balducci F: A Controlled Evaluation of a Homeopathic Preparation in the Treatment of Influenza-Like Syndromes&#8216; in: British Journal of Clinical Pharmacology 1989; 27: 329 &#8211; 335, <a href=\"http:\/\/onlinelibrary.wiley.com\/doi\/10.1111\/j.1365-2125.1989.tb05373.x\/pdf\" class=\"broken_link\">Link<\/a> zum Volltext<\/p>\n<p>[4] Sommer S.: Hom\u00f6opathie &#8211; warum und wie sie wirkt, Mankau Verlag, Murnau, 2011<\/p>\n<p id=\"gs_cit0\" tabindex=\"0\">[5] Cavalcanti, A. M. S., et al. &#8222;Effects of homeopathic treatment on pruritus of haemodialysis patients: a randomised placebo-controlled double-blind trial.&#8220; Homeopathy 92.4 (2003): 177-181. <a href=\"http:\/\/www.homeopathyjournal.net\/article\/S1475-4916%2803%2900089-4\/abstract\">Link<\/a> zum Abstract<\/p>\n","protected":false},"excerpt":{"rendered":"<p>&#8222;Wie muss man sich signifikante Ergebnisse bei Hom\u00f6opathiestudien so vorstellen? Wie sieht das denn bei wirksamen Arzneimitteln aus, z.B. Aspirin?&#8220; Das war sinngem\u00e4\u00df die Frage des Users 2xhinschauen auf dem GWUP-Blog (Link). Ich nehme dies zum Anlass, mich einmal generell &hellip; <a href=\"http:\/\/www.beweisaufnahme-homoeopathie.de\/?p=2783\">Weiterlesen <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[13,4],"tags":[],"_links":{"self":[{"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/posts\/2783"}],"collection":[{"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=2783"}],"version-history":[{"count":11,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/posts\/2783\/revisions"}],"predecessor-version":[{"id":2796,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=\/wp\/v2\/posts\/2783\/revisions\/2796"}],"wp:attachment":[{"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=2783"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=2783"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.beweisaufnahme-homoeopathie.de\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=2783"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}