In der Welt des Internets kommt es darauf an, wie Dinge dargestellt werden, doch in der aufrechten Welt wissenschaftlicher Analysen sind Fakten einfach Fakten, oder?
Ein neuer systemischer Review zeigt etwas anderes: Die Ergebnisse deuten darauf hin, dass 2 Drittel der randomisierten kontrollierten Studien (RCT) zu kardiovaskulären Erkrankungen, die in 6 angesehenen medizinischen Fachzeitschriften veröffentlicht worden waren, in irgendeiner Weise schöngeredet wurden [1].
„Die hohe Prävalenz bei Sprachmanipulationen in der Fachliteratur hat großen Einfluss auf Personen, die medizinische Evidenzen nutzen – davon sind in Anbetracht der Informationsfreiheit im digitalen Zeitalter sowohl Patienten als auch Ärzte betroffen“, schreiben der Hauptautor der Studie Dr. Muhammad Shahzeb Khan vom John H. Stroger Jr. Hospital of Cook County in Chicago und sein Team in ihrer Arbeit, die gerade in JAMA Network Open veröffentlicht worden ist.
93 kontrollierte Studien mit nicht signifikanten Ergebnissen analysiert
Die Untersucher identifizierten 93 RCTs mit kardiovaskulären Fragestellungen und statistisch nicht signifikanten Resultaten in den primären Endpunkten. Die Arbeiten waren zwischen 2015 und 2017 im New England Journal of Medicine, The Lancet, JAMA, The European Heart Journal, Circulation und The Journal of the American College of Cardiology (JACC) publiziert worden. 2 der Prüfer zogen alle relevanten Daten heraus und gaben sie in ein standardisiertes Statistikprogramm ein, während ein 3. Untersucher bei Uneinigkeit als Schiedsrichter auftrat.
In Anlehnung an die kürzlich von Isabelle Boutron und Philippe Ravaud dargelegte Methodik definierte das Team 3 Arten von „Schönfärberei“: l
umzuschwenken auf statistisch signifikante sekundäre Ergebnisse der Studie, wie z.B. Vergleiche innerhalb der Gruppe, sekundäre Endpunkte und Untergruppen- oder Protokollanalysen;
statistisch nicht signifikante Ergebnisse bei den primären Endpunkten als Nachweis einer äquivalenten Behandlungsmethode oder als Ausschluss unerwünschter Ereignisse zu interpretieren;
einen positiven Behandlungseffekt mit oder ohne Berücksichtigung des statistisch nicht signifikanten primären Ergebnisses hervorzuheben.
Die Ergebnisse zeigten, dass es in 53 Abstracts in mindestens einem Abschnitt (57%; 95% Konfidenzintervall/KI 47–67%) sowie in 62 Haupttexten zu solchen Beschönigungen kam (67%; 95% KI 57–75%). Zudem waren 26 Abstracts (28%; 95% KI 20–38%) und 18 Haupttexte (19%; 95% KI 12–29%) vollständig von solchen „Interpretationen“ durchdrungen.
Etwa die Hälfte der Schlussfolgerungen in einer Studie wies beschönigende Deutungen auf, wenngleich diese nach Auffassung der Autoren meist weniger gravierend waren.
Trotz Peer Review gewisse Verzerrungen möglich
„Viele Ärzte und Journalisten stürzen sich auf den einen herausragenden Satz in einer Studie, ohne den ganzen Text zu lesen oder selbst die statistische Signifikanz zu bewerten“, sagte Khan gegenüber Medscape.
„Einer der Hauptgründe für unsere Studie war, dass sich Leser und Journalisten darüber im Klaren sein sollten, dass es trotz aller Peer Reviews in einem Fachartikel gewisse Verdrehungen und Verzerrungen geben kann“, erklärte Khan.
Die Studie untersuchte nicht, warum manche Forscher auf solche Methoden zurückgreifen. Doch Khan mutmaßt, dass dies unbewusst ablaufen könnte – oder einfach Ausdruck der Sorge sei, dass medizinische Fachzeitschriften weniger bereit sind, Studien mit negativen Ergebnissen zu veröffentlichen.
Im Gegensatz zu früheren Studien, in denen verzerrte Studienergebnisse auf finanzielle Interessen zurückgeführt wurden, wurden jetzt keine Zusammenhänge zwischen den Schönfärbungen und der Offenlegung von Interessenkonflikten beim Erstautor oder beim letztgenannten Autor festgestellt. Zudem wurden industriell geförderte Forschungen sogar seltener zum Gegenstand solcher Ergebnisdeutungen als gemeinnützige Studienprojekte, erklären die Autoren.
Wider den Publikationsbias
„Die Interpretation eines Studienergebnisses ist eine äußerst subjektive Angelegenheit, und die Quantifizierung von beschönigten Studienresultaten ist es noch mehr. Doch es schafft Vertrauen, dass die Autoren Korrespondenzanalysen durchgeführt haben, und es scheint dabei gute Übereinstimmung gegeben zu haben“, kommentiert Dr. Sanjay Kaul, Kardiologe am Cedars-Sinai Medical Center in Los Angeles, der nicht an der Studie beteiligt war.
Kaul führt zudem an, dass er sich mehr Einzelheiten über die Auswirkungen derartiger Manipulationen auf Führungskräfte, Forschungsfinanzierungen und klinische Entwicklungsprogramme gewünscht hätte. Auch wäre die Frage interessant gewesen, ob Fachzeitschriften versucht hätten, die RCT-Ergebnisse in Begleitartikeln „auf den Punkt zu bringen“.
„Eine berechtigte Frage ist: Wie kommt es, dass der Peer-Review-Prozess offenbar seiner Aufgabe nicht gerecht wird, wenn 2 Drittel der in hochrangigen Zeitschriften veröffentlichten Artikel dieses Problem haben?“, so Kaul.
Auch negative Studienresultate wichtig
Dr. Stephan D. Fihn, University of Washington in Seattle und stellvertretender Chefredakteur bei JAMA Network Open, äußerte in einem begleitenden Editorial, dass man sich zweimal wöchentlich treffe, um Manuskripte zu überprüfen [2]. „Fast immer gibt es dabei ein oder mehrere Manuskripte, bei denen die Autoren versucht haben, ihre Ergebnisse in einem günstigeren Licht erscheinen zu lassen, als wir es für gerechtfertigt halten.“
Er beschreibt die Bemühungen, gegen Schönfärberei vorzugehen, wie etwa die Redaktion dazu anzuhalten, „die Manuskripte gründlich zu ‚entschlacken‘, um das Suggerieren ungerechtfertigter Kausalzusammenhänge durch sprachliche Mittel auszumerzen“. Auch sollte man vermehrt korrigierend eingreifen, wenn Studienergebnisse überinterpretiert würden. Sie selbst würden zudem externe Gutachter hinzuziehen und aus „verschiedenen Anlässen“ die Autoren auffordern, ihre Schlussfolgerungen in einem Fachartikel von schwach positiv auf eindeutig negativ umzuwidmen.
„Zugleich sind wir bestrebt, fundierte, negative Erkenntnisse ebenso zu begrüßen und wohlwollend anzunehmen wie positive“, sagt Fihn. „Obwohl negative Studienresultate in der Regel nicht so viel Aufmerksamkeit erregen, sind sie oft von entscheidender Bedeutung, um falschen Schlussfolgerungen aus früheren Studien entgegenzuwirken oder um weit verbreitete Fehleinschätzungen zu widerlegen.“
Twitter-Community – ein wichtiger Faktor neben dem Open-Access-Peer-Review
Kaul sagt, dass das Editorial zwar der Hoffnung Ausdruck verleiht, dass die Qualitätskontroll-Prozesse greifen und beschönigende Resultate herausfiltern würden, aber es werde nicht ausgeführt, inwieweit diese Prozesse bei JAMA Network Open oder bei JAMA funktionieren, die zu den 6 untersuchten Zeitschriften zählten.
Wenn häufiger neutrale oder negative RCT-Ergebnisse veröffentlicht würden, könnte das dazu beitragen, dass übertrieben wohlwollende Interpretationen seltener würden, so Kaul weiter. Und obwohl er keinen Account bei Twitter habe, prüfe er dort, wie die Ergebnisse einer wichtigen Studie in der Medizinerwelt aufgenommen würden.
„Mich beruhigt es etwas, dass dabei Skepsis mitschwingt“, sagt Kaul. „Daten werden nicht ohne Weiteres akzeptiert, und man weist auch gerne auf methodische Mängel und möglicherweise andere Interpretationen der Ergebnisse hin. Die weltweite Twitter-Community ist demnach ein wichtiger Faktor, der die Folgen von Schönfärberei abmildert – der Open-Access-Peer-Review ist ein weiterer.“
Dieser Artikel wurde von Markus Vieten aus www.medscape.com übersetzt und adaptiert.
Medscape Nachrichten © 2019 WebMD, LLC
Diesen Artikel so zitieren: „Aufgehübscht“ – selbst in renommierten Journalen finden sich in 2 von 3 kardiovaskulären Studien „Schönfärbereien“ - Medscape - 27. Mai 2019.
Kommentar