Insuffizienzen der Wissenschaft » Wenn medizinische Metastudien unscharfes Wissen produzieren – Agnotologie II

Frei nach dem Motto: „Glaube keiner Studie, die Du nicht selbst gefälscht hast“ funktioniert allem Anschein nach gerade die pharmazeutisch-medizinische Forschung. Wobei, halt!: nein, es soll hier nicht der Eindruck erweckt werden, die verschiedenen Studien, die Wirksamkeit und/oder Unbedenklichkeit von Therapien und Medikamenten belegen sollen, seien allesamt manipuliert. Diese Unterstellung gehört in den Bereich der Verschwörungstheorie, mit der die Wissenswerkstatt nichts gemein hat. Aber das sollte auch bislang schon klar geworden sein, oder?

Nochmal im Klartext und in Anlehnung an Bruno Latour: in der Wissenswerkstatt arbeitet ein „Liebhaber der Wissenschaften“ – daß die naturgegebenen Insuffizienzen jeder Suche nach Wahrheit dennoch Thema sind, versteht sich aber von selbst. Denn genau diejenigen, die quasi blind allen technisch-wissenschaftlichen Versprechungen Glauben schenken, sind in Wahrheit Verächter und manchmal sogar Totengräber der Wissenschaft. Denn Wissenschaft will und braucht kritische Rezipienten und Freunde. Es verhält sich kaum anders als in der Sphäre der Politik: wer stets alle Taten des „Freundes“ willfährig bejubelt, ohne substantiell zu prüfen, ob hier nicht möglicherweise Widersprüche und Defizite vorliegen, mag sich zunächst als loyal erweisen. Es geht aber weder in der Politik noch in der Wissenschaft um vorauseilenden Gehorsam und Gefolgschaft um jeden Preis. Es geht vielmehr um kritische Begleitung und genau das ist u.a. die Aufgabe der Wissenschaftssoziologie. Die Wissenschaft selbst, all die Forscher in ihren Labors, all die Arbeiter in ihren sprichwörtlichen Elfenbeintürmen, sie sind notwendigerweise gefangen in ihrer Binnenperspektive.

Aufklärung und die lehrreiche Außenperspektive 

Und genau hier setzt die Wissenschaftssoziologie an: es ist der nüchterne Blick von außerhalb, der anderes sehen läßt, als wenn man immer schon in den Kontexten der jeweiligen Spezialdisziplin sozialisiert und somit auch ein Stück weit befangen, um nicht zu sagen: gefangen ist. Und somit steht die Wissenschaftssoziologie – wenigstens, wie ich sie verstehe – in der Tradition der Aufklärung: ihre Intention ist es, das Wissen der Gesellschaft über ihre technisch-wissenschaftlichen Möglichkeiten und Grenzen zu erweitern. Denn nur wer weiß und besser einschätzen kann, wo derzeit die Grenzen des Wissens liegen, diejenigen Bereiche, in denen nicht klare Sicht auf die Gegenstände des Gewußten und Erforschten gegeben ist, sondern immer wieder der Nebel des Nichtwissens den Blick trübt, nur derjenige, der solchermaßen informiert und geübt die Innovationen von Wissenschaft und Technik in den Blick nimmt, kann nachhaltige Entscheidungen darüber treffen, was mit welchen Risiken getan werden kann.

Denn daß es jeweils kontingente Bereiche gibt, daß also anscheinend gesicherte Wissensbestände wieder ins Schwimmen geraten und sich als unsicher herausstellen, darüber besteht ernsthaft kein Zweifel. Und gerade der Blick in die Medizin und ihre Geschichte ernüchtert allzu hochfliegende Phantasien. Denn kaum eine andere Disziplin zeichnet sich durch solch gravierende Erfahrungen des Erfolgs und des Mißerfolgs aus. Gelingen und Scheitern liegen kaum anderswo ähnlich nah beieinander. Und man braucht hier nicht einmal Schlagworte wie Contergan zu erwähnen – es genügt der Verweis auf die mit immensem Ressourceneinsatz entwickelten Medikamente wie „Vioxx“1 oder „Lipobay“,2 die sich dennoch als finanzielles und – berücksichtigt man die mutmaßlichen Todesopfer – menschliches Desaster erwiesen.

Mehr Forschung = Mehr Unsicherheit? 

Damit aber wieder zurück zum Thema: medizinische (Meta-)Studien. Im Grunde ist es banal: wer seine Erkenntnisse überprüfen will, stellt weitere Untersuchungen und Experimente an, um seine Hypothesen zu testen. In der Medizin, zumal wenn es um bereits ausgereiftere Forschungen geht, stehen also klinische Studien an, um die Wirksamkeit der Therapien näher zu ergründen. Wir reden hier von sog. Phase I+II-Studien,3 die dann idealerweise meist in sog. randomisierte Doppelblind-Studien münden. Diese werden mit einem erheblich erweiterten Probandenkreis durchgeführt und stellen in Phase III die letzte Hürde vor der Marktzulassung dar.

Um das nochmals unmißverständlich klarzumachen: wenn heute ein Medikament den Weg in Apotheken und Kliniken findet, so ist es gründlich und intensiv getestet und überprüft. Hinter den erwähnten „randomisierten Doppelblindstudien“ verbirgt sich ein Studiendesign, das ein Höchstmaß an Aussagekraft ermöglicht, denn „doppelblind“ heißt, daß weder die durchführenden Ärzte noch die beteiligten Patienten wissen, welche Patienten nun das neue zu testende Medikament verabreicht bekommen und welche ein Placebo (alternativ auch die konventionelle Standardtherapie). Randomisiert bedeutet in diesem Kontext, daß die Auswahl, welche Personen welcher Studiengruppe (also der Test- oder der Kontrollgruppe mit Placebo) zugeordnet werden, zufallsgesteuert abläuft. Auch hier kann also keine Verfälschung durch die Studienleitung erfolgen. Erweist sich also ein neuer Wirkstoff in diesen umfänglichen Tests als unbedenklich (die Nebenwirkungen sind gemäß einer Kosten-Nutzen-Rechnung zu vernachlässigen) und gleichzeitig als wirksam (und den bisherigen Therapien überlegen), so steht der Marktzulassung nichts mehr im Wege. Wo ist das Problem, möchte man fragen…

Scheitern als Wesen der Wissenschaft

Strenggenommen gibt es kein Problem, jedenfalls nicht, wenn man sich bewußt macht, daß auch noch so aufwendige Studiendesigns niemals eine Garantie liefern können, daß ein Medikament genauso wirkt, wie beabsichtigt und nicht ganz andere Effekte hervorruft, die dummerweise nie in den Studien auftraten. Wer glaubt, die medizinisch-pharmazeutische Forschung sei in der Lage alle Parameter zu berücksichtigen, der irrt. Dazu ist der menschliche Körper, seine unendlichen Kaskaden an Stoffwechsel- und Austauschprozessen, seine Regulationsvielfalt und Irritationsanfälligkeit zu undurchschaubar und bislang nur recht wenig verstanden. Wie oben erwähnt: der Pharmariese Merck mußte im Jahr 2004 sein umsatzstärkstes Medikament, das Schmerz- und Rheumamittel „Vioxx“ nach Berichten über eine Vielzahl von Herzinfarkten und Schlaganfällen vom Markt nehmen. Und diese erst spät erkannten Nebenfolgen waren nicht Ergebnis von Schlamperei und Leichtfertigkeit, sondern unvermeidlich.

Was ist aber, wenn es sich nicht um medizinische Indikationen wie bspw. Rheuma geht, die immerhin einigermaßen scharf umrissen und definiert sind? Wie verhält es sich bei medikamentösen Therapieversuchen bei so schwach konturierten Symptomatiken wie geschwächter Immunabwehr, Wechseljahrsbeschwerden oder Erkältungskrankheiten? Welche Medikamente haben hier welche Effekte? Man erinnere sich: Ende der 90er Jahre wurde die Hormonersatztherapie zur Abfederung der Klimakteriumsbeschwerden noch stark propagiert. Doch ab 2000 mehrten sich die Erkenntnisse und Studien, daß hier nicht nur kaum meßbare Vorteile, sondern augenscheinlich allerhand negative Effekte auftreten: Frauen, die durch eine Östrogenersatztherapie hofften, die gefürchtete Antriebslosigkeit oder Osteoporoseerscheinungen abmildern zu können, wurden auf einmal mit Studien konfrontiert, die eine signifikante Erhöhung des Brustkrebsrisikos nahelegten. Wie an vielen Stellen nachzulesen war, reagierten viele Länder, vor allem in Skandinavien und Nordamerika sehr schnell: die Therapie wird seitdem nur bei konkreter Indikation duchgeführt. In Deutschland freilich scheinen die Gynäkologen kaum die jeweiligen Fachblätter zu studieren.

„Es besteht offenbar insbesondere bei den älteren, männlichen Frauenärzten eine sehr deutliche Tendenz, den Nutzen der Hormone über- und die Risiken unterzubewerten“, sagt Bruno Müller-Oerlinghausen, Vorsitzender der Arzneimittelkommission der Deutschen Ärzteschaft.

Mehr als erstaunlich, wenn man weiß, daß sogar das Risiko für Demenzerkrankungen, die durch die Gabe von Hormonen abgeschwächt und vermieden werden sollten, bei den Patientinnen die Hormone erhielten, leicht erhöht war. Selbst hier waren also die angestrebten Effekte nicht zu finden.

Echinacea, Umckaloabo und Co.

Wer kennt nicht das Haus- und Heilmittel „Echinacea“, das als meistverkauftes natürliches Erkältungsmedikament ein wahrer Umsatzrenner ist? Aber wirkt das Extrakt aus dem roten Sonnenhut tatsächlich? Ist es gerechtfertigt, daß allein in den USA jährlich ein Umsatz von über 80 Millionen Euro mit diesen Präparaten erzielt wird?

Denn die Frage, ob die Einnahme von Echinacea-Präparaten bei Ansteckung oder in Bezug auf die Heilung von Erkältungskrankheiten einen positive Wirkung hat, ist mehr als umstritten. Wobei: genaugenommen ist seit einigen Jahren im Grunde erwiesen, daß die Effekte kaum meßbar oder um ehrlich zu sein, nicht vorhanden sind. Andere Hausmittelchen wie die „heiße Zitrone“ oder ein – wie ich finde probates und zudem wohlschmeckendes Therapeutikum – „Bratapfel“ dürften ähnlich erfolgreich wirken. Na gut, wenn Echinacea nichts nützt, Schaden ruft es – abgesehen vom Loch im Geldbeutel – wenigstens nicht hervor. Aber neuerdings gibt es doch wieder Verwirrung: eine aktuelle Metastudie einer Forschergruppe um Craig Coleman von der Universität Connecticut glaubt nun doch eine Wirksamkeit belegen zu können. Wie kann das sein?

Nochmal der Reihe nach: bereits 2002 stellten die Mediziner um Dr. Bruce P. Barrett von der Universität Wisconsin in einer vergleichenden Studie fest, daß die überstrapazierte Redewendung von der Erkältung, die unbehandelt sieben Tage, mit Behandlung aber eine Woche anhalte, auch für die Anwendung von Echinacea zutreffe; sie stellten fest:

No statistically significant differences were detected between the echinacea and placebo groups for any of the measured outcomes. Trajectories of severity over time were nearly identical in the two groups. Mean cold duration was 6.01 days in both groups as a whole, 5.75 days in the placebo group, and 6.27 days in the echinacea group.4

Und auch in einer vergleichenden Metastudie 20065 kamen Barrett und seine Gruppe zur selben Ansicht: in 22 Einzelstudien, die erheblich in ihrer Vorgehensweise variierten, fanden sie keinen einheitlichen, gesicherten Nachweis für eine Wirksamkeit. Die Studien, die einen positiven Effekt belegen, weisen häufig deutliche Mängel in der (randomisierten) Durchführung auf und sind teilweise eher anekdotisch wertvoll.

Nun aber, nach einer erneuten Metastudie von Coleman et. al.6 ist wieder alles anders. Angeblich, jedenfalls. Der „Stern“ wußte vor wenigen Wochen: „Echinacea-Mittel: Und sie helfen doch!“ Aber ist dem so? Was hat Coleman anders gemacht als seine Kollegen? Denn der „Stern“ glaubt ja sogar zu wissen, daß die gemeinsame Einnahme von Vitamin C und Echinacea das Erkältungsrisiko gar um 86% senke. Toll, wenn es so einfach wäre.

Ein kleiner Artikel der Businessweek7 klärt ein wenig auf; unter dem vielsagenden Titel: „When Medical Studies Collide“ werden die Hintergründe der widersprüchlichen Artikel beleuchtet und man darf lesen:

The problem is, the world of medical and health research is messier than most people realize. Black-and-white answers are rare, even when it comes to a single drug trial. In hormone replacement therapy, „people from the same study are disagreeing with each other,“ says Julie Buring, professor of medicine at Brigham & Women’s Hospital in Boston. The uncertainties deepen when studies are inconclusive or contradictory. That’s when researchers often lump data from a number of trials together in a meta-analysis, hoping the sum will be greater than the parts. But the approach often has pitfalls.

Hier wird also die Hoffnung, daß die Summe der Einzelstudien in der Zusammenschau ein höheres Maß an Richtigkeit aufweisen, wieder einmal enttäuscht. Denn gerade die Auswahl der Studien, die berücksichtigt werden sollen, ist umstritten und beeinflußt das Ergebnis erheblich. Wie lassen sich die unterschiedlichen Schlußfolgerungen aber erklären?

Die Verführung durch Erfolg und Meßbarkeit: Publikations-Bias

Vermutlich durch einen sog. Publikations-Bias. Dieser erklärt sich schlicht daraus, daß Studien, die keine Effekte aufweisen, mit höherer Wahrscheinlichkeit unpubliziert bleiben; im Gegensatz finden Studien, die eine Wirksamkeit belegen, fast immer den Weg in die Journale. Das führt freilich dazu, daß die Wirksamkeit meist überschätzt wird, wenn man nur die Artikel in den Journalen zugrundelegt. Dies jedenfalls die plausible Erklärung, denn Coleman hatte nur 14 Studien herangezogen. Barrett allerdings 22 und darunter zwei Studien, die niemals veröffentlicht wurden. Das soll nun nicht heißen, daß es die Menge macht, also daß 22 Studien besser seien als 14, aber gewisse Verzerrungseffekte sollte man berücksichtigen.

In addition, Coleman used only published studies, while Barrett included two unpublished ones. That decision can have a big impact. „We know there is publication bias,“ says Frank E. Harrell Jr., chair of biostatistics at Vanderbilt University. It’s much easier to get a study published that says, „something works!“ than one saying, „Oops, the treatment had no effect.“ Using published data alone thus typically makes the final result more positive.

(…)  Meta-analyses may also mislead by relying on data reported in papers rather than on original raw data, which are usually kept secret. „Good raw data from one study can be worth 50 studies in a meta-analysis,“ says Vanderbilt’s Harrell.

Man sollte also auch bei angeblich durch Metastudien gewonnenen Erkenntnissen vorsichtig sein. Denn ganz offenbar sind es die Selektionskriterien, die bestimmen, welche Studie unter welcher Gewichtung berücksichtigt wird, die zu den skizzierten Effekten führen. Und im Ergebnis haben wir keine Zunahme von Wissen, sondern von Nichtwissen. Metastudien können, oh Wunder, auch ein Instrument der Agnotologie sein – der Kunst, Nichtwissen herbeizuführen. Das jedenfalls ist das Ergebnis, wenn „medizinische Studien kollidieren“.

Denn, wie Dr. Barrett feststellt, allzu oft werden Äpfel mit Birnen verglichen. Und der Fokus auf veröffentlichte Studien dürfte meist zu einer dezenten Verzerrung hin zu positiven Schlußfolgerungen führen. In Bezug auf Echinacea sollte man also auch weiterhin skeptisch sein. Auch wenn der „rote Sonnenhut“ einem zunächst durchaus sympathisch sein darf, ob sein Extrakt hilfreich ist, werden weitere Studien erweisen müssen.

Darf man dann zum als „natürliches Antibiotikum“ angepriesenen Umckaloabo greifen? Immerhin hat sich der ethanolische Wurzelauszug ja zu einem riesigen Erfolg vornehmlich in Deutschland entwickelt, der Jahresumsatz erreicht derzeit angeblich stattliche 60 Millionen Euro. Können so viele Anwender irren? Skepsis scheint auch hier berechtigt.8 Umckaloabo ist derzeit noch deutlich schlechter erforscht als Echinacea. Man darf also gespannt sein…

 

[Update | 30.10.2007]:

Hier im Quanti|Soz|Blog („Publication bias in Forschungsreviews„) nimmt sich Bernd meinen Argumenten an. Er stimmt größtenteils zu, möchte aber Meta-Studien keinesfalls als Generator von Nicht-Wissen verstanden wissen. Das ist von mir auch keineswegs so beabsichtigt. Worauf es mir ankam: Meta-Studien können (nicht müssen) im Ergebnis mehr Unsicherheit als Sicherheit hinterlassen. Weitere Anmerkungen meinerseits in den Kommentaren [2].

 


Link- und Literaturtipps: 

Wissenswerkstatt:

Wissenschaft, Nichtwissen und Medizin:

Echinacea und Erkältungskrankheiten:

Umckaloabo:

Hormonersatztherapie:

 

 

  1. Das Schmerz- und Rheumamedikament der Fa. Merck zählt zur Gruppe der sog. COX2-Hemmer, die seit wenigen Jahren im Verdacht stehen, Infarkte und Schlaganfälle zu begünstigen. []
  2. Unter diesem Handelsnamen mußte Bayer seinen Cholesterinsenker mit dem Wirkstoff „Cerivastatin“ aus dem Handel nehmen, nachdem unter dessen Einnahme mehrere Todesfälle berichtet wurden. []
  3. In den Phase-I-Studien wird die Verträglichkeit (tolerability), in den Phase-II-Studien die Wirksamkeit (effectiveness) überprüft. []
  4. vgl. Barrett, P., Brown, R.L. et al. (2002): Treatment of the Common Cold with Unrefined Echinacea, in: Annals of Internal Medicine, 17 December 2002, Volume 137, Issue 12, pp. 939-946. []
  5. vgl. Linde K, Barrett B, Wölkart K, Bauer R, Melchart D. (2006): Echinacea for preventing and treating the common cold. Cochrane Database of Systematic Reviews 2006, Issue 1. []
  6. vgl. Lancet Infectious Diseases (vol 7, p 473) []
  7. Über den ich dankenswerterweise bei Medinfo gestolpert bin. []
  8. vgl. arznei-telegramm: arznei-telegramm (2003): Quacksalberei: Was ist dran am Umckaloabo? []

11 Gedanken zu „Insuffizienzen der Wissenschaft » Wenn medizinische Metastudien unscharfes Wissen produzieren – Agnotologie II“

  1. @Bernd [Quanti|Soz|Blog]:

    Danke für den manuellen Hinweis auf Deine Anmerkungen!

    Auf die Schnelle: Du warnst in Deinem lesenswerten Artikel davor, sämtliche Meta-Studien (oder eben, wie Du vorschlägst „systematic reviews“) als Instrument der Erzeugung von Nicht-Wissen zu verstehen. Da stimme ich Dir vollkommen zu. So möchte ich auch keinesfalls verstanden sein!

    Ich halte Meta-Studien aus genau dem Grund, den Du in einem der letzten Absätze erwähnst für unverzichtbar: Du erinnerst daran,

    dass niemals zwei empirische Studien komplett identisch sein werden („no two ’studies‘ are the same“).

    Und genau deshalb sind Meta-Studien wichtig. Aber wie ich oben an dem Echinacea-Beispiel illustrieren wollte, könnte (Konjunktiv!) es unter bestimmten Bedingungen dadurch dennoch erst recht zu Verunsicherung oder gar zu weniger belastbarem Wissen kommen, als zuvor. Wenn nämlich die genannten Effekte (aus welchen Gründen und Motiven auch immer) zum tragen kommen.

    Die beiden wichtigsten Faktoren: 1. „publication bias“, 2. die verglichenen Studien weisen per se Unvergleichbarkeiten auf, d.h. anderes Studiendesign, zu stark variierende Methodologie etc. Im Ergebnis vergleicht man „Äpfel mit Birnen“.

    Das sind zwei getrennte Effekte, ich denke nicht, daß ich sie (wie du vermutest) vermische.

    Deine Hinweise darauf, daß es natürlich auch Bemühungen gibt, genau diese Verzerrungseffekte zu beschreiben und methodisch zu kontrollieren sind interessant.

    Ich möchte aber abschließend noch einwenden, daß es in meinem Artikel eben nicht zufällig um eine medizinische Thematik ging. Ich behaupte, daß in diesem Kontext die Sozialwissenschaften methodisch sensibler und reflektierter sind. Gerade medizinische Meta-Studien sollten deswegen nach meinem Dafürhalten (genauso wie jede Einzelstudie) immer gewissenhaft und kritisch geprüft werden…

    Antworten
  2. Bedauerlich, ich könnte noch einiges dazu sagen, den ich teile nicht alles, was Du schreibst, habe aber keine Zeit.

    Im Hinblick auf Deine letzte Einschätzung möchte ich aber anmerken, dass Du damit vermutlich falsch liegst. Was systematische Reviews (und Meta-Analysen) angeht, liegen die Sozialwissenschaften (mit Ausnahme von Psychologie und Erziehungswissenschaften) weit hinter der medizinischen Methodenforschung zurück. Es sei nur auf solche Einrichtungen wie etwa die cochrane collaboration verwiesen, die sich der systematischen Sammlung solcher Übersichtsarbeiten widmet. Für den Bereich social policy gibt es immerhin die campbell collaboration.

    (Zu meinem Hintergrund: Der Arbeitstitel meiner Diss lautet „Meta-Analysen als Verfahren der quantitativen Forschungssynthese in der Soziologie. Dargestellt anhand eines Fallbeispiels zum Zusammenhang von Schulschwänzen und Migrationshintergrund“. Das erklärt vielleicht meine Motivation :-)

    Antworten
  3. @Bernd:

    Ich denke, daß es noch genug Gelegenheit zur ausführlicheren Auseinandersetzung und Argumentation gibt. Und ich gestehe, daß ich mich im letzten Absatz meines Kommentars mißverständlich ausgedrückt habe bzw. einen etwas anderes zum Ausdruck bringen wollte.

    Denn ich kann und will gar nicht bestreiten, daß der Umgang mit Meta-Studien in der Medizin versierter ist. Da bist ohnehin Du der Fachmann und meine Kenntnisse beschränken sich auf eher kursorische Beobachtungen. Es ist natürlich auch so, daß eben Metastudien (und ich hoffe nicht, ich lehne mich hier zu weit aus dem Fenster) natürlich im Feld der medizinischen Forschung deutlich weiter verbreitet sind, als bspw. in den Sozialwissenschaften.

    Was ich sagen wollte (und aufgrund meiner eigenen Schwerpunktsetzung sagen kann): die Sozialwissenschaften, (im speziellen die Wissen(schaft)ssoziologie) haben in den letzten 30 Jahren aufzeigen können, daß die Wahl der Untersuchungsmethodik die Untersuchungsergebnisse (mit)beeinflußt. Ja, ich weiß, das ist beinahe trivial. Aber wenn man in den Forschungsalltag der ‚harten‘ Naturwissenschaften blickt (ich kenne hier v.a. die Chemie), dann stellt man fest, daß (Meß-)Ergebnisse sehr unkritisch als eben empirischer und damit unzweifelhafter Beleg (für was auch immer) ‚gelesen‘ werden. Und das wohlwissend, daß eben das experimentelle Forschungsdesign das Produkt von (in Grenzen: beliebigen) Entscheidungen war.

    In diesem Zshg. wollte ich andeuten, daß eben in vielen naturwissenschaftlichen Disziplinen oftmals erstaunlich schnell vergessen wird, daß die jeweiligen empirischen Daten von bestimmten (zufälligen) Randbedingungen abhängen und eben auch anders hätten ausfallen können.

    Zu deinem zweiten Hinweis: Ja klar, das „Cochrane-Zentrum“ (Stichwort: evidenzbasierte Medizin) kenne ich natürlich. Allerdings darf die Tatsache, daß hier seit einigen Jahren gute Arbeit geleistet wird, nicht darüber hinwegtäuschen, daß viele medizinische Einzelstudien (selbst wenn Sie unter den Standards ‚randomisiert‘ ‚doppelblind‘ ablaufen) große Schwächen aufweisen. Zudem muß man eben feststellen, daß das Freiburger „Cochrane-Zentrum“ nicht überall wohlgelitten ist und bspw. Gerd Antes (dessen Leiter) in nicht wenigen medizinischen Kreisen als Spielverderber bzw. Nestbeschmutzer gilt…

    Antworten
  4. @Marc, #4, Abs. 3: Da stimme ich Dir völlig zu (siehe etwa Ian Hacking).

    @Marc, #4, Abs. 4: Du schreibt, dass die „in vielen naturwissenschaftlichen Disziplinen oftmals erstaunlich schnell vergessen wird, daß die jeweiligen empirischen Daten von bestimmten (zufälligen) Randbedingungen“ abhängig sind und auch anders hätten verlaufen können. Der (schlechte) Witz ist ja nun gerade, dass es eben keine zufälligen Bedingungen sind. Zufall war noch nie ein Problem in der Statistik. Ist es nicht außerdem inzwischen Standard, Experimente zu replizieren, um die Ergebnisse eben von den bestimmten Randbedingungen abstrahieren zu können?

    @Marc, #2, Abs. 5: Mit geht es darum klarzustellen, dass vernünftig durchgeführte quantitative Forschungsreviews in der Lage sind, heterogene/verzerrte Befundlagen identifizieren und angemessen beschreiben zu können[1] — ab und an können sie auch der Varianzaufklärung dienen. Du hast aber natürlich recht, wenn Du sagst, dass unter bestimmten Bedingungen (nämlich schlecht durchgeführte Reviews) es „erst recht zu Verunsicherung oder gar zu weniger belastbarem Wissen kommen“ kann. Das ist aber ein allgemeines Verdikt, dass auf jede Art von empirische (Sozial)Forschung zutrifft.

    [1] Eine Möglichkeit sind funnelplots (Abb. wird irgendwann wieder entfernt.). Ich zitiere mich selbst: In einem Koordinatensystem werden zunächst die Effektgrößen der einzelnen Studien in Abhängigkeit von ihrer Studiengröße (oder Standardfehlern) abgetragen. Die zugrunde liegende Idee dabei ist, dass die Effektmaße mit zunehmender Studiengröße beziehungsweise abnehmendem Standardfehler weniger stark streuen. Im Idealfall liegt keine Verzerrung vor und der Graph nimmt die Form eines Trichters (engl. „funnel“, vgl. Abbildung 5.1) an. Liegt ein publication bias vor, dann enthält das Diagramm ein Loch“, meistens im Bereich kleinerer Fallzahlen und schwacher Effektstärken, das heißt abnehmender statistischer Signifikanz siehe schraffierte Fläche).“

    Antworten
  5. @Bernd:

    Danke für dein nochmaliges Feedback und die weiteren Hinweise.

    Und der von Dir genannte Ian Hacking wäre eben einer derjenigen, die die von mir erwähnte „Fabrikation von Erkenntnis“ thematisiert haben. Für mich immer noch zentraler sind in dieser Richtung u.a. Karin Knorr-Cetina, Helga Nowotny, Hans-Jörg Rheinberger oder die frühen Laborstudien von Bruno Latour.

    Und Danke für den Hinweis und Link auf die „funnelplots“.

    Ansonsten denke ich, daß wir so weit nicht auseinander liegen. Und Deinen Standpunkt,

    dass vernünftig durchgeführte quantitative Forschungsreviews in der Lage sind, heterogene/verzerrte Befundlagen identifizieren und angemessen beschreiben zu können — ab und an können sie auch der Varianzaufklärung dienen.

    würde ich nie in Abrede stellen.

    In einem Punkt habe ich mich aber offenbar dennoch wieder leicht mißverständlich ausgedrückt. In deinem 2. Absatz nimmst Du bezug auf meine Aussage:

    dass die „in vielen naturwissenschaftlichen Disziplinen oftmals erstaunlich schnell vergessen wird, daß die jeweiligen empirischen Daten von bestimmten (zufälligen) Randbedingungen“ abhängig sind und auch anders hätten verlaufen können.

    Und Du erwiderst vollkommen zu recht, daß (vereinfacht gesagt) zufällige Ausreißer in der Statistik niemals ein Problem darstellen. Keine Frage und keine Diskussion. Man kann sogar (ich habe das bereits an anderer Stelle versucht; andere Autoren argumentieren ganz ähnlich) die Statistik, v.a. wenn man sie in ihrer historischen Genese betrachtet, in ihrem Kern als den Versuch beschreiben, den Zufall zu eliminieren. Dazu aber ein anderes Mal mehr.

    Meine Formulierung der „zufälligen Randbedingungen“ zielte aber nicht auf experimentelle Parameter, die ggf. variieren und sich insofern in den Daten niederschlagen. (Denn diese können selbstredend meist über statistische Verfahren identifiziert und/oder weggerechnet werden.) Es ging mir aber weniger um die Zufälligkeiten, die mit der konkreten Durchführung im Rahmen eines experimentellen Forschungsdesign zusammenhängen, sondern um die Zufälle, die erst zur Wahl eines Forschungsdesigns führen.

    Ich wollte nur darauf hinweisen, daß bereits die Entscheidung, was man auf welche Weise (empirisch) mißt, von zufälligen Bedingungen abhängt, die ihrerseits nicht kontrollierbar und im strengen Sinne kontingent sind. D.h. konkreter: bspw. die Verfügbarkeit von bzw. der Zugang zu bestimmten Meßapparaturen bestimmt eben darüber, wie ein Experiment schließlich aussieht. Hier spielen disziplinäre Gepflogenheiten (die eben selbst kontingent sind!) und forschungsinterne Faktoren (Ausstattung mit Ressourcen) eine Rolle, die in der Summe dazu führen, daß hier also zufällige Begleitumstände mit reinspielen, die niemals durch statistische Methoden wieder ausgeglichen werden können…

    Ich hoffe, ich habe meine Sichtweise ein wenig verständlicher machen können?

    Antworten
  6. @Marc, #6, die letzten drei Absätze: Ich stimme Dir völlig zu bzw., ja, ich weiß, was Du meinst. Lass mich noch anmerken, dass deshalb auch in den Sozialwissenschaften Replikationen eine stärkere Beachtung finden sollten und nicht als unoriginell, langweilig, „gab’s schon mal“, abqualifiziert werden sollten.
    Wobei mir zum vorletzten Absatz noch einfällt: Gäbe es mehrere Experimente (N>20) und würden sich die Kontingenzen zufällig verteilen, dann gäbe es auch keine/weniger Probleme, die Studienbefunde in ihrer Gesamtheit beurteilen zu können.

    Antworten
  7. Lieber Marc, über einen Querverweis Deines aktuellen Beitrages bin ich hier gelandet. Deine Beiträge sind doch immer wieder hochspannend und lehrreich! Danke, da ist das Lesen alleine schon ein Genuß und eine Aktivierung der eigenen grauen und weißen Zellen dazu ;-)) LG Monika

    Antworten

Schreibe einen Kommentar