Danke für dein nochmaliges Feedback und die weiteren Hinweise.

Und der von Dir genannte Ian Hacking wäre eben einer derjenigen, die die von mir erwähnte “Fabrikation von Erkenntnis” thematisiert haben. Für mich immer noch zentraler sind in dieser Richtung u.a. Karin Knorr-Cetina, Helga Nowotny, Hans-Jörg Rheinberger oder die frühen Laborstudien von Bruno Latour.

Und Danke für den Hinweis und Link auf die “funnelplots”.

Ansonsten denke ich, daß wir so weit nicht auseinander liegen. Und Deinen Standpunkt,

dass vernünftig durchgeführte quantitative Forschungsreviews in der Lage sind, heterogene/verzerrte Befundlagen identifizieren und angemessen beschreiben zu können — ab und an können sie auch der Varianzaufklärung dienen.

würde ich nie in Abrede stellen.

In einem Punkt habe ich mich aber offenbar dennoch wieder leicht mißverständlich ausgedrückt. In deinem 2. Absatz nimmst Du bezug auf meine Aussage:

dass die “in vielen naturwissenschaftlichen Disziplinen oftmals erstaunlich schnell vergessen wird, daß die jeweiligen empirischen Daten von bestimmten (zufälligen) Randbedingungen” abhängig sind und auch anders hätten verlaufen können.

Und Du erwiderst vollkommen zu recht, daß (vereinfacht gesagt) zufällige Ausreißer in der Statistik niemals ein Problem darstellen. Keine Frage und keine Diskussion. Man kann sogar (ich habe das bereits an anderer Stelle versucht; andere Autoren argumentieren ganz ähnlich) die Statistik, v.a. wenn man sie in ihrer historischen Genese betrachtet, in ihrem Kern als den Versuch beschreiben, den Zufall zu eliminieren. Dazu aber ein anderes Mal mehr.

Meine Formulierung der “zufälligen Randbedingungen” zielte aber nicht auf experimentelle Parameter, die ggf. variieren und sich insofern in den Daten niederschlagen. (Denn diese können selbstredend meist über statistische Verfahren identifiziert und/oder weggerechnet werden.) Es ging mir aber weniger um die Zufälligkeiten, die mit der konkreten Durchführung im Rahmen eines experimentellen Forschungsdesign zusammenhängen, sondern um die Zufälle, die erst zur Wahl eines Forschungsdesigns führen.

Ich wollte nur darauf hinweisen, daß bereits die Entscheidung, was man auf welche Weise (empirisch) mißt, von zufälligen Bedingungen abhängt, die ihrerseits nicht kontrollierbar und im strengen Sinne kontingent sind. D.h. konkreter: bspw. die Verfügbarkeit von bzw. der Zugang zu bestimmten Meßapparaturen bestimmt eben darüber, wie ein Experiment schließlich aussieht. Hier spielen disziplinäre Gepflogenheiten (die eben selbst kontingent sind!) und forschungsinterne Faktoren (Ausstattung mit Ressourcen) eine Rolle, die in der Summe dazu führen, daß hier also zufällige Begleitumstände mit reinspielen, die niemals durch statistische Methoden wieder ausgeglichen werden können…

Ich hoffe, ich habe meine Sichtweise ein wenig verständlicher machen können?

@Marc, #4, Abs. 4: Du schreibt, dass die “in vielen naturwissenschaftlichen Disziplinen oftmals erstaunlich schnell vergessen wird, daß die jeweiligen empirischen Daten von bestimmten (zufälligen) Randbedingungen” abhängig sind und auch anders hätten verlaufen können. Der (schlechte) Witz ist ja nun gerade, dass es eben keine zufälligen Bedingungen sind. Zufall war noch nie ein Problem in der Statistik. Ist es nicht außerdem inzwischen Standard, Experimente zu replizieren, um die Ergebnisse eben von den bestimmten Randbedingungen abstrahieren zu können?

@Marc, #2, Abs. 5: Mit geht es darum klarzustellen, dass vernünftig durchgeführte quantitative Forschungsreviews in der Lage sind, heterogene/verzerrte Befundlagen identifizieren und angemessen beschreiben zu können[1] — ab und an können sie auch der Varianzaufklärung dienen. Du hast aber natürlich recht, wenn Du sagst, dass unter bestimmten Bedingungen (nämlich schlecht durchgeführte Reviews) es “erst recht zu Verunsicherung oder gar zu weniger belastbarem Wissen kommen” kann. Das ist aber ein allgemeines Verdikt, dass auf jede Art von empirische (Sozial)Forschung zutrifft.

[1] Eine Möglichkeit sind funnelplots (Abb. wird irgendwann wieder entfernt.). Ich zitiere mich selbst: In einem Koordinatensystem werden zunächst die Effektgrößen der einzelnen Studien in Abhängigkeit von ihrer Studiengröße (oder Standardfehlern) abgetragen. Die zugrunde liegende Idee dabei ist, dass die Effektmaße mit zunehmender Studiengröße beziehungsweise abnehmendem Standardfehler weniger stark streuen. Im Idealfall liegt keine Verzerrung vor und der Graph nimmt die Form eines Trichters (engl. “funnel”, vgl. Abbildung 5.1) an. Liegt ein publication bias vor, dann enthält das Diagramm ein Loch”, meistens im Bereich kleinerer Fallzahlen und schwacher Effektstärken, das heißt abnehmender statistischer Signifikanz siehe schraffierte Fläche).”

Ich denke, daß es noch genug Gelegenheit zur ausführlicheren Auseinandersetzung und Argumentation gibt. Und ich gestehe, daß ich mich im letzten Absatz meines Kommentars mißverständlich ausgedrückt habe bzw. einen etwas anderes zum Ausdruck bringen wollte.

Denn ich kann und will gar nicht bestreiten, daß der Umgang mit Meta-Studien in der Medizin versierter ist. Da bist ohnehin Du der Fachmann und meine Kenntnisse beschränken sich auf eher kursorische Beobachtungen. Es ist natürlich auch so, daß eben Metastudien (und ich hoffe nicht, ich lehne mich hier zu weit aus dem Fenster) natürlich im Feld der medizinischen Forschung deutlich weiter verbreitet sind, als bspw. in den Sozialwissenschaften.

Was ich sagen wollte (und aufgrund meiner eigenen Schwerpunktsetzung sagen kann): die Sozialwissenschaften, (im speziellen die Wissen(schaft)ssoziologie) haben in den letzten 30 Jahren aufzeigen können, daß die Wahl der Untersuchungsmethodik die Untersuchungsergebnisse (mit)beeinflußt. Ja, ich weiß, das ist beinahe trivial. Aber wenn man in den Forschungsalltag der ‘harten’ Naturwissenschaften blickt (ich kenne hier v.a. die Chemie), dann stellt man fest, daß (Meß-)Ergebnisse sehr unkritisch als eben empirischer und damit unzweifelhafter Beleg (für was auch immer) ‘gelesen’ werden. Und das wohlwissend, daß eben das experimentelle Forschungsdesign das Produkt von (in Grenzen: beliebigen) Entscheidungen war.

In diesem Zshg. wollte ich andeuten, daß eben in vielen naturwissenschaftlichen Disziplinen oftmals erstaunlich schnell vergessen wird, daß die jeweiligen empirischen Daten von bestimmten (zufälligen) Randbedingungen abhängen und eben auch anders hätten ausfallen können.

Zu deinem zweiten Hinweis: Ja klar, das “Cochrane-Zentrum” (Stichwort: evidenzbasierte Medizin) kenne ich natürlich. Allerdings darf die Tatsache, daß hier seit einigen Jahren gute Arbeit geleistet wird, nicht darüber hinwegtäuschen, daß viele medizinische Einzelstudien (selbst wenn Sie unter den Standards ‘randomisiert’ ‘doppelblind’ ablaufen) große Schwächen aufweisen. Zudem muß man eben feststellen, daß das Freiburger “Cochrane-Zentrum” nicht überall wohlgelitten ist und bspw. Gerd Antes (dessen Leiter) in nicht wenigen medizinischen Kreisen als Spielverderber bzw. Nestbeschmutzer gilt…

Im Hinblick auf Deine letzte Einschätzung möchte ich aber anmerken, dass Du damit vermutlich falsch liegst. Was systematische Reviews (und Meta-Analysen) angeht, liegen die Sozialwissenschaften (mit Ausnahme von Psychologie und Erziehungswissenschaften) weit hinter der medizinischen Methodenforschung zurück. Es sei nur auf solche Einrichtungen wie etwa die cochrane collaboration verwiesen, die sich der systematischen Sammlung solcher Übersichtsarbeiten widmet. Für den Bereich social policy gibt es immerhin die campbell collaboration.

(Zu meinem Hintergrund: Der Arbeitstitel meiner Diss lautet “Meta-Analysen als Verfahren der quantitativen Forschungssynthese in der Soziologie. Dargestellt anhand eines Fallbeispiels zum Zusammenhang von Schulschwänzen und Migrationshintergrund”. Das erklärt vielleicht meine Motivation :-)

Danke für den manuellen Hinweis auf Deine Anmerkungen!

Auf die Schnelle: Du warnst in Deinem lesenswerten Artikel davor, sämtliche Meta-Studien (oder eben, wie Du vorschlägst “systematic reviews”) als Instrument der Erzeugung von Nicht-Wissen zu verstehen. Da stimme ich Dir vollkommen zu. So möchte ich auch keinesfalls verstanden sein!

Ich halte Meta-Studien aus genau dem Grund, den Du in einem der letzten Absätze erwähnst für unverzichtbar: Du erinnerst daran,

dass niemals zwei empirische Studien komplett identisch sein werden („no two ’studies‘ are the same“).

Und genau deshalb sind Meta-Studien wichtig. Aber wie ich oben an dem Echinacea-Beispiel illustrieren wollte, könnte (Konjunktiv!) es unter bestimmten Bedingungen dadurch dennoch erst recht zu Verunsicherung oder gar zu weniger belastbarem Wissen kommen, als zuvor. Wenn nämlich die genannten Effekte (aus welchen Gründen und Motiven auch immer) zum tragen kommen.

Die beiden wichtigsten Faktoren: 1. “publication bias”, 2. die verglichenen Studien weisen per se Unvergleichbarkeiten auf, d.h. anderes Studiendesign, zu stark variierende Methodologie etc. Im Ergebnis vergleicht man “Äpfel mit Birnen”.

Das sind zwei getrennte Effekte, ich denke nicht, daß ich sie (wie du vermutest) vermische.

Deine Hinweise darauf, daß es natürlich auch Bemühungen gibt, genau diese Verzerrungseffekte zu beschreiben und methodisch zu kontrollieren sind interessant.

Ich möchte aber abschließend noch einwenden, daß es in meinem Artikel eben nicht zufällig um eine medizinische Thematik ging. Ich behaupte, daß in diesem Kontext die Sozialwissenschaften methodisch sensibler und reflektierter sind. Gerade medizinische Meta-Studien sollten deswegen nach meinem Dafürhalten (genauso wie jede Einzelstudie) immer gewissenhaft und kritisch geprüft werden…