Home » Denkanstösse, Werkstattnotizen, Wissenschaft

Hütet Euch vor der Eindeutigkeit der Zahlen » Weshalb Statistiken mit Vorsicht zu genießen sind | Werkstattnotiz LXXXXVII

12. Juni 2008 | 14:21 Gelesen: 7321 · heute: 3 · zuletzt: 19. October 2017 4 Reaktionen

AbacusZahlen, Statistiken und Schaubilder sind etwas wunderbares. Wie angenehm ist es doch, wenn man komplexe soziale Phänomene auf anschauliche Weise abbilden kann? Wie gut fühlt es sich an, wenn man mit einigen eindeutigen Zahlen seine Behauptungen untermauern kann?

Denn:

Wie hat George W. Bush seine Arbeit gemacht?Schlecht! (Das sagen 77% aller Bundesbürger.)1

Oder:

Spielt der Aberglaube um den “Freitag, den 13.” im Alltag eine Rolle? Nein! (Nur knapp 18% geben zur Auskunft, daß Ihnen an diesem Datum “mulmig” sei.)2

Die gesamte demoskopische Branche lebt von dem Bedürfnis nach eindeutigen Zahlen, die uns die Welt erklären.

Ein ganze Branche – das Volk der Demoskopen – lebt von diesem Wunsch, diesem tiefsitzenden Bedürfnis nach Zahlen, die uns die Welt vielleicht nicht ganz erklären, aber so zumindest ein Stückchen eindeutiger und handhabbar machen.

Dabei ist klar, daß ein bloßer Zahlenwert für sich allein genommen, kaum eine Aussagekraft hat – es kommt darauf an, daß die Werte eingeordnet und “verstanden” werden.3 Und daß statistische Erhebungen ein schwieriges Geschäft sind, versteht sich ohnehin von selbst.

Mißtraut den Zahlenfreaks!

Nun gibt es für alle Skeptiker, die all die bunten Zahlen und Schaubilder ohnehin zum Teufel wünschen, neue Argumente. Und das aus vollkommen unverdächtiger Ecke: eine aktuelle Studie der “International Mathematical Union (IMU)” macht darauf aufmerksam, daß wir der Aussagekraft von Zahlen nicht ohne weiteres Vertrauen sollten.

Nun gut, die erste populäre Kernthese aus der Pressemitteilung, gehört eher in die Kategorie Binsenweisheiten:

  • Statistics are not more accurate when they are improperly used; statistics can mislead when they are misused or misunderstood.

Um ehrlich zu sein, hätte ich das auch so gewußt. Aber nett, daß gerade die Mathematiker explizit darauf hinweisen, daß Statistiken irreführend sein können und sie anderen Darstellungen/Beschreibungen keineswegs überlegen sind, da sie u.a. viele handwerkliche Fehlerquellen beherbergen.

Wie beziffert man Forschungsqualität?

Allerdings ist der Bericht dennoch sehr bemerkenswert, denn die Mathematiker hatten sich mit den statistischen Bewertungen von Forschungsleistungen befasst. Das Hauptaugenmerk lag dabei auf Kenngrößen wie dem “Impact Factor“, der die Zitationsrate von Fachartikeln beziffert und ein wesentliches Kriterium für die “Forschungsleistung” oder schlicht Qualität von Wissenschaft darstellt.

Und hier kommt das Paper zu folgendem Ergebnis:

  • The objectivity of citations is illusory because the meaning of citations is not well-understood. A citation’s meaning can be very far from “impact”.
  • While having a single number to judge quality is indeed simple, it can lead to a shallow under-standing of something as complicated as research.

Die Fixierung auf Konstrukte wie den “Impact Factor” ist irreführend!

Auch keine Erkenntnisse, die man nicht vorher gehabt hätte. Aber die Feststellungen, daß

  1. die Messung und Addition von schlichten “Zitaten” nicht unbedingt mit Relevanz gleichzusetzen ist; daß es eben darauf ankommt, “wie” zitiert wird und nicht nur die Häufigkeit von Verweisen zählt und
  2. die Reduzierung von Forschungsleistungen auf eine einzige Zahl zu einfach und oberflächlich ist. Und man der Komplexität von Wissenschaft mit einer einzigen Kennziffer niemals beikommt,

diese Feststellungen sind doch lobenswert.4

Pflichtlektüre für die “Wissenschaftsvermesser”!

Ich möchte bitte, daß all die Herrschaften bei DFG und anderen Leistungsbemessungs-Institutionen diesen Bericht lesen und ihre Qualitätskriterien überdenken.

Und noch ein letzter Satz ist natürlich wunderbar – und er ist Wasser auf die Mühlen eines jeden Sozialwissenschaftlers, die sich ständig den Vorwürfen gegenübersehen, ihre Disziplin sei doch so wenig handfest und man habe keine verläßlichen Größen und Zahlen und überhaupt. Also, herhören liebe Ingenieure und Naturwissenschaftler:

  • Numbers are not inherently superior to sound judgments.

Gut gebrüllt, liebe Mathematiker! Danke!


  1. Quelle: Emnid, 11.06.2008 []
  2. Quelle: GfK im Auftrag der Apotheken-Umschau, 10.06.2008 []
  3. Übrigens: Natürlich treffen solche Einwände auch Rankings – wie etwa die Wissenschaftsblog-Charts. Allerdings kommt es m.E. eben darauf an, daß klar kommuniziert wird, wo die Grenzen der Zahlen bzw. Rankings liegen. Für die Wissenschaftsblog-Charts habe ich jeweils im Vorfeld explizit betont, daß Technorati-Werte kein (!) Qualitätsmerkmal sind! []
  4. Denn im Grunde ist der “Impact Factor” wenig anderes als die “Page Impression” der Wissenschaft. Die ausschließliche Fixierung auf diese Meßgröße verstellt den Blick auf andere Zusammenhänge, führt zu unerwünschten Effekten und “verzerrt” das Bild… []
Marc Scheloske
Marc Scheloske
Ich bin Sozialwissenschaftler und freier Journalist. Ich schreibe (Fach-)Artikel, blogge und führe Workshops und Schulungen zum Thema 'Wissenschaftskommunikation und Social Media' durch. → weitere Infos
Twitter: Werkstatt | Meine (private) Website | Profile bei: Google+ | Facebook | Xing

Kommentare

4 Reaktionen »

  • Christian :

    Gerade die vierte Fussnote finde ich eine schöne plastische Erläuterung. Natürlich nur wenn man mit Page Impressions auch etwas anfangen kann.

    Andererseits – wenn auch nicht so verlockend – tritt das Problem der Verallgemeinerbarkeit und der Eindeutigkeit von Aussagen auch in der qualitativen Forschung auf. Nur dass man dann diese Aussagen nicht mit Zahlen untermauern kann und diese somit nicht als ein Totschlagargument nutzen.

    Mit Zahlen lässt sich eben eine schöne Scheinobjektiviät erzeugen. Dabei wird vergessen, dass auch aus Zahlen nur durch Interpretation eine Aussage wird.

    [twort T]

  • juliaL49 :

    Zum Impact Factor lasse ich mich mal besser nicht aus…

    Aber zu Zahlen, Statistiken, Umfragen, Umfrageinstituten, sog. Urban Myths uvm. gibt es den Numbers Guy, der eine Kolumne (mittlerweile zum Glück als Blog) beim WSJ schreibt.

    [twort T]

  • Benedikt :

    “Denn im Grunde ist der “Impact Factor” wenig anderes als die “Page Impression” der Wissenschaft.”

    Eigentlich nicht. PI wollen die Reichweite einer Seite messen bzw. die Seitenabrufe, während der IF die Zitation eines Journals erfasst. Ich würde es eher so formulieren: “Die Technorati-Authority ist der Impact-Factor der Blogosphäre”. Im Übrigen findet man da immer wieder schöne Belege für Goodhart’s Law http://en.wikipedia.org/wiki/Goodhart%27s_law

    [twort T]

  • Wolfgang Michal :

    Nehmen wir mal die Vätermonate:

    Zwischen Januar 2007 (dem Beginn der Elterngeld-Reform) und März 2008 wurden insgesamt 719.621 Elterngeld-Anträge bewilligt. Der Väteranteil betrug 12,1 Prozent (= 87.000 Männer). Zwei Drittel der Väter (= 58.000) wählten eine Auszeit von nur zwei Monaten (das ist die Bedingung, um überhaupt Elterngeld zu bekommen). 29.000 (= 4 Prozent) nahmen einen ernst zu nehmenden längeren Erziehungsurlaub.

    Auffällig ist nun, dass ein- und dasselbe Medium – bei korrekter Wiedergabe der statistischen Fakten – völlig unterschiedlich „berichtet“:

    Am 28.2.2008 meldete „Spiegel online“:
    „Vätermonate immer beliebter“
    Schon 12 Prozent der Väter…

    Am 11.6.2008 meldete „Spiegel online“:
    „Nur 6884 Väter nahmen ein Jahr Elternzeit“
    Nur 4 Prozent der Väter…

    [twort T]

  • pingbacks

    Pingbacks & Trackbacks

Mitdiskutieren!

Diskutieren Sie mit oder setzen einen Trackback von Ihrer Website oder Blog. Abonnieren Sie die Kommentare als RSS-Feed.

Noch Fragen? Lesen sie die Kommentarregeln!

Folgende HTML-tags können verwendet werden:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

Die Wissenswerkstatt benutzt Gravatare.

↑ nach oben