Voodoo-Korrelationen: Wurden Die Ergebnisse Einiger Gehirnscan-Experimente überbewertet?
Voodoo-Korrelationen: Wurden Die Ergebnisse Einiger Gehirnscan-Experimente überbewertet?

Video: Voodoo-Korrelationen: Wurden Die Ergebnisse Einiger Gehirnscan-Experimente überbewertet?

Video: Menschliche Levitation - MÖGLICH?? 2022, Dezember
Anonim

Ed Vul ist Doktorand am Department of Brain and Cognitive Sciences des Massachusetts Intitute of Technology. Er ist auch der Hauptautor eines kürzlich erschienenen Artikels, "Voodoo-Korrelationen in den sozialen Neurowissenschaften", in dem die hohen Korrelationen zwischen Maßstäben der Persönlichkeit oder Emotionalität des Individuums - wie dem Erleben von Angst oder der Bereitschaft, einer anderen Person zu vertrauen - untersucht wurden Aktivität bestimmter Hirnregionen, wie sie in einer fMRT-Maschine beobachtet wurden. Das Papier hat eine Reihe von Kommentaren ausgelöst. Der Redakteur von Mind Matters, Jonah Lehrer, unterhält sich mit Vul darüber, was diese Studie für die Zukunft der sozialen Neurowissenschaften bedeutet, ob die Presse schuld ist und warum wir immer mehrere Vermutungen anstellen sollten.

LEHRER: Was hat Sie zuerst dazu gebracht, sich kritisch mit fMRI-Artikeln in den Sozialen Neurowissenschaften auseinanderzusetzen?

VUL: Vor ungefähr vier Jahren [Neurowissenschaftler an der Universität von Kalifornien in San Diego] sahen Hal Pashler und ich einen Vortrag, in dem eine sehr hohe Korrelation zwischen der Gehirnaktivität und der Geschwindigkeit, mit der jemand nach dem Studium den Raum verließ, berichtet wurde.

Angesichts dessen, was wir über fMRT wussten und der Faktoren, die bestimmen, wie schnell wir im Allgemeinen zum Gehen neigen, erschien es uns unglaublich, dass die Aktivität in diesem speziellen Gehirnbereich so viel zur Varianz der Gehgeschwindigkeit beitragen kann. Vor allem, weil die fMRT-Aktivität etwa zwei Stunden vor dem Gehen gemessen wurde. Entweder steuerte die Aktivität in diesem Bereich die motorische Aktion direkt mit einer Verzögerung von zwei Stunden - etwas, das wir kaum glauben konnten - oder es war etwas faul. Zu diesem Zeitpunkt wussten wir trotz unseres Verdachts nicht genau, was dieses faulige Ding war, also legten wir das Thema beiseite.

Vor ein paar Jahren bin ich zu [M.I.T. Neurowissenschaftlerin] Nancy Kanwishers Labor und begann direkt mit fMRI-Daten zu arbeiten, und ich lernte die relevante Fachsprache und Statistik. Zu diesem Zeitpunkt [M.I.T. post-doc] Chris Baker und Nancy Kanwisher haben eine Kritik an einem Artikel in Nature Neuroscience geschrieben, der unter einer nicht unabhängigen Analyse litt. Nachdem ich den allgemeinen Fall selbst durchgearbeitet hatte (und ein Kapitel zu diesem Thema geschrieben hatte), wurde mir klar, wie die Korrelationen, die uns vor so langer Zeit fischig erschienen, wahrscheinlich hergestellt wurden, und so machten wir uns an die Untersuchung - was letztendlich zu diesem Artikel führte.

LEHRER: Was ist eine "Voodoo-Korrelation"?

VUL: Wir verwenden diesen Begriff als humorvolle Methode, um mysteriös hohe Korrelationen zu beschreiben, die durch komplizierte statistische Methoden erzeugt wurden (die in den von uns untersuchten wissenschaftlichen Arbeiten normalerweise nie klar beschrieben wurden) und die sich leider als sehr irreführend herausstellen. Das spezifische Problem, auf das wir uns konzentrieren und das für viele mysteriöse Korrelationen verantwortlich ist, nennen wir „nicht unabhängige“Tests und Messungen von Korrelationen. Grundsätzlich handelt es sich dabei um versehentliche Kirschernte-Daten, die zu überhöhten Schätzungen der Korrelationen führen.

Um etwas näher darauf einzugehen:

Ein fMRI-Scan erzeugt viele Daten: ein 3-D-Bild des Kopfes, das in viele kleine Regionen unterteilt ist, die als Voxel bezeichnet werden. Bei einem hochauflösenden fMRI-Scan enthält das 3D-Bild Hunderttausende dieser Voxel.

Wenn Forscher herausfinden wollen, welche Teile des Gehirns mit einem bestimmten Aspekt des Verhaltens korrelieren, müssen sie irgendwie eine Teilmenge dieser Tausenden von Voxeln auswählen. Eine verlockende Strategie besteht darin, Voxel auszuwählen, die eine hohe Korrelation mit diesem Verhalten aufweisen. Bisher ist diese Strategie in Ordnung.

Das Problem tritt auf, wenn Forscher ihren Lesern dann ein quantitatives Maß für die Korrelationsgröße liefern, die nur innerhalb der Voxel gemessen wird, die sie für eine hohe Korrelation vorgewählt haben. Dieses zweistufige Verfahren ist zirkulär: Es wählt Voxel mit einer hohen Korrelation aus und schätzt dann eine hohe durchschnittliche Korrelation. Diese Praxis erhöht die Korrelationsmessung, da sie die Voxel auswählt, die vom Zufall profitiert haben, sowie jede echte zugrunde liegende Korrelation, wodurch die Zahlen nach oben gedrückt werden.

Man kann in vielen Lebensbereichen sehr analoge Phänomene beobachten. Angenommen, wir wählen die Investmentanalysten aus, deren Aktienauswahl für April 2005 für diesen Monat am besten war. Diese Leute werden wahrscheinlich dazu neigen, Talent für sie zu haben, aber sie werden auch ungewöhnliches Glück gehabt haben (und einige Finanzexperten wie Nassim Taleb sagen tatsächlich, dass das Glück wahrscheinlich das größere Element sein wird). Aber selbst wenn wir davon ausgehen, dass sie talentierter sind als der Durchschnitt - wie wir vermuten -, werden wir feststellen, dass sie als Gruppe die Leistung, die sie im April gezeigt haben, nicht duplizieren können, wenn wir sie für einen späteren Monat erneut vorhersagen. Der Grund ist, dass das nächste Mal Glück einigen von ihnen helfen und einige von ihnen verletzen wird - während sie im April alle Glück auf ihrer Seite hatten oder nicht in die Spitzengruppe gekommen wären. Daher ist ihre durchschnittliche Leistung im April eine Überschätzung ihrer tatsächlichen Fähigkeiten - die Leistung, die sie voraussichtlich im durchschnittlichen Monat duplizieren werden.

Genau so ist es mit fMRI-Daten und Voxeln. Wenn Forscher nur stark korrelierte Voxel auswählen, wählen sie Voxel aus, die "Glück gehabt" haben und eine zugrunde liegende Korrelation haben. Wenn Sie also die Korrelationen, mit denen Sie die Voxel ausgewählt haben, als Maß für die wahre Korrelation für diese Voxel verwenden, erhalten Sie eine sehr irreführende Überschätzung.

Dies ist unserer Meinung nach die Wurzel der Voodoo-Korrelationen: Die Analyse nutzt versehentlich den Zufall, was zu überhöhten Korrelationsmessungen führt. Der schwierige Teil, auf den ich hier nicht eingehen kann, war, dass die Ermittler tatsächlich versuchten, die Tatsache zu berücksichtigen, dass sie so viele verschiedene Gehirnbereiche überprüften - aber ihre Vorsichtsmaßnahmen machten das Problem, das ich beschreibe, schlimmer, nicht besser!

LEHRER: Ihre Arbeit hat unter Sozialneurowissenschaftlern viele Debatten ausgelöst, und einige der Wissenschaftler haben Ihre Arbeit widerlegt. (Sie haben diese Widerlegung inzwischen zurückgewiesen.) Wozu führt diese Debatte hoffentlich? Welche methodischen Änderungen würden Sie gerne von Sozialneurowissenschaftlern mit fMRT sehen?

VUL: Die Debatte, die wir angestoßen haben, ist sehr interessant zu beobachten. Zunächst haben einige der Autoren, deren Artikel wir kritisiert haben, unseren statistischen Standpunkt in Frage gestellt, aber aus gutem Grund scheint sich diese Argumentation nicht durchgesetzt zu haben. Soweit ich weiß, scheinen derzeit alle zuzugeben, dass die in diesen Studien verwendete Analyse nicht koscher war, im Sinne der Bereitstellung von Korrelationszahlen, die ernst genommen werden können. Stattdessen hören wir an dieser Stelle meistens einige andere Argumente.

Zum einen spielen die Korrelationswerte selbst keine Rolle - es kommt nur auf die Tatsache an, dass an einer bestimmten Stelle im Kopf eine Korrelation besteht. Ich stimme dieser Beobachtung überhaupt nicht zu, und wir glauben, dass viele dieser Artikel an so hochkarätigen Orten erschienen sind, weil die Redakteure (zu Recht) von großen Effekten beeindruckt waren. Wenn man beispielsweise drei Viertel der individuellen Unterschiede in etwas Wichtigem wie Angst oder Empathie erklären kann, ist dies offensichtlich ein echter Durchbruch, und es zeigt Ihnen nicht nur, wo zukünftige Forschung aussehen sollte, sondern auch, wo sie nicht aussehen sollte. Wenn es dagegen nur 3 Prozent der Varianz sind, ist das viel weniger beeindruckend und spiegelt möglicherweise viel indirektere Arten von Assoziationen wider.

Ich habe auch einige Leute beschweren hören, dass wir, selbst wenn wir in mathematischer Hinsicht richtig liegen, unsere Argumentation auf eine etwas grobe Art und Weise darlegten, bestimmte Artikel kritisierten, ungünstige Aufmerksamkeit von außen auf das Gebiet lenkten und den humorvollen Begriff verwendeten. Voodoo.".

Wir waren genauso überrascht wie jeder andere, wie viel Interesse unser Papier weckte. Offensichtlich verbreitete sich eine Art "viraler" Neurowissenschaftler, von dem wir wissen, dass er sieben Exemplare an ihn geschickt bekommen hat (keines davon von uns). Die gute Seite ist, dass die Leute jetzt härter darüber nachdenken, wie sie ihre Analysen durchführen. Die schlechte Seite ist, dass all diese Werbung einige Autoren in Verlegenheit gebracht und aufgegriffen hat. Unserer Ansicht nach sind die statistischen Probleme der Unabhängigkeit und der mehrfachen Vergleiche voller kniffliger Fallstricke - wir schlagen nicht vor, dass dies dumme Fehler waren, die Menschen gemacht haben, und wir bedauern, dass wir die Gefühle anderer verletzt haben. Ich denke jedoch nicht, dass es sinnvoll gewesen wäre, einen Artikel zu schreiben, in dem keine „Namen“genannt wurden, denn wenn die wissenschaftliche Literatur künftige Forschungsentscheidungen leiten soll, müssen die Menschen wissen, auf welche Ergebnisse man sich verlassen kann, und was nicht kann. (Tatsächlich vermuten wir, dass wir nur einen kleinen Teil der Artikel mit diesen Problemen gekennzeichnet haben, und einige befassen sich mit anderen Bereichen wie der Neurogenetik, der kognitiven Neurowissenschaft im weiteren Sinne und anderen.)

LEHRER: Glauben Sie, dass die Medien teilweise dafür verantwortlich sind, die Erkenntnisse der sozialen Neurowissenschaften zu sensibilisieren? Und wie können die Medien besser über Gehirnscandaten berichten?

VUL: Soziale Neurowissenschaften sind aufregend! Wer will nicht wissen, warum wir Liebe, Eifersucht oder Schadenfreude empfinden? wie wir uns entscheiden, andere zu bestrafen; und warum tut Ablehnung weh? Es braucht also nicht viel, um Erkenntnisse auf diesem Gebiet zu sensibilisieren - die meisten Erkenntnisse werden bereits die Vorstellungskraft der Öffentlichkeit anregen, und sie brauchen nur einen kleinen Druck von den Medien.

Im Allgemeinen würde ich etwas mehr Skepsis der Reporter in Bezug auf alle wissenschaftlichen Erkenntnisse befürworten. Ich denke, Reporter versuchen im Allgemeinen, Schlussfolgerungen etwas besser zu formulieren als die ursprünglich verwendeten Wissenschaftler. Was sie möglicherweise nicht erkennen, ist, dass Wissenschaftler selbst die Auswirkungen ihrer Ergebnisse oft etwas überverkauft haben. Wenn Sie diese Dinge zusammenfügen, kann dies zu einer wirklich übertriebenen Berichterstattung führen. (Andererseits, wenn dieser Rat befolgt würde, würden Wissenschaftskolumnen vielleicht langweilig und ungelesen enden, also sollte ich den Vorschlag vielleicht zurückziehen.)

Insbesondere bei der Berichterstattung über Daten zum Scannen des Gehirns ist mir aufgefallen, dass die Ergebnisse, die die Öffentlichkeit und die Reporter zu begeistern scheinen, hauptsächlich von der Vielfalt "Das Gehirn macht X" stammen, wobei X ein zutiefst menschliches Merkmal ist wir schätzen (wie Liebe, Sprache und so weiter). Vielleicht ist dies für den Laien immer noch aufregend, der versucht, an einer Vorstellung festzuhalten, dass Geist und Gehirn unterschiedliche Einheiten sind. Ich glaube nicht, dass es viele Leute gibt, die Neurowissenschaften studieren, die dies jedoch besonders interessant finden. Die meisten von uns waren zutiefst davon überzeugt, dass Geist und Gehirn eine Sache sind. Wenn sich Reporter auf die Frage konzentrieren, wie etwas im Gehirn funktioniert, anstatt dass es im Gehirn funktioniert, könnten sie vielleicht eine etwas (wissenschaftlich) aufregendere Untergruppe des Feldes aufgreifen.

LEHRER: Was recherchieren Sie, wenn Sie nicht an Voodoo-Korrelationen denken?

VUL: In letzter Zeit habe ich an der Schnittstelle zwischen kognitiver Psychologie und maschinellem Lernen gearbeitet und gefragt, wie Menschen möglicherweise ziemlich schwierige statistische Berechnungen durchführen (was wir alle scheinbar unbewusst und automatisch die ganze Zeit tun).

Ich habe die Idee untersucht, dass der menschliche Geist im Grunde genommen eine „Stichprobenmaschine“ist, dass er komplexe statistische Modelle verkörpert, diese aber nur durch Zeichnen von Stichproben beurteilen kann. Dies wäre gleichbedeutend damit, jemandem eine verbogene Münze zu geben: Er weiß nicht, wie wahrscheinlich es ist, dass sie Kopf oder Zahl landet, aber er kann sie so oft werfen, wie er möchte.

Ein Experiment zu diesem Thema hat in letzter Zeit ein wenig mediale Aufregung ausgelöst (ich freue mich sehr, wenn die Schlussfolgerungen meiner Artikel überbewertet sind), das wir als „Weisheit der inneren Menge“bezeichnet haben.

Wenn Sie zwei Personen bitten, eine Vermutung darüber anzustellen, wie viele Menschen im Durchschnitt in New York leben, ist der Durchschnitt ihrer beiden Vermutungen besser als jede Vermutung allein. Dieser Crowd-of-Crowd-Effekt ist eine Folge von Vermutungen verschiedener Personen mit unabhängigen Fehlern.

Wir haben die Hypothese getestet, dass sogar der Durchschnitt von zwei Vermutungen eines Individuums genauer wäre als jede Vermutung allein. Dies wäre der Fall, wenn mehrere Antworten von einem Individuum etwas unabhängige Stichproben - wie Münzwürfe - aus einem internen Wahrscheinlichkeitsmodell sind. Und genau das haben wir gefunden. Der Durchschnitt von zwei Vermutungen von einer Person war (im Durchschnitt) besser als jede Vermutung allein - und die Verbesserung war sogar noch größer, wenn die beiden Vermutungen um zwei Wochen voneinander getrennt waren. Auf diese Weise haben wir effektiv eine sich entwickelnde Menge in unserem eigenen Kopf - und in einigen Fällen können wir gewinnen, indem wir diese Menge konsultieren, anstatt nur ein einziges sofortiges Urteil zu fällen.

Bist du ein Wissenschaftler? Haben Sie kürzlich ein von Experten begutachtetes Papier gelesen, über das Sie schreiben möchten? Dann wenden Sie sich an den Herausgeber von Mind Matters, Jonah Lehrer, den Wissenschaftsjournalisten hinter dem Blog The Frontal Cortex und dem Buch Proust Was a Neuroscientist. Sein nächstes Buch, How We Decide, wird im Februar 2009 erhältlich sein.

Beliebt nach Thema