Prävalenzfehler

Motivationsbeispiele

1. Alex besuchte während der Schulzeit gerne und viele Ferienkurse zu Astronomie, Robotik und Chemie und schloss sowohl die Schule als auch das Studium mit top Noten ab. Was glaubst du: Ist Alex heute Professor*in oder Lehrer*in? Wie kommst du zu deiner Entscheidung?
2. Kim engagierte sich bereits zu Schulzeiten auf Bundesebene bei der Jungen Union, trat mit 18 der CDU bei, nahm mehrmals bei den Model United Nations Teil und studierte Jura. Was glaubst du: Ist Kim heute Bundeskanzler*in oder Anwältin/Anwalt in einer Kanzlei? Wie kommst du zu deiner Entscheidung?
3. Bitte erst weiterlesen, wenn Fragen 1 und 2 diskutiert wurden. In Deutschland gibt es ca. 50 000 Professor*innen, ca. 800 000 Lehrer*innen, zu jedem Zeitpunkt genau eine*n Bundeskanzler*in und ca. 165 000 Rechtsanwälte/Rechtsanwältinnen. Wie beeinflussen diese Informationen deine Entscheidung?

Erklärung

In den obigen Fragen wurde um die Einschätzung einer Wahrscheinlichkeit gebeten, dass eine Person momentan einen gewissen Beruf ausübt. Dazu wurden Informationen über die Personen bereitgestellt, die als Evidenz für einen der beiden Berufe gesehen werden. Z.B. erhöht Kims politisches Engagement bereits in Kindertagen die Wahrscheinlichkeit, dass er/sie Politiker*in geworden ist und vielleicht sogar Bundeskanzler*in. Aber wurde die Wahrscheinlichkeit ausreichend erhöht?

Neben der Evidenz für die einzelne Person muss die sog. Base Rate oder Prävalenz mit berücksichtigt werden. Die Prävalenz gibt an mit welcher Wahrscheinlichkeit ein Zustand in einer allgemeinen Population auftritt. In Kims Beispiel wäre die Grundpopulation die Menge aller Bundeskanzler*innen und (praktizierende) Rechtsanwälte/Rechtsanwältinnen. Mit den Beispielzahlen von oben, bestünde diese Population aus 165 001 Individuen. Die Wahrscheinlichkeit für ein beliebies Individuum aus dieser Population Bundeskanzler*in zu sein ist $\frac{1}{165001} \approx 0.0006\, \%$, also sehr unwahrscheinlich. Die Evidenz für Kim müsste diese Prävalenz aufwiegen, damit wir zu dem Entschluss kommen, dass Kim tatsächlich Bundeskanzler*in ist. Bei dem Zahlenbeispiel bedeutet das, dass uns die Infos über Kims Kindheit 100 000-mal sicherer machen müssten, damit die Wahrscheinlichkeit von Kim Kanzler*in zu sein über 50 % steigt. Diese Einschätzung ist subjektiv. Jedoch ist fragwürdig, ob dieses Minimum an Informationen einen Faktor von 100 000 rechtfertigt.

Alex Beispiel ist ähnlich gelagert, allerdings mit weniger drastischer Prävalenz, nämliche $\frac{50}{850} \approx 6\,\%$ Wahrscheinlichkeit einer Professur. In diesem Fall wäre die Frage, ob die guten Noten und die Zusatzkurse die Wahrscheinlichkeit um einen Faktor 10 erhöhen, dass Alex Professor*in ist. Auch diese Einschätzung ist wieder subjektiv, allerdings ist ein Faktor von 10 bei so schmaler Datenlage immer noch fragwürdig.

Wird die Prävalenz ignoriert und allein auf Basis der Evidenz entschieden, so spricht man von einem Prävalenzfehler (engl.: base rate fallacy). Dieser ist relativ weit verbreitet. Da in Texten meist nur die Evidenz für den Einzelfall, aber nicht die Prävalenz in der Population mit angegeben wird, ist es leicht die Prävalenz zu vernachlässigen oder zu vergessen.

Wikipedia stellt eine schöne Visualisierung des Prävalenzfehlers am Beispiel der Wahrscheinlichkeit einer behandlungsbedürftigen COVID Infektions mit bzw. ohne Impfung vor. Die Beobachtung, dass mehr geimpfte Personen wegen COVID in Behandlung sind legt zunächst den Schluss nahe, dass die Impfung nicht wirkt oder sogar schädlich ist. Dieser Schluss ignoriert jedoch die Prävalenz. Nämlich, dass die viel mehr Personen geimpft sind als nicht. Wird diese Prävalenz berücksichtigt, so zeigt sich, dass es viel wahrscheinlicher für eine ungeimpfte Person ist wegen COVID behandelt werden zu müssen als für eine geimpfte Person.

Der Prävalenzfehler ist ein Beispiel einer kognitiven Verzerrung (cognitive bias) bei der subjektiven Einschätzung bedingter Wahrscheinlichkeiten. Die Prävalenz spielt aber auch eine große Rolle bei der Interpretation von Testergebnissen (z.B. bei medizinischen Tests).

Binäre Tests

Einführung

Medizinische Tests (z.B. COVID Schnelltests) werden statistisch auf zwei Kennzahlen reduziert: die Sensitivität und die Spezifizität. Sensitivität beschreibt dabei die Wahrscheinlichkeit, dass der Test positiv ist gegeben, dass die zu testende Person wirklich krank ist. Die Spezifizität beschreibt die Wahrscheinlichkeit, dass der Test negativ ist gegeben, dass die zu testende Person wirklich gesund ist. (Achtung! Sensitivität und Spezifizität messen verschiedene Dinge und sind nicht komplementär.) Sensitivität und Spezfizität beschreiben zwar zentrale Eigenschaften des Tests, sind aber für die eigentliche Vorhersage uninteressant. Denn normalerweise ist unbekannt, ob eine Person wirklich krank ist oder nicht. Deswegen mache ich ja den Test! Viel Spannender wäre also die Wahrscheinlichkeit, dass eine Person krank ist gegeben, dass der Test positiv ist. Diese Größe wird im englischen als Positive Predictive Value (PPV) und es gibt eine Formel, die den PPV mit Sensitivität und Spezifizität in Verbindung bringt:

Zentral an der Formel ist, dass sie neben der Sensitivität und Spezifizität auch von der Prävalenz abhängt! D.h. wie gut ein Test funktioniert hängt davon ab wie weit die Krankheit in der Population verbreitet ist. Die Prävalenz zu ignorieren (wie beim Prävalenzfehler) würde zu falschen Vorhersagen führen.

Die Formel lässt sich leicht in einem Excel-Sheet implementieren: . PPV-Rechern

Neben dem Positive Predictive Value gibt es auch noch den Negative Predictive Value, der die Wahrscheinlichkeit angibt gesund zu sein, gegeben dass der Test negativ war. Auch der NPV hängt von der Prävalenz ab und ist in dem obigen Rechner mit berücksichtigt.

Leitfragen

1. Der COVID Antigen Schnelltest von DEEPBLUE (No.IFU-COVID-19Ag-NST1-01, Ver.A/0) besitzt laut Anleitung eine Sensitivität von 96,4% und eine Spezifizität von 99,8%.

1. In Deutschland war die höchste gemeldete 7-Tage-Inzidenz 444 pro 100 000 Einwohner (= 0,445 %). Wenn wir diese Zahl als Prävalenz zugrunde legen, was ist die Wahrscheinlichkeit, dass eine Person mit positivem Schnelltest tatsächlich an COVID erkrankt ist?
2. Die letzte gemeldete 7-Tage-Inzidenz war 14 pro 100 000 Einwohner (= 0,014 %). Wie verändert sich das Ergebnis?
3. Bei welcher Prävalenz wird der PPV größer als 50 %?
2. Für welche Tests und “Krankheiten” könnt ihr Sensitivitäten, Spezifizitäten und/oder Prävalenzen online finden? (HIV, Tuberkulose, Schwangerschaft?) Welche PPVs ergeben sich?
3. Warum kann es sinnvoll sein einen medizinischen Test (z.B. für eine Art von Krebs) nicht auf die Gesamtbevölkerung anzuwenden? Welche Argumente außer den direkten Kosten für die Durchführung des Tests gibt es noch?
4. Anschließend an die vorherige Frage: Warum kann es sinnvoll sein nur Risikogruppen oder bestimmte Regionen zu screenen?

Ressourcen

Prävalenzfehler

Als Prävalenzfehler bezeichnet man den Fehler, der entsteht, wenn die Bestimmung der bedingten Wahrscheinlichkeit einer statistischen Variable A unter einer Bedingung B ohne Rücksicht auf die Prävalenz oder A-priori-Wahrscheinlichkeit von A vorgenommen wird. Die Prävalenz bezeichnet die Verteilung von A über die in Frage stehende Grundgesamtheit und wird auch als Basisrate bezeichnet. Der Prävalenzfehler wird daher auch als Basisratenfehler, als Basisratenmissachtung oder als Base Rate Fallacy bezeichnet. Für A und B kommen Ereignisse, aber auch Eigenschaften in Frage, der Fehler ist ein allgemeines Phänomen bei der Interpretation von statistischer Korrelation.

de.wikipedia.org