Statistikkens kunst:
opdag misinformation,
forstå verden og træf
bedre beslutninger

Claus Thorn Ekstrøm

Statistik og den videnskabelige proces. Også simple optællinger.

Diabetes og sukkerholdig tis

Sådan opstår de tal vi præsenteres for. Fra politikere, forkere, medier, …

10 fif/spørgsmål at stille, når man bliver præsenteret for et tal

Hvad bruger vi statistik til?

• Mønstre.
  Hvad ser vi?

• Forudsigelser.
  Hvad forventer vi at se ved ny observation?

• Årsagssammenhænge / kausalitet.
  Hvorfor?

Fra DST fra et par år siden.

Mønstre: Hvilke x’er har vi? Hvilke y’er har vi?

Prædiktion: Hvis jeg har set x -> hvad er så y?

Kausalitet: Hvorfor?

1) Er det et stort tal?

30-årige mænd har 10 års skolegang

På verdensplan.

Piger har i gennemsnit 9 år

En dansk årgang er på knap 60.000 børn.

38.065 pladser i Parken

Ca. 13.000 kvinder og 15.000 mænd ofre for vold. Det svarer til 0,4% (♀) og 0,5% (♂).

Ca. 15.000 dør af kræft om året.

DKs bruttonationalproduktet (BNP) for 2022 er 2.797.938.000.000 kr

Middellevetiden for nyfødte er 79,6 år (♂) og 83,4 år (♀).

Referencetal. Lav et katalog!

http://www.isthatabignumber.com/

Knap 3 billioner?

Hvor mange mennesker er der i en forsamling?

Kan man have 1 million DKK i kontanter i en Fjällräv?

2) Hvorfor ser jeg dette tal?

Og hvilken følelse får jeg i maven?

29 personer

blodsukker var 50 procent højere, hvis drikke kaffe inden morgenmad

Undersøgt 1.719 tarmkræftpatienter i Holland.

Patienter, der fik mindst fem kopper om dagen, var 32 procent mindre tilbøjelige til at se kræften vende tilbage end dem, der drak færre end to kopper. Det viser studiet, som er finansieret af World Cancer Research Fund (WCRF).

Forskningen viste, at kaffe har slående effekter på det fysiske aktivitetsniveau, hvilket får folk til at bevæge sig mere, idet de i gennemsnit tager 1.000 ekstra skridt om dagen - et markant løft i aktiviteten, der kan være med til at forklare, hvorfor kaffeforbrug længe har været forbundet med et bedre helbred.

det ikke er klart, hvorfor folk gik 1.000 ekstra skridt på dage, hvor de drak kaffe. Det er muligt, at de havde mere energi og motivation.

Undersøgt 1.719 tarmkræftpatienter i Holland.

Patienter, der fik mindst fem kopper om dagen, var 32 procent mindre tilbøjelige til at se kræften vende tilbage end dem, der drak færre end to kopper. Det viser studiet, som er finansieret af World Cancer Research Fund (WCRF).

Forskningen viste, at kaffe har slående effekter på det fysiske aktivitetsniveau, hvilket får folk til at bevæge sig mere, idet de i gennemsnit tager 1.000 ekstra skridt om dagen - et markant løft i aktiviteten, der kan være med til at forklare, hvorfor kaffeforbrug længe har været forbundet med et bedre helbred.

Videnskabsmand	Brugtvognsforhandler
Vær skeptisk overfor dine resultater	“Sælg” dine resultaterne
Fortolk konklusioner forsigtigt	Overdriv/spin vigtigheden
Offentliggør negative resultater	Offentliggør strategisk
Replicér replicér replicér	Replicér … hvis nødvendigt
Nye ekstreme fund mindre tilbøjelige til at være sande	Offentliggør hurtigst muligt … før andre

Narrativ, politik, click-bait, nyhedsværdi, argumenter, …

p hacking

Incitamentsstruktur

Publication bias

Studier med større effekt er mere tilbøjelige til at blive publiceret.

Fantastiske/overraskende resultater bliver promoveret

\[\text{Observeret effekt} = \text{Sand effekt} + \text{ Støj/usikkerhed}\]

p hacking

p hacking

p hacking

p hacking

3) Hvilken population er repræsenteret?

Politiken 18. februar 2023

337 borgere blev interviewet af undersøgelsens forfattere direkte efter jobcentersamtaler - og sagsbehandlerne vidste hvilke dage der var interviews.

4) Optælling er svært

Efterkommere af indvandrere

Her er nogle får på en mark.

Den ene er et lam

Den anden er gravid

5) Er usikkerheden oplyst?

Det burde være forbudt ved lov at opgive en statistik uden at man kender den tilhørende usikkerhed.

Kender det fra meningsmålinger. Et parti får 15% - usikkerhed på +- 3 procentpoint

Bliver det regn i morgen? 10% risiko for regn i morgen.

Usikkerhed mellem 5%-15% eller 5% og 75%

Kan godt være at noget er vores bedste bud, men det er vigtigt at vi kan tale om usikkerheden. Med til at sætte tingene i perspektiv.

AI og forudsige død

Tidlig død blandt 30-65 årige

Forudsig død indenfor 4 år

Resultat: 78%

Usikkerhed?

Udtrykker sandsynligheden for at modellen forudsagde død blandt de personer, der faktisk døde. P( forudsigelse | død)

Hvor mange blandt de levende havde modellen forudsagt død?

Er interesseret i at P(død| forudsigelse)

Vis usikkerheden i stedet for at give et falsk indtryk af en enkelt præcis forudsigelse

Statistiske resultater er ikke forkerte fordi de er usikre. De er forkerte, hvis det påstås, at det er mere præcise end de virkelig er.

6) Konfundering eller “dark data”?

7) Survivorship bias og “dark data”?

Image from Wikipedia on survivorship bias

During World War II, the statistician Abraham Wald took survivorship bias into his calculations when considering how to minimize bomber losses to enemy fire.[17] The Statistical Research Group (SRG) at Columbia University, which Wald was a part of, examined the damage done to aircraft that had returned from missions and recommended adding armor to the areas that showed the least damage.[18][19][20] The bullet holes in the returning aircraft represented areas where a bomber could take damage and still fly well enough to return safely to base. Therefore, Wald proposed that the Navy reinforce areas where the returning aircraft were unscathed,[17]: 88  inferring that planes hit in those areas were the ones most likely to be lost. His work is considered seminal in the then-nascent discipline of operational research.

Del million+ danskere over 40 år op i to grupper. Med almindelig hudkræft (soldyrkere) og dem uden.

Typisk ældre mennesker, der får diagnosen hudkræft - altså personer, der har levet længe.

Den anden gruppe - resten af befolkningen - kan derimod godt indeholde dødsfald, som er sket tidligere i livet.

Svarer det til at sige, at plejehjemsbeboere bliver ældre end den øvrige befolkning.

Det er igen fordi man skal nå en vis alder, før man kommer på plejehjem, mens at befolkningen som helhed jo desværre kan falde døde om når som helst i deres tilværelse.

8) Sammenhæng eller årsagssammenhæng?

Sprogbrugen er ikke

Der er en effekt. Der er en sammenhæng.

Undgå …

From website ‘Spurious corelations’ by Tyler Vigen

Correlation is not causation

9) Absolut eller relativ forskel?

Risikoforskel: 4 pp

Relativ risiko: 5

Risikoforskel: 4 pp

Relativ risiko: 1.08

Risiko for kræft i æggestokkene stiger med 19%

Livsstilrisiko stiger fra 1.28% til 1.53%

Hvis man indtager ti procent flere forarbejdede madvarer, øges dødsrisikoen med seks procent uanset kræftform.

»Studiet viser, at et højere forbrug af forarbejdet mad kan være knyttet til en øget forekomst og dødelighed af kræft generelt og specielt for kræft i æggestokkene,« lyder en af konklusionerne fra forskerne.

Studiet viser også, at folk der ofte spiser forarbejdet mad også generelt spiser færre grøntsager og drikker mere sodavand.

Stigning fra 3% til knap 4%

10) Confirmation bias?

We see with our lenses, we see through our lenses, but we don’t see the lenses themselves.

What most people don’t know is that we have agency over them. We can build, create, and change our lenses for the ones we desire.

How we see the world (our lenses of reality) determine the kind of experience we are going to have.

1. Er det et stort tal?
2. Hvorfor ser jeg dette tal?
3. Hvilken population er repræsenteret?
4. Optælling er svært
5. Er usikkerheden oplyst?

6. Er der mulig konfundering?
7. Er der mulig survivorship bias?
8. Sammenhæng eller årsagssammenhæng?
9. Absolut eller relativ forskel?
10. Confirmation bias?

Tak

http://tinyurl.com/4rsfsdxu

www.sandsynligvis.dk