Crash course i statistik?

# Crash course i statistik?
### Claus Thorn Ekstrøm UCPH Biostatistics .small[<a href="mailto:ekstrom@sund.ku.dk" class="email">ekstrom@sund.ku.dk</a> ]
### videnskab.dk 3. marts 2022 <svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:steelblue;overflow:visible;position:relative;"><path d="M459.37 151.716c.325 4.548.325 9.097.325 13.645 0 138.72-105.583 298.558-298.558 298.558-59.452 0-114.68-17.219-161.137-47.106 8.447.974 16.568 1.299 25.34 1.299 49.055 0 94.213-16.568 130.274-44.832-46.132-.975-84.792-31.188-98.112-72.772 6.498.974 12.995 1.624 19.818 1.624 9.421 0 18.843-1.3 27.614-3.573-48.081-9.747-84.143-51.98-84.143-102.985v-1.299c13.969 7.797 30.214 12.67 47.431 13.319-28.264-18.843-46.781-51.005-46.781-87.391 0-19.492 5.197-37.36 14.294-52.954 51.655 63.675 129.3 105.258 216.365 109.807-1.624-7.797-2.599-15.918-2.599-24.04 0-57.828 46.782-104.934 104.934-104.934 30.213 0 57.502 12.67 76.67 33.137 23.715-4.548 46.456-13.32 66.599-25.34-7.798 24.366-24.366 44.833-46.132 57.827 21.117-2.273 41.584-8.122 60.426-16.243-14.292 20.791-32.161 39.308-52.628 54.253z"/></svg> @ClausEkstrom .small[Slides: <a href="https://www.biostatistics.dk/talks/">biostatistics.dk/talks/</a>]

---

---

background-image: url("pics/process.png")
background-size: 45%
background-position: 50% 63%

# Den videnskabelige proces

???

Epistemologi.

Videnskab = skab af viden

---

# Inferens og fortolkning af resultater

---

# Hvad er det nu, at en `$p$`-værdi er?

> *The `$p$` value is the probability of having obtained a result **at least as extreme** as the one found with our sample if the null hypothesis were true.*  --- Kirkwood & Sterne

HVIS nulhypotsen er sand 
.yellow[OG ALLE ANDRE antagelser *også* er sande] 
SÅ udtrykker `$p$`-værdien sandsynligheden for at observere en teststørrelse, der er mindst lige så ekstrem, som den i din stikprøve.

`$p$`-værdien måler, hvor overrasket man er?

???

If A is TRUE then B cannot occur;
   However, B has occurred;
   Therefore A is false
   
   
If A is TRUE then B probably cannot occur;
   However, B has occurred;
   Therefore A is probably false

---

# Hvad er problemet med `$p$`-værdier?

Forskeren vil typisk gerne have svare på

`$$P(H | D)$$`

men `$p$`-værdien udregner

`$$P(D \text{ "eller mere ekstrem" } | H)$$`

???

They try to answer the *"wrong"* question

They give a very precise answer to the wrong question instead of an approxiomate answer to the right question.

---

---

# `$p$`-værdien bruges forkert

Som beslutningsregel:

`$$p \text{-værdi} \left\{\begin{array}{ll}<0.05 & \text{forkast} - \text{"signifikant"} \\ \geq 0.05 & \text{ikke forkast} - \text{"ikke signifikant" or "ingen association"} \end{array} \right.$$`

*   Arbitrær tærskel
*   Signifikant betyder ikke relevant
*   Ikke-signifikant betyder ikke at `$H_0$` er sand eller accepteres. Vi har ikke nok evidens til at forkaste den (*"fraværet af evidens er ikke evidens for fravær"*).

???

"No association" is wrong to say

binary thinking makes everything worse in that people inappropriately combine probabilistic statements with Boolean rules.

---

---

---

# `$p$`-værdien indeholder to typer information

Når `$N\rightarrow\infty$` bliver *alt* signifikant.
]

]

---

# Konfidensintervaller

Konfidensintervaller er defineret som de værdier af `$H_0$`, der *ikke* forkastes.

![](videnskabdk_files/figure-html/unnamed-chunk-2-1.gif)

Som at lave **mange** tests af nulhypoteser

---

# DAGs & all that jazz

---

# Hvad bruger vi statistik til?

.pull-left[
* **Mønstre**. 
 Hvad ser vi?
* **Prædiktion**. 
 Hvad forventer vi ved ny observation?
* **Kausalitet**. 
 Hvorfor?
]
.pull-right[

![](videnskabdk_files/figure-html/unnamed-chunk-3-1.png)
]

---

# Eksempel: Is og hajer

![](videnskabdk_files/figure-html/unnamed-chunk-4-1.png)

---

# Konfundering

```r
library("stat4med")
lm(FEV ~ Smoke, data=fev) %>% broom::tidy()
```

```
## # A tibble: 2 × 5
## term estimate std.error statistic p.value
## <chr> <dbl> <dbl> <dbl> <dbl>
## 1 (Intercept) 2.57 0.0347 74.0 1.49e-319
*## 2 SmokeYes 0.711 0.110 6.46 1.99e- 10
```

---

# "Man skal tegne før man må regne"

![](videnskabdk_files/figure-html/unnamed-chunk-6-1.png)

---

```r
lm(FEV ~ Smoke + Age, data=fev) %>% broom::tidy()
```

```
## # A tibble: 3 × 5
## term estimate std.error statistic p.value
## <chr> <dbl> <dbl> <dbl> <dbl>
## 1 (Intercept) 0.367 0.0814 4.51 7.65e- 6
*## 2 SmokeYes -0.209 0.0807 -2.59 9.86e- 3
## 3 Age 0.231 0.00818 28.2 8.28e-115
```

---

# DAG (Directed Acyclic Graph)

---

# Hvad skal vi justere for?

Afhænger af:

*   Hvad vil vi undersøge?
*   Mediatorer / collinearitet?
*   Konfundering - men pas på!

---

# Selektionsbias

---

# Eksempel: skuespillere i populære film

![](videnskabdk_files/figure-html/unnamed-chunk-9-1.png)

---

#  Man må ikke betinge på fremtiden

"mennesker, der har fået ikke-dødelig hudkræft – en lidelse, der som regel
skyldes, at en person har været udsat for store mængder sollys – i gennemsnit lever seks år længere end resten af befolkningen."

---

# Diverse

---

# Usikkerhedsintervaller

---

# ML / AI / AGI

Pas på begejstringen!

---

# Absolut risiko vs. relativ risiko

---

# Alle de andre ting ...

*   Hvilke variable?
*   Hvordan målt?
*   Missing data
*   Data entry errors

*   Hvilken model?
*   Hvilket design?
*   Hvilke antagelser?

]

*   Konfundering
*   Collinearity
*   Overfitting
*   `$p$` hacking

*   Fortolkning
*   Published?
*   Repliceret?
*   Generaliserbart?

]

---

# What makes a good scientist?

| Scientist | Salesman |
|:-----------|:----------|
| Be sceptical of your results | "Sell" your results |
| Interpret conclusions carefully | Highlight/exaggerate importance |
| "Publish" negative results | Publish strategically |
| Replicate replicate replicate | Replicate ... if you must |
| Novel exciting results are less likely to be true. Double check them | Publish novel results before they get scooped |