class: center, middle, inverse, title-slide # MAIC ## Matching-Adjusted Indirect Comparisons ### Claus Thorn Ekstrøm
Biostatistik, KU
.small[
ekstrom@sund.ku.dk
] ### 13. oktober 2021 --- class: animated, fadeIn layout: true --- background-image: url(pics/ababc.png) background-position: center center background-size: 50% # Problemstilling --- ## Oversigt .pull-left[ .footnotesize[ Network Meta-Analysis (NMA) - AgD, IPD, direkte, indirekte sammenligninger, multiplicitet - Golden standard, fleksibilitet - Problemer: Lange netværk, disjunkte netværk, heterogenitet Buchers metode - AgD, indirekte sammenligninger - Efficiens, simpel - Problemer: som NMA ] ] -- .pull-right[ Alternativer: .footnotesize[ Matching-adjusted indirect comparisons (MAIC) - AgD + IPD, indirekte sammenligning - Kan "fixe" nogle problemer med heterogenitet, disjunkte netværk. Simulated treatment comparisons (STC) ] ] --- background-image: url(pics/nma.png) background-size: 90% .caption-right-vertical[Kilde: https://www.evidera.com/stc-maic/] --- class: inverse, middle, center # Indirekte sammenligninger --- # Buchers metode Antagelser: Aggregerede resultater fra to (RCT-) studier `\(AC\)` og `\(BC\)`. `$$\begin{array}{ll}\text{Forhold (HR, OR, RR):} &\frac{\frac{\hat{\mu}_A}{\hat{\mu}_C}}{\frac{\hat{\mu}_B}{\hat{\mu}_C}} = \frac{\hat{\mu}_A}{\hat{\mu}_B} \\ \text{Forskel (RD, Gnst):} & \underbrace{\hat{\mu}_A - \hat{\mu}_C}_\text{Fra AC} - \underbrace{(\hat{\mu}_B - \hat{\mu}_C)}_\text{Fra BC} = \hat{\mu}_A - \hat{\mu}_B\end{array}$$` Indenfor hvert studie (ca.): `$$\hat{\mu}_{t} = \frac{\sum_{i=1}^{N_t} Y_{it}}{N_t}$$` ??? Samme estimand? --- # Problemer med Buchers metode Fordelingen af *mindst en* effektmodificerende variabel er forskellig i studierne for `\(A\)` og `\(B\)`. * Antagelser ikke opfyldte * Resultaterne er ikke direkte sammenlignelige * Forskellige estimander? --- .pull-left[ | | + | - | | |----|---|---|---| | A | 80 | 20 | 0.8 | | C | 50 | 50 | 0.5 | `\(RR_\text{AC} = 8/5\)` | | + | - | | |----|---|---|---| | B | 60 | 40 | 0.6 | | C | 50 | 50 | 0.5 | `\(RR_\text{BC} = 6/5\)` `\(RR_\text{AB} = \frac{8/5}{6/5} = \frac{8}{6}\)` ] -- .pull-right[ | | + | - | | |----|---|---|---| | A | .yellow[40] | .yellow[40 +] 20 | 0.4 | | C | 50 | 50 | 0.5 | `\(RR_\text{AC} = 4/5\)` | | + | - | | |----|---|---|---| | B | .yellow[30] | .yellow[30 +] 40 | 0.3 | | C | 50 | 50 | 0.5 | `\(RR_\text{BC} = 3/5\)` `\(RR_\text{AB} = \frac{4/5}{3/5} = \frac{4}{3}\)` ] ??? Kun effektivt på 50% af befolkningen, men det er det samme for begge studier --- .pull-left[ | | + | - | | |----|---|---|---| | A | .yellow[40] | .yellow[40 +] 20 | 0.4 | | C | 50 | 50 | 0.5 | `\(RR_\text{AC} = 40/50\)` | | + | - | | |----|---|---|---| | B | .yellow[48] | .yellow[12 +] 40 | 0.48 | | C | 50 | 50 | 0.50 | `\(RR_\text{BC} = 48/50\)` `\(RR_\text{AB} = \frac{40/50}{48/50} = \frac{40}{48}\)` ] .pull-right[ ![](maic_files/figure-html/unnamed-chunk-1-1.png)<!-- --> ] --- ## Effektmodifiktorer? Effektmodifikation: forskellige effekter i forskellige undergrupper/strata. .pull-left[ Hvordan dukker de op? * Bør ikke være baseret på tests. .tiny[Overmatchning, faktor 16, sample size] * Marginale sammenligninger kan skjule forskelle ☞ * Skala - additiv / multiplikativ? ] .pull-right[ ![](maic_files/figure-html/unnamed-chunk-2-1.png)<!-- --> .pull-left[ | |
|
| |----|---|---| |
| 100 | 0 | |
| 0 | 100 | ] .pull-right[ | |
|
| |----|---|---| |
| 0 | 100 | |
| 100 | 0 | ] ] .caption-right-vertical[Vehtari et al. (2021). *Regression and Other Stories*, Ch 16.4] --- class:inverse, middle, center # MAIC --- # Ideen i MAIC Grundidé: Udregn den effekt af `\(A\)`, man ville forvente at se i `\(B\)` populationen. Hvordan? Lav en pseudo-population ud fra `\(A\)`, der ligner `\(B\)`-populationen så mneget som muligt. Eksempel: køn som effektmodifikator .pull-left[ ** `\(B\)` studiet **
50%
50% ] -- .pull-right[ ** `\(A\)` studiet** |
|
|
|
|
|
| | ------------- | ------------- | ----- | ----- | ----- | ----- | | 3 | 3/5 | 3/5 | 3/5 | 3/5 | 3/5 | ] --- # Hvornår kan MAIC benyttes? Antagelser: IPD er tilgængeligt for `\(A\)`, mens aggregerede data findes fra `\(B\)`. * .yellow[**kun**] forskel mellem populationerne for effektmodificerende variable eller prognostiske faktorer * .yellow[**ingen**] forskelle ift *opfølgning*, administration af behandling mm. .tiny[Disse forskelle kan ikke korrigeres/fikses.] * har tilgængelige data på *alle relevante* variable for både `\(A\)` og `\(B\)`. Desuden antager ansøger (ofte lidt stiltiende), at * behandlingseffekten er nok populationsafhængig. .tiny[Alternativt antages det modsatte!] * den relevante population er tættere på `\(B\)` end på deres eget studie med `\(A\)`. --- # To typer sammenligninger * **Anchored.** Sammenligning går via en fælles komparator. Fx `\(AC\)` og `\(BC\)`. Justér for *alle* effektmodifikatorer for at sikre balance og reducere bias.<br> <p style="font-size: 70%">Prognostiske variable "forkorter ud" i de enkelte studier, og hvis de medtages risikeres overmatching ⇒ mindre effektiv stikprøvestørrelse ⇒ større usikkerhed.</p> * **Unanchored.** Sammenligning uden fælles komparator (fx single-arm). `\(A\)` og `\(B\)` Justér for *alle* effektmodifikatorer og *alle* prognostiske faktorer for at sikre balance, fjerne confoundere og reducere bias. <p style="font-size: 70%">Prognostiske variable skal inkluderes for at deres effekt "fjernes" i de enkelte studier og man så vidt muligt identificerer den konkrete behandlingseffekt. Hvis forskel i fordeling introduceres bias ⇒ hvad måler vi?</p> --- class: inverse, middle, center # "Fri leg" ### (Lad os alle matche) --- # ESS - effective sample size .pull-left[ ESS `\(\approx\)` antal uafhængige observationer, som den vægtede stikprøve svarer til. Lille ESS ift den oprindelige stikprøve indikerer at vægtene varierer meget og at estimaterne kan være ustabile. Skyldes begrænset sammenfald i fordelingen af match-variable. .red[⚠] ved store/mange små værdier. ] .pull-right[ ![](maic_files/figure-html/unnamed-chunk-3-1.png)<!-- --> ] --- # MAIC vs Bucher `$$\hat{\mu}_{t(BC)} = \frac{\sum_{i=1}^{N_{AC_t}} Y_{it} w_{it}}{\sum_{i=1}^{N_{AC_t}} w_{it}}$$` Derefter traditionelle indirekte sammenligninger. .pull-left[ * Studierne ens `\(\Rightarrow\)` `\(w_i \approx 1\)`. Unbiased, men usikkerhed på vægte og reduceret ESS giver større SE. ] .pull-right[ | EM | Justering | Bucher | MAIC | |:----------------:| --------------------- | -------- | -------- | | Ja | Nej |
= |
| | | Ja | |
| | Nej | Nej |
= |
| | | Ja | |
| ] --- # Generelle problemer med vægtede analyser * Observationerne er ikke længere uafhængige / den effektive stikprøvestørrelse reduceres. * Vægtene er estimerede og ikke kendte. .tiny[Robuste SEs] Hvad sker der, hvis man vægter med noget, som ikke er en effektmodifikator? Uheldige fordelinger: .pull-left[ | | A | B | |:-------------:| ------------- | ----- | |
| 33% | 15% | |
| 33% | 0% | |
| 34% | 85% | .tiny[Dele af A udelukkes] ] .pull-right[ | | A | B | |:-------------:| ------------- | ----- | |
| 55% | 15% | |
| 45% | 5% | |
| 0% | 80% | .tiny[A og B vil ikke være sammenlignelige, medmindre der findes subgrupperesultater fra B uden
. ] ] --- # MAIC i evidenshierarkiet * Rangerer lavere end direkte sammenlignende RCT'ere.<br> Ingen kausale konklusioner (kræver massevis af utestbare antagelser) * Usikkert hvordan MAIC indgår i evidenshierarkiet * Hvis matching/propensity scoring er suboptimal kan det introducere/ikke fjerne bias. <p style="font-size: 70%">F.eks. bør der justeres for alle kendte effektmodifikatorer.</p> * Bedre (= reducerer bias) end indirekte sammenligning uden justering for forskelle i population/effect modifiers, hvis gennemført korrekt. --- # Rapportering af MAIC analyser * Hvilke variable er blevet vurderet som potentielt effektmodificerende? Prognostiske faktorer? Argumentation! Hvilke er siet fra – og hvorfor? * Fordeling af vægte for hvert effektmål (gennemsnit, minimum, 25 percentil, median 75 percentil og maximum) – gerne visualiseret med histogrammer. * Effektiv sample size (ESS) for `\(A\)` studiet efter vægtning – er der en betydelig reduktion i studiets styrke? Hvor mange i `\(A\)` studiet vægtes til 0? * Ujusterede resultater fra `\(A\)` studiet * De justerede resultater fra `\(A\)` studiet --- # Referencer .footnotesize[ Phillippo, D.M., Ades, A.E., *et al.* (2018) *Methods for Population-Adjusted Indirect Comparisons in Health Technology Appraisal*. Medical Decision Making, 38, 200-211. Vehtari, Gelman, Hill (2021). *Regression and Other Stories*, Ch 16.4 Signorovitch, J. E., Wu, E. Q., *et al.* (2010). *Comparative effectiveness without head-to-head trials*. Pharmacoeconomics 28 935–945. Signorovitch, J. E., Sikirica, V., *et al.* (2012). *Matching-adjusted indirect comparisons: a new tool for timely comparative effectiveness research*. Value in Health 15 940–947. Cheng, D., Ayyagari, R., and Signorovitch, J. E. (2020) *The Statistical Performance of Matching-Adjusted Indirect Comparisons*. [arXiv 1910.06449v2](https://arxiv.org/pdf/1910.06449.pdf) ]