- Nedlukninger har kun reddet fem danskere fra døden.
Sådan lyder overskriften på et debatindlæg i Berlingske fra Jonas Herby, specialkonsulent i den borgerlig-liberale tænketank CEPOS.
Her skriver han på baggrund af en metaanalyse, som han har udgivet sammen med to medforfattere:
- Samlet set finder videnskaben, at den gennemsnitlige nedlukning i Europa og USA har reduceret dødeligheden med 0,2 procent. Overført til danske forhold betyder det, at nedlukningerne – før vaccineudrulningerne – forhindrede knap fem dødsfald. Fem. I alt.
Men ifølge tre forskere kan Jonas Herby ikke konkludere så skråsikkert, som han gør.
Særligt fordi høje dødstal ikke nødvendigvis betyder, at nedlukninger ikke virker.
- Det svarer til, at du prøver at undersøge, om det er farligt at gå til lægen. Og så konkluderer du, at det er farligere, fordi de mennesker, du finder hos lægen, typisk er sygere end andre mennesker, siger Bjarke Frost Nielsen, der er postdoc ved forskningscenteret Pandemix på Roskilde Universitet og ekstern forsker ved Niels Bohr Instituttet.
Jonas Herby medgiver, at det er "relevant" at diskutere metoden bag resultaterne.
Men han afviser, at han burde have skrevet det i sit debatindlæg.
- Nej, det er der ikke nogen, der forstår alligevel, siger Jonas Herby.
Risiko for falsk sammenhæng
Analysen er en såkaldt metaanalyse, hvor man systematisk gennemgår resultater fra forskellige studier, men ikke selv indsamler ny data.
Jonas Herby fra CEPOS og de to medforfattere har regnet et vægtet gennemsnit ud fra seks studier, der sammenligner hårdheden af nedlukninger og antallet af dødsfald i forskellige lande inden for en given periode.
I nogle lande ser man både hårde nedlukninger og høje dødstal, og det er en af grundene til, at Herby finder så lav en effekt af nedlukninger på dødsfald.
Resultaterne blev hurtigt delt vidt og bredt og nåede sågar hele vejen til Det Hvide Hus i USA, hvor præsidentens pressesekretær blev bedt om at forholde sig til det.
Problemet er bare, at studierne ikke har undersøgt, om dødstallene begyndte at stige allerede før nedlukningerne.
- Man kan simpelthen ikke måle, om det er ændringer i dødsfald, der er årsag til, at en regering beslutter sig for at lave nogle nedlukninger. Man ved faktisk ikke, hvad der kommer først, siger Claus Ekstrøm, professor i biostatistik ved Københavns Universitet.
Sagt på en anden måde: Selvom tallene ikke viser, at der er langt færre dødsfald, hvor nedlukningerne er hårdest, betyder det ikke nødvendigvis, at nedlukningerne ikke har forhindret flere dødsfald.
Det kan også være et tegn på, at et land simpelthen lukker hårdere ned, fordi det er blevet hårdere ramt af pandemien.
Claus Ekstrøm bakkes op af Mathias Heltberg, postdoc i biokompleksitet på Niels Bohr Institutet og en del af infektionsberedskabet hos Statens Serum Institut.
- Hvis man observerer, at “nu er der noget helt galt”, og så laver en meget streng nedlukning, så kan man få en korrelation mellem, at høje nedlukninger giver høje dødstal. Men der mangler den basale kausalitet i, at grunden til, at man laver de hårde nedlukninger, det var fordi, man havde de høje dødstal, siger Mathias Heltberg.
Bjarke Frost Nielsen fra Pandemix kalder metoden “uegnet" til at måle nedlukningers effekt på antallet af dødsfald under corona-pandemien.
- Hvis jeg havde det her studie til fagfællebedømmelse, så ville jeg faktisk afvise det, siger han til Detektor.
Savner lodtrækningsforsøg
Der har også været en del anden kritik fremme af metaanalysen.
Det meste afviser Jonas Herby i interviews med videnskab.dk, Deadline og Detektor.
Men diskussionen om metoden er vigtig, mener han.
- Jeg synes, det er vigtigt at debattere, om studierne får taget højde for, om det er nedlukninger, der påvirker dødeligheden, eller omvendt. Det er en helt relevant debat. Og vi bringer det også op i vores studie, siger Jonas Herby til Detektor.
Den usikkerhed nævnte han dog ikke i sit debatindlæg i Berlingske.
Og ifølge Jonas Herby er der ikke så meget at gøre ved det.
- Det, vi alle sammen drømmer om, er, at man har nogle lodtrækningsforsøg, som man kender fra blandt andet medicinalvidenskaben. Det har man desværre ikke.
Han påpeger, at nogle af studierne i hans analyse forsøger at tage højde for udfordringen, “så godt som de nu kan”.
Det gælder dog ikke dét sydafrikanske studie, der vægter mest i analysen.
- Her siger forfatterne selv ingenting om årsagssammenhængene, påpeger Claus Ekstrøm.
Har ikke læst bilag
Der findes faktisk studier, der ser på udviklingen i antallet af dødsfald i perioderne før og efter nedlukninger. Men dem har Jonas Herby og medforfatterne valgt ikke at inddrage i analysen.
Det skyldes, at resultaterne eksempelvis kan være påvirkede af forskellige sæsoner, der kan have indflydelse på niveauet af smitte, skriver Herby og de to medforfattere i deres analyse.
Jonas Herby og hans to medforfattere citerer dog et svensk studie for, at lande lukker ned, fordi nabolandene gør det, og at det altså ikke nødvendigvis har noget med høje dødstal at gøre.
Men der mangler noget i Herbys gengivelse af det svenske studie.
Det er kun tidspunktet for landenes nedlukningerner, der er stærkt påvirket af nabolandene. Og det svenske studie viser, at når man ser på, hvor hårdt et land lukker ned, så afhænger det netop af dødstallet.
Det bekræfter forfatterne bag det svenske studie i en mail til Detektor.
Det har Herby og hans medforfattere ikke nævnt i deres analyse.
Det ville ellers kunne pege i retning af, at nogle af de høje dødstal, Jonas Herby og medforfatterne finder i metaanalysen, begyndte at komme allerede før de hårde nedlukninger.
- Det skal helt klart med i en fremtidig opdatering. Det står i deres bilag et eller andet sted, siger Jonas Herby til Detektor.
På spørgsmålet om, hvorfor det ikke var med i første omgang, svarer han:
- Der er nedlagt erhverv i Danmark, fordi ministrene ikke gad læse bilagene til de sager, der blev fremlagt. Det er i virkeligheden ikke relevant for vores resultater. Vi vil nævne det for at klæde læserne på, så de har en mulighed for at vurdere de her kausalitetseffekter.
Hør hele interviewet i Detektors podcast her.