Je li predviđanje epidemije moguće? Valuacija MRCMO modela
Svačiji rad treba biti podložan kritici, pa tako i moj.
Primjetio sam da znanstvenici pobornici lockdowna (obaveznih maski svuda, i obaveznog cijepljenja djece) opet imaju veliki fokus na izrugivanju (umjesto kritike) mog epidemijskog modela za koji ćete se i ovdje uvjeriti da ima odličnu izvedbu. Time samo zapravo ukazuju da oni nemaju nikakve modele ili predikcije. Nažalost, nemaju ni ikakve druge korisne analize, kojih ste mnošvo mogli vidjeti ovdje, ali još više na mom FB zidu.
Model je skromno nazvan MRCMO - Mali Robusni Covid MOdel, a ime bi baš trebalo asocirati na neko malo neambiciozno stvorenje, recimo crvića :). Čudi me stoga toliki fokus na njega, mora da je mnogima pokvario planove.
Svejedno, odlučio sam analizirati izvedbu modela u 4. valu. Nekoliko je dijelova
1. Izvedba MRCMO u 4. valu
2. Općenito izvedba epidemioloških modela
3. Druge projekcije za Hrvatsku
4. MRCMO u prijašnjim razdobljima
1. MRCMO u 4. valu
Od početka vala, početkom srpnja, bile su samo tri iteracije modela u 2,5 mjeseci: 30.6., 8.8. i 18.8. To je potpuno neuobičajeno, epidemijski modeli se ažuriraju tjedno ili češće - vidite u idućem poglavlju.
Iteracija od 30.6. je bila neuobičajeno dobra, naime ne samo što je predvidjela nastanak vala (!) nego i točne razmjere i dinamiku, i to na način da je ispravno ne samo predviđen razvoj delta varijante, nego i pretpostavljeno da je ima 10 puta više nego su (pogrešno) izvijestili naši službeni laboratoriji. Bez te pretpostavke ovakva preciznost ne bi bila moguća. Niže je izvedba te iteracije do iduće. U razmjerim epidemijskih modela ovo je zaista odlično jer većina epidemijskih modela katastrofalno promaši već u prvom danu projekcija!
Uočite da je prvi tjedan u kolovozu imao neraalno malo ‘slučajeva’ zbog praznika. Ciklus unutar tjedna je manje-više nevažan, ali on se tijekom ljeta izdeformirao zbog više testiranja tjedna (koji ne čekaju ponedjeljak za testiranje):
Iteracija od 8.8. je bila loša, i naravno nije sramota to priznati jer su epidemijski model uglavnom jako neprecizni i vrlo rijetko dobri (vidite iduće poglavlje). Npr. dati 7 golova iz teške situacije, a tri puta ne dati gol je jako dobro. No, kao što sam napisao i tada, radilo se o provizornim projekcijama jer je stari model istekao.
Kad analiziramo zašto modeli promašuju, to mogu biti razni razlozi - najčešće pogrešan model, ali i loši ulazni podaci ili krive pretpostavke. Ovdje je vjerojatno značajno utjecao jako velik ‘uvoz’ epidemije zbog neočekivano velikog broja turista (epidemija je rasla na Jadranu)
18.8. je napravljena iduća projekcija. Mogla je i ranije, ali koga briga. Uočite da sve ovo radim besplatno i u slobodno vrijeme (a čitave istraživačke institucije kao IRB ili PMF nisu bile u stanju proizvesti ništa). Dio kritičara mi zamjera da nisam prije ispravio model iako je prethodni bio provizoran - ali što su napravili oni?
Ovo je rezultat sve tri iteracije:
Ovdje je i prikaz svega kad se pogledaju dnevni prosjeci. Napominjem da bi mnogi modeli koji se ažuriraju svakih tjedan dana ili češće izgledali dobro na ovaj načiin, ali poanta je baš u tome da ovaj model ima jako dugačke periode u kojima se ne ažurira (vratit ćemo se na to kasnije).
Ovdje je važna napomena: Danas je 1394 slučajeva, a model predviđa 1396. Takva preciznost je velikim dijelom sreća, naime ekvivalent je gađanja muhe u letu na 100m - nemoguće - s obzirom da je model star već 30 dana, što je u razmjerima modela ‘pretpotopno’. Ali ne može se ni muha u letu pogoditi i slučajno ako se ne gađa jako dobro.
Pogledajmo i vjerojatno najvažniji rezultat modela, hospitalizacije. To je jedan od rezultata koji prate relevantni akteri u našoj zemlji, i to samo za zadnju iteraciju (prethodna je bila provizorna i nije imala ni navedene hospitalizacije).
Radi usporedbe, dao sam i zadnje tri projekcije IHME. Kao što možete vidjeti čak i ova zadnja od prije 8 dana promašuje za nekoliko puta (u porastu broja kreveta). Napomenimo da je bi projekcija broja hospitalizacija u idućih 7-10 trebala biti vrlo lagana jer ovisi o broju slučajeva prethodnih dana.
MRCMO projekcija je pratkički savršeno točna u periodu mjesec dana - nešto što se baš ne viđa često:
2. Neki drugi epidemijski modeli
Navodim neke praktički nasumične modele koje viđam naokolo, kako biste stekli dojam u preciznost epidemijskih modela općenito.
Počnimo s razvikanim IHME, koji jedini radi epidemijski model (osim par automatiziranih) za Hrvatsku osim MRCMO. Zadnje projekcije hospitalizacija do današnjeg datuma ste vidjeli gore, ali oni do kraja mjeseca predviđaju nevjerojatnih skoro 2000. A samo prije osam dana su predvidjeli da sad imamo infekcija skoro kao na vrhu prošlog vala, dakle preko 100% više nego što stvarno imamo (IHME gleda infekcije, ne slučajeve):
Odličan uvod u cijelu izvedbu IHME modela za Hrvatsku daje ovaj pregled koji je napravio Vedran Ožir. Njihove projekcije kasne i pokoji tjedan prije nego uopće prepoznaju val, a onda jako pretjeruju. Uz ovaj video možete pogledati i objašnjenje na njegovom FB zidu ovdje i ovdje.
Zadnje projekcije koje je radio ECDC su, nažalost, bile u studenom prošle godine. Predvidjeli su nam u roku od samo mjesec dana 12.000 hospitalizacija i 8.000 bolesnika na intenzivnoj … promašaj oko 10-20 puta (!) u mjesec dana, ovisno kako gledamo. Zato su vjerojatno i prestali raditi projekcije, uz sve svoje resurse:
Ovo je stanje kanadskog službenog modela početkom godine. Obratite pažnju na žutu crtu. Potpuno je jasno da ne moramo gledati nikakve druge instance ovog modela, ovo je tužno:
Austrijske službene projekcije se objavljuju svakih 7 dana s horizontom od samo 7 dana(!) pri čemu imaju takvu marginu sigurnosti da praktički ne mogu promašiti … osim u svakoj promjeni trenda, kad promaše - a to je najvažnije. Realno, radi se o produženju postojećeg trenda na tjeda dana.
Škotska je možda i najslikovitiji primjer. U britanskoj tradiciji ima vrlo sofisticiran model u što se možete uvjeriti ovdje. Međutim, pogledajmo, primjerice, njihovu projekciju od 26.8. U njoj su predvidjeli da (s marginama sigurnosti) unutar mjesec dana u jednom scenariju mogu imati do 100.000 infekcija dnevno (!) - to je kao da Hrvatska ima 80.000 - uz daljnji rast. Osim što je ovaj rezultat potpuno besmislen, scenariji kojima se ‘štite’ od greški dozvoljavaju raspon od oko 15 puta unutar mjesec dana. Potpuno besmisleno i beskorisno:
Evo i jednog od onih mehaničkih modela, s poznatog LSHTM - on daje projekcije za dva tjedna, s tavkim rasponom da je beskoristan, te također svaki put promaši preokret trenda:
3. Modeliranje u Hrvatskoj
Prvi se u Hrvatskoj u projekcije upustio prof. Igor Rudan na način za koji su neki kasnije tvrdili da je bio ‘samo ilustracija’, ali to nije istina jer je nekoliko mjeseci kasnije bio objavljen i u peer-reviewed časopisu kao ‘realističan scenarij’. To je nemoguć način neograničenog eksponencijalnog rasta koji je u travnju 2020. predviđao 10 mil. zaraženih u Hrvatskoj i ‘tako u svakoj zemlji’.
Idući model koji je objavljen je bio znanstvenika Dejana Vinkovića s PMF. Grafikon je s javne objave na njegovu FB zidu, a dobio je i velku pažnju u medijima, a ne radi se o stvarnom epidemijskom modelu nego produživanju stopa rasta, u stvari pokušaju konstrukcije Gompertzove krivulje:
Nažalost, ove projekcije osim što su bile metotodološki neutemeljene, su se i pokazale potpuno pogrešnima. S autorom sam probao uspostaviti konstruktivnu i pristojnu raspravu - što možete vidjeti u upisima na njegovu zidu niže - nažalost, ignorirao me, te kasnije kad se pokazalo da mu projekcije ‘ne rade’ čak i ničim izazvan difamirao. Nije više pokušavao raditi projekcije.
Idući je pokušao model napraviti član Znanstvenog savjeta prof. Ozren Polašek, koji nije objavljen nigdje nego kao ilustracija u Jutarnjem listu i koji je kad je epidemija počela padati u tom valu, prognozirao eksponencijalni rast:
Ovo također nije epidemijski model, nego produžavanje trenda pomoću Holt-Wintersove eksponencijalne ekstrapolacije, i istovjetni rezultat se može dobiti pomoću FORECAST.ETS funkcije u Excelu u doslovno jednoj minuti.
Rezultati su bili jako pogrešni, što možete vidjeti ovdje.
U međuvremenu, zanimjive i vrijedne analize i projekcije je počeo raditi Josip Nemet, što možete pratiti na njegovu Facebook zidu.
4. Projekcije MRCMO u prethodnim valovima
U prvom valu još nisam imao model, nego sam proučavao stope rasta (kao gospodin Vinković gore). Međutim, mislim da sam možda bio i prvi koji je još 18. ožujka 2020. predvidio da nećemo ni doći na eksponencijalnu krivulju, a ako se sjećate - tada je bilo ‘općepoznato’ da smo na eksponencijalnom rastu. Te predikcije sam stalno obnavljao i uspješno predviđao zamiranje prvog vala, u što se možete uvjeriti u idućim postovima na mom zidu iz tog razdoblja.
U trećem valu sam imao najgoru izvedbu. Iako sam uspješno predvidio mogućnost još jednog vala (gore odgovor dr. Vinkoviću), kasnio sam s projekcijama njegova intenziteta. Važan razlog za to je da sam se oslonio na podatke iz naših službenih labova o udjelu britanskog soja koji se širio daleko brže od prethodnog (primjerice, samo 5% umjesto 0,5% znači 50% umjesto 5% za koji tjedan), te jako kašnjenje proljeća.
Kako se model prilagođavao možete vidjeti ovdje:
Vjerujem da je svakom jasno da se epidemiološki modeli prilagođavaju, kako zbog podešavanja samog modela, tako i inputa koji ulaze u model. Zbog ovako snažno sezonalne bolesti nije nikakvo čudi da se ne može unaprije vidjeti utjecaj kašnjenja proljeća na model. Ali čak i da nema tih objetkivnih razloga, naglašavam, ovo je potpuno uobičajeno, niti jedan model ne može niti uvijek točan - a kao što smo vidjeli, mnogi modeli nisu skoro nikad točni.
No, najponosniji sam na modeliranje drugog vala. Ovo su projekcije od sredine listopada, kad je drugi val bio u nastajanju i malo tko (ili nitko) nije očekivao toliki intenzitet, općenito se smatralo da smo za njega puno spremniji nego za prvi:
Vjerujem da sam vam približio neke teme i izazove iz epidemijskog modeliranja.
Inače, najbolji modeler na svijetu je Youyang Gu koji je nažalost prestao raditi projekcije jer je sve prekomplicirano, a intervju Erica Topola s njime možete naći ovdje. Eric Topol je jedan od najutjecajnijih zagovornika oštrih mjera na svijetu, a Gu korona-centrist poput Gordana Lauca i mene. Zamislite koliko bi bilo bolje da su se i naši, a pogotovo strani znanstvenici prisutni u ovoj temi u Hrvatskoj, tako zainteresirali za moj rad i sudjelovali u razvoju. Sigurno bi sve bilo još bolje, a pogotovo bi bilo bolje da su znanstvenici napravili neku konkurenciju, i da je bar bila još preciznija!