Statistics, stories en het RIVM rekenmodel voor IC’s
Dezer dagen halen zowel de RIVM-rekenmodellen als ervaringen van intensivisten de voorpagina’s. Wie voorspellen nu beter de schaarste aan IC-bedden tot eind mei? Deze vraag houdt mij al dagen bezig. Hieronder put ik uit ervaringen van mijn eigen carrière. Daarna geef ik twee tips om beide te gebruiken.
Hoe ik begon
In mei 1973 studeerde ik af als macro-econoom bij prof. Wim Duisenberg. Ik, whizzkid van 23 jaar, hield van statistische modellen die de relatie voorspelden tussen werkgelegenheid, inflatie, economische groei en de betalingsbalans. Ik had vanaf 1971 een parttime baan bij de Stichting voor Economisch Onderzoek (SEO) . Daar liep een onderzoek naar de toekomst van de Amsterdamse haven. De SEO had een rekenmodel gebouwd om de toekomst te voorspellen. Dat was gebaseerd op trends, bijvoorbeeld in de havenactiviteiten en in de ontwikkeling van de wereldmarkt. Een Parool-journalist had weet van de start van de studie. Hij interviewde enkele havenbaronnen over hun toekomstvisie. Hij had binnen enkele dagen hun gemeenschappelijke toekomstvisie in zijn krant. Twee jaar later pas kwam de SEO met dezelfde uitkomsten. Toen ik dit vertelde aan Duisenberg, waarschuwde hij mij: Denk erom, je wordt alleen een goede macro-econoom, als je kennis hebt van de praktijk van de winkelier. Ik nam zijn waarschuwing mee, toen ik mij specialiseerde tot gezondheidseconoom. Bij mijn proefschrift in 1980 was mijn laatste stelling: Wie de kleine structuren niet eert, maakt de grote structuren verkeerd.
Opnamestops op IC’s
In 1999 kwamen opnamestops vaak voor op IC-units. Het bestuur van de Nederlandse Vereniging voor Intensive Care zocht met mij contact. Ik was inmiddels 14 jaar hoogleraar Public Health op het UMC Utrecht. Dat bestuur wilde de bij haar gemelde opname-weigeringen beter kwantificeren. Maar het had geen geld. Ik dacht aan dat havenonderzoek van Het Parool. Ik liet twee studenten de ervaringen noteren van alle hoofden van IC-units in Nederland over het aantal vol=vol weigeringen van opnamen gedurende de laatste week vòòr het interview. De uitkomst was: één op de zes patiënten werd geweigerd. Voor VWS had dit onderzoek onvoldoende zeggingskracht. Het ministerie vroeg mij het onderzoek te herhalen met behulp van statistische methoden. Wij gingen gedurende vier maanden op achttien IC’s meten. De uitkomst was precies hetzelfde als van die snelle interviewronde onder de IC-hoofden: een op zes patiënten werd geweigerd. De naam van de studie was Plaats in de herberg. Bij mij bleef het knagen: waarom had die interviewronde onder IC-artsen onvoldoende overtuigingskracht voor beleidsmakers en moest er eerst nog een rekenmodel komen?
Collectieve wijsheid deugt meestal
In 2004 vond ik bevestiging voor het zinvol raadplegen van ervaringsdeskundigen in het boek The Wisdom of Crowds van James Surowscki. Hij geeft tal van voorbeelden die lijken op bovenstaande over de haven en de IC’s. Schattingen van een groep (havenbaronnen of IC-artsen), oogsten, aldus deze auteur, vruchtbare resultaten bij een diversiteit aan meningen en onafhankelijk denkende individuen. Wikipedia voegt thans daaraan toe: Bij te weinig diversiteit aan meningen kunnen factoren als groepsdruk, kuddegedrag en conformisme de schatting gaan beïnvloeden. Er dreigt een tunnelvisie te ont staan.
Mixed methods aanpak, ja graag
Werkend in het UMC Utrecht binnen de setting van Evidence Based Medicine bleef ik twijfelen aan een benadering van alleen maar ervaringsdeskundigen. Het Handboek Gezondheidszorgonderzoek kwam in 2008 uit. Ik kreeg de uitnodiging van de redactie om samen met anderen een hoofdstuk te schrijven over het evalueren van innovatieve, geïntegreerde zorg. Die zijn vaak kleinschalig van aard en bevatten vaak meer dan één innovatieve interventie. Mijn groep pleitte ervoor om zowel statistische onderzoeksmethoden met controlegroepen te gebruiken als voor het inventariseren van ervaringen van de betrokken professionals en patiënten. Deze aanpak raakte al eerder bekend onder de naam mixed methods benadering. Sinds dat handboek ben ik voorstander van deze methode. Ik probeer tegenwoordig in inleidingen over kwaliteitstoetsing het werken met statistische indicatoren te integreren met het afnemen van interviews onder patiënten. Het gaat bij deze toetsing om én statistics én stories.
Terug naar het RIVM-rekenmodel en de intensivisten
Een rekenmodel deugt, zo leerde ik als student macro-economie al, als de veronderstellingen waarop het is gebaseerd deugen. En anders geldt: Garbage in, garbage out . Die veronderstellingen horen in een rekenmodel apart vermeld te staan in een synopsis. Het RIVM zou er goed aan doen om die synopsis in tijden van corona openbaar op haar website te publiceren. Eigenlijk zou het gehele rekenmodel openbaar moeten zijn. Dan kunnen intensivisten en andere ervaringsdeskundigen op de IC’s er naar kijken. Maak de synopsis openbaar, dat is mijn eerste goedbedoelde tip voor kwaliteitsverbetering.
De tweede tip is: trianguleer de uitkomsten van ervaringsdeskundigen met die van je rekenmodel. Doe dat net zo lang totdat je begrijpt waarom de uitkomsten verschillen. Triangulatie is een duur woord voor het vergelijken van resultaten van statistisch onderzoek met die uit interviews van ervaringsdeskundigen. De Amerikaanse onderzoeker Yin schreef hierover vele wijze woorden.