Het Erasmus MC is voorloper onder de ziekenhuizen in de ontwikkeling en gebruik van artificial intelligence (AI). In huis worden veel AI-toepassingen ontwikkeld en gebruikt. Lang niet iedereen wist van elkaar wat ze deden. Rebecca Steketee ontwikkelde een proces dat inzicht geeft. Medewerkers met nieuwe toepassingen weten nu beter welke stappen ze moeten zetten.
Al tijdens haar onderzoek als neurowetenschapper zag Rebecca Stekestee dat steeds meer AI werd gebruikt bij de analyse van MRI scans op de afdeling radiologie. De afdeling had al een eigen onderzoeksgroep die eigen AI-modellen ontwierp, trainde en testte op data. “Ik zag de waarde ervan voor onderzoek, maar tegelijk schuurde het. Ook al was het allemaal zo veelbelovend, niemand wist precies wat AI echt deed voor de kliniek. Het was een beetje een blackbox. We wisten niet wat er echt werkte en wat we mochten en konden doen.”
AI-beleid
Al die vragen besloot ze in haar opleiding Klinische Informatica aan de TU/e samen te brengen in haar jaarproject. Dat project kon ze uitvoeren in het Erasmus MC. Het Rotterdamse ziekenhuis positioneert zich als het ‘eerste technische UMC van Nederland’ dat AI-toepassingen ontwikkelde en gebruikt.
“Er was eigenlijk weinig inzicht in alle ontwikkelingen die liepen”, vertelt Rebecca Steketee. “Er gebeurde van alles naast elkaar. Zo voelde men dat ook op strategisch niveau.” Daarom kwam vanuit het Strategisch IT-overleg de opdracht om AI-beleid te ontwikkelen om de kwaliteit van AI-toepassingen te borgen, maar ook de transparantie en privacy.
Als onderdeel van die opdracht ging ze aan de slag met het ontwikkelen van een proces voor AI-algoritmen die in huis werden ontwikkeld en commerciële externe algoritmen. De uitgangspunten daarbij waren compliance en efficiëntie. Ze moesten voldoen aan de wet en de regelgeving die daar op het moment voor bekend was en aan de eisen voor veilig gebruik. Het bredere proces van ontwikkeling, validatie en gebruik moest zorgen dat innovatie met AI niet geremd werd en liever nog versneld werd.
Funnel met praktische stappen
Wat ze uiteindelijk heeft opgeleverd als jaarproject is een funnel met daarin alle praktische stappen die nodig zijn van de ontwikkeling van een AI-algoritme tot compliant AI -gebruik. Ze maakte gebruik van kaders die al bestonden, zoals het programma Waardevolle AI voor Gezondheid van het ministerie van VWS, dat als doel had om de waarde van AI voor zorgverleners, patiënten en burgers te vergroten en te helpen bij de implementatie en opschaling van AI in de zorg.
“Daarbinnen was ook al zo’n soort funnel ontwikkeld als hulpmiddel”, vertelt ze. “Ik heb die funnel doorontwikkeld voor het Erasmus MC. Welke stappen zet je? Waar moet je aan denken? Welke expertise is er al in huis of is nodig? Welke wet of regel is er? Welke ethische overwegingen zijn er?”
Benchmarkonderzoek
Ook voerde Steketee een benchmarkonderzoek uit bij andere zorginstellingen in het land. Wat doen zij met AI, hebben zij er al beleid voor? Hoe kan dat er dan uitzien in de processen en procedures die er al in het Erasmus MC waren op andere terreinen, zoals medische software ontwikkeling? Steketee: “Die hebben natuurlijk deels overlap met hoe je dat doet voor AI. De juristen en de vakgroep ethiek waren daar al mee bezig. Ik heb dat eigenlijk allemaal over elkaar gelegd. Aan de ene kant de kaders die er al waren, de benchmark vanuit de andere huizen en wat op dat moment de uitgangssituatie in het Erasmus MC was.”
Klinische validatie
De funnel laat zien welke stappen nodig zijn. Van een brede verkenning van een probleem in de kliniek, de vaststelling met elkaar dat voor dit probleem een AI-model een mogelijke oplossing zou kunnen zijn tot het ontwikkelen, testen, valideren en uiteindelijk gebruiken van dat model. Als vervolgens de klinische validatie positief uitpakt, kun je het ook daadwerkelijk gaan implementeren. “Ik heb nog twee fases toegevoegd die op dat moment in de bestaande kaders redelijk onderbelicht waren. Allereerst de monitoring van een algoritme na ingebruikname, waarin je ook nadenkt over opschaling in huis, of richting andere ziekenhuizen toe. En daarnaast hoe en wanneer je een toepassing buiten gebruik stelt.”
MDR-wetgeving
Vervolgens is Steketee het proces gaan testen in huis. “We hebben geïnventariseerd wie er met AI bezig is in het Erasmus MC en wat voor soort projecten dat dan zijn. Is dat bijvoorbeeld voor bedrijfsvoering, zorg of logistiek? Zijn dat dan algoritmen die zelf zijn ontwikkeld in huis of zijn dat algoritmen die extern zijn aangekocht? In welke fase van die funnel zitten die nou ongeveer? We hebben op een aantal van die use cases echt ingezoomd. We hebben interviews gedaan om met de betrokkenen naar de funnel te kijken en bij hen te verifiëren hoe ze de ontwikkeling van het gebruik van hun AI model hebben beleefd. Daaruit kwam terug dat ze in de eerste fase eigenlijk al behoefte hebben aan een infrastructuur waar mensen in kunnen experimenteren, maar waarin bijvoorbeeld ook wel meteen de nodige stappen worden vastgelegd voor de MDR-wetgeving, de Medical Device Regulation.”
AI Stewards
Veel onderzoekers die AI ontwikkelen voor een klinisch probleem, lopen volgens Steketee tegen een muur aan van wet- en regelgeving op het moment dat ze hun toepassing willen introduceren in de klinische praktijk. Daarbij kan de funnel helpen. Juist in die fase hebben ze behoefte aan begeleiding in de randvoorwaarden waaraan ze moeten voldoen voor gebruik in de kliniek.
Daarom heeft Steketee als een van de adviezen met haar jaarproject meegegeven dat het Erasmus MC AI Stewards aanstelt. Dat zijn collega’s die kennis hebben van het hele proces in de funnel en AI-ontwikkelaars en -gebruikers kunnen begeleiden om de juiste stappen te nemen. “Vooral in de juridische en ethische aspecten van het onderzoek willen collega’s ondersteuning. Ze willen in het begin weten waar ze rekening mee moeten houden als ze met hun toepassingen de kliniek in te gaan. Een AI Steward kan helpen met het ondersteunen in het voldoen aan de randvoorwaarden, zoals ethische vraagstukken en juridische zaken, zodat de ontwikkelaars en gebruikers zich echt kunnen focussen op de ontwikkeling van AI en wat het doet voor je patiënt of voor je bedrijfsvoering.”
Expertisecentrum
Toen Steketee het proces in kaart bracht, was het Erasmus MC bezig om een expertisecentrum rondom de inzet van AI in de zorg op te zetten. Of haar jaarproject echt een versneller is geweest in de komst van het expertisecentrum in het Rotterdamse ziekenhuis, weet Steketee niet. “Ik denk wel dat mijn jaarproject wat aanknopingspunten heeft gegeven waar het AI-expertisecentrum zich op zou kunnen richten.”
Meer weten? Lees hier het eindrapport van het jaarproject
