Hoe kun je op schaal veilig onderzoekdata uitwisselen? Dat is een vraag waar menig arts of onderzoeker zich het hoofd over breekt. Techfirma Intel, academisch ziekenhuis Penn Medicine en 71 instellingen van over de hele wereld laten zien hoe met ‘gefedereerd leren’ barrières voor gegevensuitwisseling kunnen worden geslecht. En dat levert gelijk ook sterk verbeterde tumordiagnostiek op.
Tot voor kort was het opsporen van tumoren puur mensenwerk. Het oog van de dokter bepaalde of een scan al dan niet pluis was. Zulke elementaire diagnostiek wordt steeds vaker uitgevoerd door computers. Groot internationaal onderzoek, waar ook het Erasmus MC aan heeft meegewerkt, laat zien wat een goed algoritme vermag.
33 Procent beter
In het hart van de internationale proef -voorlopig de grootste in zijn soort– ligt een algoritme dat automatisch tumoren detecteert op mri-scans. Als het gaat om het ‘aflijnen’ van de tumor, dan doet het algoritme dit 33 procent beter dan eerder beschikbare algoritmes. De totale grootte van de tumor stelt het algoritme 25 procent nauwkeuriger vast. Daarbij kan het algoritme deze informatie ook nog eens driedimensionaal weergeven.
“Of het nu aflijnen of opmeten is, nu doen we dat allemaal handmatig”, zegt professor Marion Smits, die als neuroradioloog bij het onderzoek betrokken is. “Het algoritme doet dat automatisch, dat scheelt een hoop werk. Wat het algoritme ook beter kan, is laten zien hoe groot de tumor is. Zo kun je beter vaststellen of de therapie werkt.”
Consistenter
Bovendien wordt het algoritme nooit moe en kan het enorm veel scans bekijken. In theorie kan het algoritme ook helpen praktijkvariatie uit te bannen. Smits: “Het uitlijnen van een tumor zal een collega net iets anders doen dan ik. Computers zijn een stuk consistenter.” Wat voor individuele artsen geldt, geldt ook voor ziekenhuizen in het algemeen. Groot of klein, dankzij het algoritme hebben ze allemaal toegang tot dezelfde kennis.
Maar het algoritme kan meer. “Dit algoritme kan voorbij imperfecties kijken”, zegt Smits. “Wanneer een scan niet helemaal goed gemaakt is, leert dit algoritme daar doorheen te kijken, zoals een mens dat ook kan. Dat is een stap die niet eerder is gezet.”
Bias
Lerend vermogen en lenigheid zijn punten die de bijzondere interesse hebben van doctor Sebastian van der Voort, die als onderzoeker van Erasmus MC nauw bij de proef betrokken was. “Om een algoritme goed te trainen zijn niet alleen heel veel data nodig, maar ook veel verschillende”, legt Van der Voort uit.
“Het draait om de variatie. Voorheen werden voor onderzoek vaak dezelfde data gebruikt. Als je dan data van een ander instituut nam, kreeg je in één keer hele andere uitkomsten. Of er werden hele opgeschoonde data gebruikt. Maar dat komt niet overeen met de klinische realiteit. Bij dit soort studies, waarbij je op zoveel plekken data verzamelt, zit variatie er van nature in en wordt het algoritme veel robuuster.”
Die variatie is volgens Smits ook om een andere reden belangrijk. “Als je alleen maar data uit gespecialiseerde ziekenhuizen gebruikt, veroorzaak je bias. Je wilt juist ziekenhuizen en landen meenemen waar een ander type patiënt komt. Als je die in je AI meeneemt, verhelp je bias.”
Datalekken
Over de noodzaak van data delen bestaat inmiddels brede consensus. Toch zijn er in de praktijk nog de nodige problemen. Die lopen uiteen van interoperabiliteitsissues en organisatorische kwesties tot privacyregels. Nederlandse onderzoekers hebben dan ook vaak de grootste moeite om voldoende onderzoekdata te vergaren.
‘Gefedereerd leren’, zoals in het Intel-Penn-onderzoek, kan uitkomst bieden, geloven Smits en Van der Voort. “Vroeger moest ik mijn data sturen om een algoritme te kunnen trainen. Bij deze manier van werken hoeft dat niet. Wat er nu gebeurt: wij krijgen het algoritme toegestuurd dat alleen lokaal data ziet. Je krijgt met dit algoritme geen inzicht in de data van anderen. Omdat je je eigen data niet hoeft te sturen, hoef je dus niet bang te zijn voor datalekken. Alleen de updates gaan naar een centrale plek, maar die bevatten niks over data zelf. Alleen over ontwikkeling van het algoritme.”
“Iedereen is altijd wanhopig op zoek naar data”, vult Smits aan. “Dat betekent dat mensen, om het oneerbiedig te zeggen, vaak op hun data zitten. Een data transfer agreement is ook contractueel een enorm gedoe. En dan moet je nog anonimiseren en versturen, dat is zeker voor kleinere ziekenhuizen disproportioneel veel werk. Dit maakt het een stukje makkelijker en veiliger.”
Snelle ontwikkeling
Daarmee is nog niet alle huiver onder professionals ten aanzien van AI en big data verdwenen, weet Smits. “De ontwikkeling gaat heel hard opeens. Dus vragen velen zich terecht af: hoe goed is AI nou eigenlijk? Kan ik het wel vertrouwen? En hoe krijg ik dat vertrouwen? Dat is de volgende stap. Het ene algoritme is andere niet. Veel algoritmes die nu gefabriceerd en verkocht worden, zijn niet zo goed getest. Je koopt zoiets om je werk makkelijker te maken. Als je dan merkt dat het niet werkt of er kan iets misgaan, dan is dat natuurlijk bijzonder ongewenst. Een extra moeilijkheid is dat je tegenwoordig voor elk onderdeel van je praktijk een algoritme hebt. Dat gaat al snel om tienduizenden euro’s. De vraag is wie dat gaat betalen.”
Verantwoordelijkheid
Waar moet een algoritme aan voldoen? Hoe ver moet je testen voor het inzetbaar is? Wie is verantwoordelijk voor het gebruik? Het zijn vragen die volgens Smits steeds vaker langs komen binnen de Nederlandse Vereniging voor Radiologie. “Moeten wij als vereniging handvatten geven of moet het onderdeel van de wetgeving worden? Daar moeten we onze weg in vinden. Tot die tijd is het toch een kwestie van zelf testen. Het punt is dat wij als artsen wél verantwoordelijk zijn. Een fabrikant zal nooit verantwoordelijk zijn voor een medische misser.”
Noodzaak
Hoeveel vragen rond de toepassing er ook zijn, weggaan doen algoritmes niet meer, denkt Smits. “Kijk naar het zorginfarct, de stijgende kosten en de groeiende vraag naar diagnostiek. Dat AI ons daarbij ondersteunt is noodzaak, want we redden het gewoon niet.”
Maar toepassing vraagt om vertrouwen en draagvlak. Daarom zijn grootschalige, doorwrochte onderzoeken als waar het Erasmus MC aan heeft deelgenomen, ook zo van belang. Smits: “Als je weet dat een algoritme is getest in een grote diverse populatie met telkens dezelfde uitkomsten, geeft dat vertrouwen.”
