Zorg zoekt naarstig naar vangrails voor AI

De opmars van AI in de zorg wordt aangejaagd door een ijzeren economische logica. Voorspellingen houden rekening met een jaarlijks groei van de wereldwijde markt van 37 procent tot een totaal van bijna 190 miljard dollar in 2030. Kunnen bestuurlijke, klinische en ethische vangrails deze groei in goede banen leiden? Verschillende partijen doen een poging.

Hoewel precieze cijfers ontbreken, zit ook de adoptiegraad fors in de lift. Volgens sommige schattingen zet 70 procent van de zorgorganisaties momenteel al enige vorm van AI in. Duidelijk is dat de komst van general purpose AI, ook wel aangeduid als generatieve AI of Large Language Models (LLMs), de toepassing van AI in de zorg een flinke zet geeft. Anders dan gespecialiseerde algoritmes voor specifieke taken zijn LLM’s bijzonder breed inzetbaar, wat hun implementatie vanzelfsprekend bevordert.

Praktische richtlijnen

Die brede inzetbaarheid maakt het lastig zicht te houden op de precieze toepassing, laat staan op de uitkomsten. Alle reden dus om duidelijke spelregels voor gebruik van AI in de zorg op te stellen. De Coalition for Health AI (CHAI) heeft hier recent een poging toe gedaan met de publicatie van een lijvig handboek dat praktisch bruikbare richtlijnen bevat voor ethische en klinisch verantwoorde toepassing van AI. Daarbij draait het om begrippen als bruikbaarheid, rechtvaardigheid, eerlijkheid, veiligheid, betrouwbaarheid, transparantie, verantwoording en privacy.

Samen met industrie?

Het feit dat deze basisprincipes binnen CHAI worden onderschreven door zowel grote ziekenhuisketens zoals Mayo, Johns Hopkins en Kaiser Permanente als vertegenwoordigers van Big Tech, waaronder Amazon, Google en Microsoft, zou de richtlijnen extra gewicht moeten geven.

Maar volgens critici schuilt in de innige samenwerking met de industrie ook een probleem. Durft CHAI omstreden AI-praktijken aan de kaak te stellen? In de VS dienden zich recentelijk verschillende casussen aan waarbij binnen zorgorganisaties data door ontwikkelaars op oneigenlijke wijze werd verzameld. Verkiest CHAI straks technische standaarden boven principiële doelen als ‘empowering patients’?

Consumptiegoed

De onlangs opgerichte Digital Rights and Health Alliance (DRHA) ziet de bui al hangen. “Door de intrede van  grote technologiebedrijven wordt de zorg steeds meer een commercieel consumptiegoed”, aldus  de alliantie in een manifest dat mede ondertekend is door EuroHealthNet, European Digital Rights, the European Public Health Alliance, Global Health Alliance and Health Action International en enkele individuele onderzoekers waaronder de Nederlandse onderzoekers Hannah van Kolfschooten (University of Amsterdam) en Jolien van de Sande (Tilburg University). “Het business model van deze bedrijven strookt niet met de gangbare publieke waarden.”

“Het gebruik van patiëntdata voor winstbejag plaatst burgers in een kwetsbare positie en creëert een ongelijke machtsverhouding. Verlies van individuele controle en eigenaarschap over data ligt op de loer.” Wat meer is, volgens de ondertekenaars continueert en versterkt AI de huidige gezondheidsverschillen. De huidige regelgeving schiet hierin tekort, aldus de DRHA.

AI Act

En de AI Act dan, zal menigeen zich afvragen? Het Europese parlement keurde in maart de wet goed waarin verstrekkende nieuwe verplichtingen en eisen voor ontwikkelaars van AI staan. Zo komt er een verplichte risicoclassificatie. Op grond hiervan gelden voor AI-toepassingen met hogere risico’s, strengere eisen. Toepassingen in de zorg vallen al snel in een hoge risicocategorie. Om naleving van de wet af te dwingen, komen er sancties en boetes. Zelfs een algeheel verbod voor gebruik binnen de EU behoort tot de mogelijkheden.

Consequenties

Het probleem met AI Act is dat de wet niet primair is opgesteld met de zorg voor ogen, constateert hoogleraar Stephen Gilbert van het Else Kröner Fresenius Center for Digital Health in Dresden in Nature. Ook de uitwerking en consequenties voor de zorg zijn nog niet goed uitgekristalliseerd. Met nam de wisselwerking met de reeds bestaande Medical Device Regulation (MDR) en de In-Vitro Diagnostic Device Regulation (IVDR) roept vragen op.

De DRHA juicht de nieuwe spelregels toe, maar ziet een omissie. Nergens worden zaken als publiek belang en publieke opbrengsten expliciet benoemd. De alliantie vindt daarom dat er een evidence based definitie moet komen van publieke belangen en opbrengsten, zodat ze worden meegewogen in alle beslissingen over AI-toepassingen.

Nederlandse waarden

Echo’s van dit argument klinken door in de recente verkenning van de kansen en gevaren van AI in de zorg, die TNO in opdracht van het ministerie van VWS heeft uitgevoerd. TNO spreekt van “de noodzaak om belangrijke Nederlandse waarden, zoals rechtvaardigheid, transparantie, veiligheid, verantwoording en duurzaamheid te blijven borgen in wetgeving en beleid”.

Die Nederlandse waarden veilig stellen, kan onder meer door in AI-innovaties binnen Nederland te investeren om zo de afhankelijkheid van een klein aantal grote, buitenlandse partijen te verminderen.

Vooraan staan

Daar had het vorige kabinet wel oren naar, zo valt terug te lezen in de visie op generatieve AI die in januari werd gepresenteerd. Door samen te werken met alle stakeholders, kennisontwikkeling en gebruik te stimuleren en passende wet- en regelgeving te ontwikkelen ‘kan Nederland vooraan staan bij de onvermijdelijke veranderingen in onze samenleving door generatieve AI’.

AI-ethieklab

Goed om te weten dat de Nederlandse zorg de handschoen al heeft opgenomen. Vorig jaar verscheen de ‘Leidraad kwaliteit AI in de zorg’. Erasmus MC en de TU Delft kunnen daarnaast bogen op ’s werelds eerste AI-ethieklab voor de zorg. In juni startten ze samen met IT-bedrijf SAS het Responsible and Ethical AI in Healthcare Lab (REAiHL). Doel: het creëren van een raamwerk waarin de ethische vereisten voor een zorg AI-model zijn vastgelegd.

“Het laatste wat we willen, is dat een AI-model schade toebrengt aan een patiënt of bepaalde groepen benadeelt,” aldus mede-initiatiefnemer en IC-arts Michel van Genderen van Erasmus MC. “Wat mij betreft, moeten we de validatie van AI net zo inrichten als bij medicijnen. Vaste principes en vaste stappen, zodat we het allemaal op dezelfde uitlegbare manier ontwikkelen. En waarmee het schaalbaar en verantwoord in de kliniek kan worden geïmplementeerd.”