Transcriptiemodellen die gesprekken met patiënten automatisch samenvatten en in tekst omzetten. Het is de droom van menig zorgprofessional. Dankzij AI-tools als Whisper wordt die droom werkelijkheid. Als ‘verzinsels, racistisch commentaar, beledigingen en onzinnig medisch advies’ tenminste geen roet in het eten gooien.
“Robuust en bijna net zo nauwgezet als een mens”. Zo verkoopt OpenAI het transcriptie-model Whisper. Daar valt het nodige op af te dingen, zo valt op te maken uit recent onderzoek waarover persbureau AP bericht. Uit dit onderzoek komt naar voren dat Whisper woorden tot hele frasen verzint. Deze verzinsels kunnen volgens de door AP bevraagde deskundigen zelfs uitmonden in ‘racistisch commentaar, beledigingen en onzinnig medisch advies’.
Hoog-risico omgeving
Dat Whisper er soms op los hallucineert, weet OpenAI natuurlijk ook. Om die reden raadt het techbedrijf het gebruik in hoog risico-omgevingen als de zorg af. Toch wordt dit advies door zorgaanbieders in de wind geslagen. AP ziet onder Amerikaanse zorgaanbieders “grote haast om op Whisper gebaseerde transitietools” in te zetten.
Hallucinaties als wezenskenmerk
Whisper is bepaald niet het enige AI-model dat worstelt met accurate weergave van menselijke communicatie. Volgens hoogleraar Natural Language Processing (NLP) Suzan Verberne van Universiteit Leiden zijn hallucinaties een wezenskenmerk van taalmodellen. “Hallucinatie is not a bug but a feature”, aldus Verberne. “Wat het model doet, is het genereren van een plausibele reeks waarschijnlijke woordvolgordes. Hoe specifieker het onderwerp, hoe groter de kans op hallucinaties, want informatie over zulke onderwerpen is beperkter beschikbaar.”
Continu controle
Die constatering krijgt extra reliëf als bedacht wordt dat juist de zorg een sector is waarin hyperspecialisatie steeds verder oprukt. Zorgprofessionals die toch met transcriptiemodellen aan de slag gaan, zijn hoe dan ook genoodzaakt om het model flink aan te passen en op te schonen. Ook moet er continu controle zijn op de waarheidsgetrouwheid van de weergaven. En daarmee kan de beoogde tijds- en efficiëntiewinst zomaar in rook opgaan. Als kwakkelende transcriptiemodellen al in de zorg mogen worden toegepast als straks de AI Act volledig van kracht is.
