En hollandsk kvindes liv ændrede sig fra den ene dag til den anden i 2012, da den hollandske stat gjorde krav på, at hun betalte fire års børnepenge retur.

Over 100.000 euro – cirka 750.000 kroner – skyldte hun nu staten.

Kvinden, Chermaine Leysner, var sikker på, at det var en fejl, så hun tog den med ro. Men det var det ikke. »Det var starten på noget stort,« som hun selv har sagt det til mediet Politico.

Ni år senere var hun ramt af stress og depression, blevet skilt fra manden til sine tre børn, og så arbejdede hun ifølge sig selv »som en sindssyg« for at betale sin regning.

Chermaine Leysner var bare én ud af cirka 26.000 hollandske forældre, der mellem 2005 og 2019 fejlagtigt blev afkrævet at tilbagebetale sine børnepenge. IT-systemet havde regnet forkert og på falskt grundlag beskyldt hende for skattefusk.

En AI tog blandt andet beslutningen på baggrund af, at Chermaine Leysner havde dobbelt statsborgerskab, lav indkomst og en ikke-vestlig baggrund.

Skandalen, der i Holland er kendt som ‘kinderopvangtoeslagaffaire’, endte med at koste regeringen livet i 2021.

»Sådan en skandale har vi heldigvis ikke haft i Danmark endnu,« siger professor Thomas Hildebrandt til Videnskab.dk.

Han forsker i digitalisering af offentlige processer. Og så fremhæver han selv de »grelle eksempler fra Holland« som et varsel om, hvor galt det egentlig kan gå, når det offentlige forelsker sig blindt i fikse teknologier, der kan spare stats- og kommunekasserne penge.

»Man har sikkert anvendt de her teknologier efter bedste hensigter, men de ender alligevel med at lave forkerte vurderinger eller beskylde folk for noget forkert,« siger Thomas Hildebrandt.

I en tid, hvor kunstig intelligens i uset grad bliver udråbt som den nye samfundsrevolution og en potentielt lige så vild opfindelse som ild og elektricitet, er der en særlig grund til at være på vagt.

»AI-hypen er ekstrem,« som Thomas Hildebrandt siger det, »og der er en tendens til, at vi tror, at den kan bruges til at løse alle vores problemer«.

AI skal frigøre 10.000 job i det offentlige

»AI-hypen«, som Thomas Hildebrandt altså kalder den, får rygstød af markante spillere som Dansk Industri og konsulenthuset McKinsey.

Regeringens nye AI-taskforce har sågar en plan om at frigøre 10.000 job i det offentlige med teknologien, fortalte den nu tidligere digitaliseringsminister Marie Bjerre (V):

»Vi har ikke på forhånd defineret nogle røde linjer, hvor vi tænker, her kan man slet ikke bruge teknologien,« sagde Marie Bjerre til Altinget i juli, hvor hun også åbnede op for, at AI kan bruges i sager »om tvangsfjernelse af børn, hvor vi ellers har været berøringsangste«.

Et udbredt budskab er, at vi i Danmark bliver efterladt på perronen, hvis vi ikke hopper på AI-toget. Men det er et forkert og farligt budskab, mener Thomas Hildebrandt:

»AI kommer ligegyldigt hvad. Ingen bliver efterladt på perronen. Vi kører alle med toget. Problemet med den retorik er, at det presser folk til at tage noget i brug, uden at de tænker over, om vi kører i den rigtige retning.«.

»Mange i det offentlige bliver bange for ikke at tage de her AI-værktøjer i brug, hvis de virkelig er så effektive, som mange rapporter siger,« fortsætter Thomas Hildebrandt.

»Men mange af de her potentialer, der fremhæves, svarer ikke til virkeligheden. I nogle tilfælde er rapporterne understøttet af AI-leverandørerne selv,« tilføjer han.

Samtidig ved vi, at brugen af AI i det offentlige tidligere har været… mangelfuld.

AI-fusere på jobcentrene

For snart ti år siden var kunstig intelligens også på manges læber.

Dengang talte man ikke om ChatGPT og generativ AI, som vi gør i dag, men om prædiktiv AI. En kunstig intelligens, der er ekspert i at give kvalificerede gæt om fremtiden: Hvad er din risiko for at komme i fængsel, at få dig et job, at snyde skat og så videre.

Også dengang lovede rapporter, at AI ville være en stor gevinst. Og optimismen var altså stor nok til, at de danske jobcentre kastede sig over teknologien.

Jobcentrenes mange AI-fusere er beskrevet til bunds i flere medier. Men også forskere som Thomas Hildebrandt har kastet sig over sagerne for at undersøge, hvad der gik galt og hvorfor.

Ifølge ham kan vi netop bruge forskningen til ikke at begå samme fejl i dag.

Kunne ikke stole på ASTA

På jobcentret i Lyngby-Taarbæk Kommune kunne sagsbehandlerne i 2017 hilse på en ny kollega: Assistenten ASTA, et AI-drevet værktøj, der skulle supplere deres faglige vurdering.

Thomas Hildebrandt og en række kollegaer står blandt andet bag en undersøgelse, hvor de sammen med kommunen evaluerede sagsbehandleres brug af ASTA-værktøjet.

Samtalerne med sagsbehandlerne røbede en række problemer:

Først og fremmest fandt de, at hjælpen fra ASTA ofte ikke havde nogen effekt. Sagsbehandlere havde tendens til at anvende algoritmens forslag, når den gav dem ret. Hvis ASTA ikke gav dem ret, forkastede de bare dens forslag.

»Så der var en stor grad af bekræftelsesbias (tendens til at søge bekræftelse af egne holdninger, red). Hvis du som fagperson skal skifte mening, skal du virkelig have en god grund til det,« forklarer Thomas Hildebrandt.

ASTA-værktøjet kogte data fra ledige sammen og placerede dem i en rød, gul eller grøn boks, efter hvor stor sandsynligheden var, for at borgeren ville blive langtidsledig. Ud fra den vurdering skulle en jobkonsulent strikke et forløb sammen.

»Et andet problem var, at mange ledige endte i den gule mellemkategori. Når det skete igen og igen, skabte det en holdning hos sagsbehandlerne om, at værktøjet ikke rigtig ved, hvad den snakker om,« fortæller Thomas Hildebrandt.

Sorte bokse udfordrer retsstaten

I andre tilfælde var det for sagsbehandlerne svært at forstå, hvad ASTA-assistenten egentlig mente, når den gav sine anbefalinger, fortæller Thomas Hildebrandt.

Og det er et billede, som juralektor Jøren Ullits, der forsker i digitale forvaltningsløsninger ved Syddansk Universitet, også genkender fra sin forskning.

Jøren Ullits har ligeledes set nærmere på Lyngby-Taarbæk Kommunes brug af ASTA i et retligt perspektiv.

I et studie finder han frem til, at det kan være svært, hvis ikke umuligt, for sagsbehandlere at gennemskue, hvilke mellemregninger der ligger til grund for algoritmens vurdering. Udfordringen er bedre kendt som ‘black box’-paradokset.

»Når sagsbehandlerne bruger arbejdsredskaber, som de ikke til fulde forstår, så er det også svært for dem at forklare borgeren på den anden side af bordet, hvad der ligger til grund for beslutningen,« påpeger Jøren Ullits overfor Videnskab.dk.

Borgeren køres over

Som borgere har vi ellers krav på at kende de skøn og begrundelser, som ligger bag en beslutning, der er taget om os. Det gælder på jobcentret såvel som på sygehuset.

I sidste ende kan det altså »udfordre nogle af retsstatens grundlæggende principper«, når vi ruller AI-værktøjer ud i det offentlige, konkluderer Jøren Ullits.

En lignende bekymring lufter Jøren Ullits i en ny forskningsartikel, der er undervejs, hvor han har gransket udrulningen af det heftigt kritiserede ejendomsvurderingssystem.

Borgere informeres ikke om vurderingen af deres ejendom på et fuldstændigt grundlag, fordi systemet er så komplekst, forklarer Jøren Ullits.

Så it-systemet koger ned, skærer fra og forsimpler sin begrundelse, når borgeren skal læse om vurderingen af sin bolig. Men dermed bevæger systemet sig også i en retlig gråzone, fordi borgeren igen ikke får den fulde indsigt i beslutningen bag ejendomsvurderingen.

»På den måde vinder systemet. Det skyldes nok, at det er så stort, dyrt og teknisk et system, at det er nemmere på den måde. Men jeg frygter, at det ødelægger tilliden mellem borgeren og staten,« siger Jøren Ullits:

»Man favoriserer hensynet til it-systemet over borgeren,« lyder det fra juralektoren.

Eller som Thomas Hildebrandt, der er enig i Jøren Ullits analyse, siger det: »Borgeren køres over.«

Data og pseudo-ansvar

Ifølge Thomas Hildebrandt er begge sager – ejendomsvurderingssystemet og AI-brugen i jobcentrene – et tegn på »et grundlæggende problem«: Vi bruger ofte kunstig intelligens »helt forkert«.

»Min store kæphest er, at vi skal lære at bruge det rigtige AI-værktøj til at løse den rigtige type af problemer,« siger han.

»Der en masse ting, som virker nemme at løse med AI, men som i virkeligheden bør være ‘no-go’, fordi man ikke forstår data eller har for dårlige data,« siger Thomas Hildebrandt, der ser med bekymring på regeringens udmeldinger om AI.

Den tidligere digitaliseringsminister Marie Bjerre har eksempelvis meldt ud, at hendes ultimative krav til brugen af kunstig intelligens i det offentlige var, at det altid er et menneske, der i sidste ende skal træffe beslutningen.

»Det er en misforståelse, at man kan bruge kunstig intelligens til alt, når der bare er et menneske i loopet. Det nytter ikke noget, at et menneske træffer en beslutning ud fra en upålidelig vurdering. Så giver vi sagsbehandleren et pseudo-ansvar,« siger Thomas Hildebrandt.

Mennesker skal komme før teknologien

Så hvordan bruger vi AI bedre, end vi tidligere har gjort?

Det forsøger lektor Naja Holten Møller blandt andet at svare på. Hun forsker i forholdet mellem mennesker og maskiner på Datalogisk Institut ved Københavns Universitet. Og hun står ligeledes bag studier (her og her), der har kastet et kritisk blik jobcentrenes brug af ASTA-assistenen.

Hendes nyeste forskningsprojekt hedder iAware og er et samarbejde med Bispebjerg Hospital, Dansk Selskab for Patientsikkerhed og virksomhederne Systematic og PowerNet.

»Der er opstået en konkret udfordring med overgangen til en-sengs-stuer på de nye hospitaler, nemlig at patienters behov for information ændrer sig, når de ikke kan spørge andre patienter, eller når sygeplejersken kommer færre gange, fordi han skal dække flere sengestuer,« forklarer Naja Holten Møller til Videnskab.dk.

»Derfor består min forskning i at træde et skridt tilbage og blive klogere på, hvilken information patienter og pårørende efterspørger, og hvad der med fordel kan gøres tilgængelig for patienten gennem AI.«

Naja Holten Møller pointerer, at »det ikke er givet«, at de rent faktisk finder en meningsfuld løsning med AI i projektet. Men tilgangen, hvor man tager patienter, sygeplejerske og pårørende med på råd i udviklingen, bør vi stræbe efter i fremtiden.

»Vi har fokus på, at teknologien ikke bare skal ‘virke’, men skal også være legitim i disse menneskers øjne. Det er en forudsætning, at mennesket kommer før teknologien,« siger Naja Holten Møller.