Fra data til beslutningsstøtte –
Kan vi stole på Algoritmen?
Maskinlæring bruges mange steder i samfundet til at hjælpe, effektivisere eller erstatte menneskers arbejde. I dette forløb undersøger vi, hvordan maskinlæringsmodeller trænes, hvordan træningsdata påvirker modellen, og hvilke etiske spørgsmål teknologien rejser når den for eksempel bruges til at bedømme børns mistrivsel.
Overblik
I dette forløb skal I undersøge en algoritme som blev udviklet for at hjælpe socialrådgivere i kommunerne med at træffe svære beslutninger.
Forløbet består af følgende dele:
Hvad er en underretning?
Lær modellen at kende
Modellens træning, input og output
Undersøgelse af modellen
Therese Moreaus undersøgelse
Afsluttende diskussion i klassen
Det lærer du
- At undersøge og vurdere en matematisk model der vurderer underretninger
- At vurdere styrker og svagheder ved GeoGebra og regneark
- At reflektere over hvad der kan beskrives med matematik og hvad der ikke kan
Del 1: Hvad er en underretning?
Alle borgere i Danmark har mulighed for at give kommunen besked, hvis man har mistanke om at et barn eller en ung under 18 år mistrives. Det kaldes en underretning. Man kan være bekymret for et barns trivsel af mange grunde, disse kan blandt andet være: For meget fravær, ændret opførsel, kriminalitet, vold, overgreb eller misbrug. Meget ofte formuleres underretningen i samarbejde mellem forældre og skole.
Når kommunen modtager en underretning, undersøges sagen og man finder ud af hvordan familien bedst kan hjælpes. Det kan fx være gennem samtaler, økonomisk støtte, afvænning mv.
I sjældne tilfælde kan kommunen vurdere, at barnet har bedst af ikke at bo med sine forældre. Det kaldes en anbringelse.
Mød forskeren: Therese Moreau
Therese Moreau
- Therese er journalist på Version2
- Hun er uddannet i data science fra IT-Universitetet
- Hun har i forbindelse med sin forskning undersøgt en model, der skulle hjælpe socialrådgivere i kommunerne med at tage stilling til underretninger
- I skal undersøge hvor godt modellen virker, på samme måde som Therese
Del 2: Lær modellen at kende
Se videoen om modellen I skal arbejde med her:
Fælles opsamling på videoen i klassen
Snak om disse 4 spørgsmål i klassen:
- Hvorfor blev modellen kaldt en beslutningsstøtte?
- Hvad betyder “modellen skulle give et objektivt blik på sagen”?
- Har modellen påvirket beslutninger i rigtige sager?
- Hvad er der særligt ved type 2, 7 og 9 underretninger?
Maskinlæringsmodellen lavede en lang formel til udregning af risikoscoren. Denne formel har vi lagt ind i GeoGebra og regneark.
Opsamling i klassen
Gennemgå svarene og få afklaret usikkerheder og spørgsmål i klassen, inden I går videre.
Del 3: Modellens træning, input og output
I skal nu høre mere om hvordan modellen er trænet og hvad risikoscoren helt præcist betyder i denne video:
Fælles opsamling på videoen i klassen
Snak om disse 4 spørgsmål i klassen:
- Hvilke data brugte man til at træne modellen?
- Hvad prøvede modellen at finde frem til?
- Hvad er der galt med rs?
- Hvad betyder RS=1 og RS=10?
Opsamling i klassen
Det ser ud som om at alderen spiller en meget stor rolle i modellens vurderinger.
Tal om hvordan I systematisk kan undersøge modellen og dermed sammenhængen mellem alder og RS.
Del 4: Undersøgelse af modellen
I skal nu undersøge modellen systematisk, på samme måde som Therese Moreau gjorde.
I skal nu hver for sig undersøge hvordan RS afhænger af barnets alder. I må gerne snakke sammen og hjælpe hinanden
Snak sammen i par
- Hvad har I observeret, der virker fornuftigt?
- Hvad har I observeret, der virker underligt?
Del 5: Therese Moreaus undersøgelse
I skal nu se nærmere på de resultater Therese Moreau fandt frem til i hendes undersøgelse af modellen. Undersøg de 2 grafer herunder i klassen og svar på spørgsmålene.
- Hvad ser det ud til at hun har undersøgt?
- Ligner graferne jeres grafer?
Det ser ud til at barnets alder er helt afgørende for modellens risiko score.
- Synes I at det virker rimeligt at ældre børn er i større risiko for mistrivsel end yngre børn (når alle andre parametre er konstante)?
- Har I nogle bud på hvorfor det kan være at modellen forbinder alder med høj risiko for mistrivsel?
En mulig forklaring
For at undersøge hvorfor modellen opfører sig som den gør, kan man kigge nærmere på hvordan den er trænet, og mere præcist hvilken data den er trænet på.
I denne video kan I høre mere om den data som modellen er trænet på:
En anden mulig forklaring
Søjlediagrammet herunder viser hvor mange i hver aldersgruppe der bliver anbragt minus dem der kommer hjem igen. Et negativt tal betyder derfor, at flere kommer tilbage til deres egen familie end der bliver anbragt.
- Kan søjlediagrammet afsløre endnu en mulig forklaring på modellens opførsel?
- Hvilke forklaringer kan der være på, at flere teenagere anbringes end små børn?
- Betyder stigningen i antal anbringelser nødvendigvis at risikoen for mistrivsel stiger med alderen?
Man kan se på grafen at der fra 9-års alderen bliver anbragt flere og flere børn udenfor hjemmet, efterhånden som de bliver ældre. Dette mønster kan maskinlæringen fange og dermed forbinde højere alder med højere risiko for mistrivsel.
Ofte vil man se anbringelser som en sidste udvej hvor mange andre tiltag er forsøgt først. Det er således ikke nødvendigvis et tegn på at risikoen for mistrivsel stiger med alderen.
Problemet er, at modellen trænes til at forbinde høj alder med høj risiko, da et af de tre kriterier for mistrivsel netop var at blive anbragt.
Del 6: Afsluttende diskussion i klassen
- Modellen bruger data, der er nemme at repræsentere som tal. Er det mon de samme ting, en sagsbehandler (altså et menneske) kigger på?
- Kan de ting, sagsbehandleren kigger, på laves om til tal, så en algoritme kan vurdere sagen?
- Jeres vurdering: Synes det er en god idé at lave AI-systemer der skal vurdere denne slags sager? Hvad er fordelene? Hvad er problemerne?
- Tror I det kan lade sig gøre i fremtiden?
Tak for denne gang!