Lærervejledning

Træningsdata i AI: miniature eller dækning?

Overblik over forløbet

Forløbet består af følgende dele:

Del 1: Maskinlæring
Del 2: Repræsentativitet i træningsdata
Del 3: Line Clemmensen og hendes forskning
Del 4: Case: Når patienterne bliver væk
Del 5: Talegenkendelse
Del 6: Opsamling og afslutning

Det lærer du

• At bruge begreberne ‘Miniature’ og ‘Dækning’ til at beskrive de data som bruges i maskinlæring
• At undersøge store datasæt ved brug af pivot-tabeller i regneark
• At komme med forslag til hvordan et datasæt til maskinlæring kan gøres endnu bedre

Del 1: Maskinlæring

I klassen

Maskinlæring i hverdagen

Maskinlæring bruges mange steder i vores hverdag, det bruges blandt andet til:

• Selvkørende biler, som blandt andet kan genkende biler, trafikskilte og fodgængere
• At hjælpe læger med at genkende sygdomme på fx røntgenbilleder
• Sprogmodeller som Google Assistant eller Siri, så de forstår hvad du siger

Kan I komme på flere steder hvor maskinlæring bruges?

Hunde og kager

I skal nu i par prøve en maskinlæringsmodel, som kan kende forskel på billeder af chihuahuaer og muffins.

Opsamling i klassen: Hvor godt klarede modellen sig?

• Hvilke slags billeder var modellen bedst til at gætte rigtigt på?
• Hvad skete der, når I viste modellen billeder af hunde og kager, som den ikke var trænet på?

Men hvad er maskinlæring egentlig?

I skal nu se en video, som forklarer maskinlæring lidt nærmere:

Når I har set videoen, skal I tage fat i de printede flashcards og gennemgå øvelse 2.

Del 2: Repræsentativitet i træningsdata

Repræsentativitet handler om, hvordan man udvælger et datasæt, så det afspejler den målgruppe, modellen skal anvendes på. Der er flere forskellige måder at udvælge et datasæt ud fra en befolkning, og to af dem skal I arbejde med nu.

På billedet nedenfor ses to forskellige datasæt som er udvalgt fra den samme befolkning. Brug det udleverede elevark og diskutér følgende i par:

• Hvordan er disse to grupper blevet udvalgt?
• Hvor stor en andel af hver farve optræder i befolkningen øverst i billedet og i hvert af datasættene?
• Hvad er fordele og ulemper ved gruppen til venstre?
• Hvad er fordele og ulemper ved gruppen til højre?
• Hvilken af de to grupper repræsenterer befolkningen bedst?

Opsamling af svar i klassen

Hvad sker der, hvis man glemmer repræsentativitet?

I skal nu se et eksempel på, hvad der kan ske, hvis man ikke overvejer, hvordan ens datasæt skal udvælges. Se de første 43 sekunder af denne video:

Tal i klassen om hvad problemet er.

Opsamling i klassen:

• Hvad var problemet med maskinlæringsmodellen i videoen?
• Hvordan kan sådan et problem være opstået?

Del 3: Line Clemmensen og hendes forskning

I har lige set hvor galt det kan gå, hvis man ikke tænker over hvordan man udvælger sit datasæt. Forskeren Line Clemmensen har undersøgt forskellige måder man kan udvælge sit datasæt på. 

Om Line Clemmensen

Line Clemmensen er professor i statistik på Københavns niversitet og hun har forsket i de forskellige måder man kan vælge et datasæt på når man skal træne en maskinlæringsmodel. Målet med hendes forskning har været at kunne vælge det datasæt som gør modellen mest retfærdig.

På denne måde kan man forsøge at undgå problemer, som det i blev præsenteret for i den video, I lige har set.

To måder at udvælge datasæt

Når man udvælger et datasæt ud fra en befolkning, er der, som I så længere oppe, flere måder at gøre det på. To af disse måder kalder man ‘miniature’ og ‘dækning’. Man kalder måder som disse repræsentationsformer, da hver repræsenterer den befolkning, man udvælger datasættet fra, på hver sin måde.

Miniature

Hvis man udvælger sit datasæt efter repræsentationsformen miniature, laver man et datasæt som ligner virkeligheden, bare mindre. Det betyder, at man forsøger at bevare proportionerne i befolkningen, man udvælger fra.

Hvis for eksempel 50% af befolkningen tilhører en bestemt gruppe, så skal 50% af datasættet bestå af folk fra denne gruppe. Men da datasættet skal være mindre end befolkningen, kan grupper, som består af få individer, ende med at blive skåret fra.

Modellen der bliver trænet på et datasæt som er lavet efter repræsentationsformen miniature, lærer mere om de store grupper i datasættet end de små.

Datasættet er altså en nedskaleret version af befolkningen, på samme måde som et modeltog er en mindre version af et rigtigt tog. Billedet er AI genereret

Dækning

Hvis man gerne vil undgå, at minoriteterne i befolkningen bliver skåret fra, når man udvælger datasættet, så kan man bruge repræsentationsformen dækning. Her bevarer man ikke proportionerne af befolkningen, men har i stedet alle grupper i befolkningen med, og lige mange af hver gruppe.

Hvis man for eksempel inddeler Danmarks befolkning i grupper efter alder, så vil gruppen med 100-109 årige være meget lille i forhold til de andre grupper i befolkningen. Hvis man så bruger dækning når man skal lave et datasæt fra denne befolkning efter dækning, så vil der være lige så mange danskere i gruppen 100-109 årige som i alle andre grupper.

Modellen, der bliver trænet på et datasæt, som er lavet med repræsentationsformen dækning, lærer derfor lige meget om alle grupper i datasættet.

Noas ark illustrerer princippet. Her blev der udvalgt to af hver dyr, ligegyldigt hvor mange, der i forvejen var af hvert slags dyr. Billedet er AI genereret.

Nu hvor I kender begreberne miniature og dækning, kan I måske genkende at billedet med de farvede personer i del 2 var udvalgt efter disse to principper.

• Hvilken af datasættene på billedet er udvalgt efter repræsentationsformen miniature?

For at undersøge de forskellige måder at udvælge et dataset på, trænede Line to maskinlæringsmodeller til at forudsige folks indkomst. Begge modeller blev trænet på datasæt fra Californien, men det ene datasæt var udvalgt efter miniature, mens det andet var udvalgt efter dækning. Målet var derefter at sammenligne de to modeller for at afklare deres styrker og svagheder.

For at sammenligne modellerne undersøgte hun, hvor gode de var til at forudsige folks indkomst i andre stater end Californien. Her testede hun dem både på stater, der ligner Californien, og på stater, der ikke gør. At en stat henholdsvis ligner og ikke ligner træningsdataene er bl.a. målt ud fra, om dem, der bor i staten, har samme alder, uddannelsesniveau og indkomst.

For at sammenligne resultaterne har Line udregnet modellernes gennemsnitlige fejl. Det betyder, at jo højere en gennemsnitlig fejl, jo værre har modellen klaret sig. For staterne New York og New Jersey, som ligner Californien, kan den gennemsnitlige fejl for de to modeller aflæses på y-aksen på følgende boksplot.

I par

Hvordan klarer modellerne sig når data ligner træningsdata?

Modellerne har forudsagt lønindkomster i de to stater som ligner Californien.

• Hvilken type af repræsentativitet mener I har klaret det bedst?
• Hvordan kan I se at den har klaret sig bedst?
• Hvorfor tror I at den ene klarer sig bedre end den anden?

 

 

 

 

Line testede herefter modellerne på to stater, der ikke ligner Californien, nemlig Alaska og Puerto Rico. Resultaterne kan ses i boksplottet herunder.

I par

Hvordan klarer modellerne sig når data IKKE ligner træningsdata?

Modellerne har forudsagt lønindkomster i de to stater som ikke ligner Californien.

• Hvilken af de to typer repræsentativitet mener I klarer sig bedst?
• Hvordan kan I se det?
• Hvorfor tror  at den klarer sig bedre?

For at sammenligne resultaterne for New York og New Jersey med resultaterne for Alaska og Puerto Rico, har vi samlet dem alle i boksplottet herunder.

I par

Resultaterne samlet

Ud fra figuren til venstre kan man se at begge modeller klarer sig bedre på stater som ligner Californien end stater der ikke gør.

 

• Kan I forklare hvorfor?

 

 

 

 

 

Del 4: Case: Når patienterne bliver væk

Mange læger oplever problemer med, at patienterne bliver væk fra aftalerne. Se dette indslag fra TV Midtvest, der beskriver problemet. Se kun de første 3 minutter og 23 sekunder:

I skal nu svare på Øvelse 4 i par.

Kan maskinlæring løse problemet?

Man har ude hos de praktiserende læger forsøgt at gøre problemet mere synligt; man har forsøgt at give bøder til patienter, der blev væk, og man har forsøgt at sende påmindelses-SMS’er. Ingen af disse forsøg har dog haft den ønskede virkning.

En ny løsning kunne være at træne en maskinlæringsmodel til at genkende de patienter, der typisk bliver væk, og hermed booke flere patienter til netop de tider. For at modellen bliver så god som muligt og fungerer efter hensigten, er der nogle ting, man bør overveje. Svar på følgende spørgsmål i par. Hint: Brug tabellen fra Øvelse 3.

• Hvad er vigtigst: at modellen gætter rigtigt for de fleste (majoriteten), eller at modellen er lige god til at forudsige udeblivelser i alle befolkningsgrupper?
• Hvad er det værste, der kan ske, hvis modellen gætter forkert?​
• Skal modellen trænes med miniature eller dækning?​

Herefter opsamling i klassen.

Del 5: Talegenkendelse

I skal nu kigge nærmere på den type maskinlæringsmodeller, der kan genkende ord, når man taler til dem.

Mange ord på dansk udtales forskelligt alt efter hvor i landet man befinder sig. Det kalder man for dialekt. Ud over det kan man også udtale ord anderledes, fordi dansk ikke er ens modersmål; det kalder man accent. For at få et indblik i, hvor forskelligt vi taler i vores lille land, kan I se denne video:

Donér din stemme – bedre talegenkendelse på dansk

Accent og dialekt kan gøre det sværere at udvikle talegenkendelsesmodeller, der kan forstå alle former for dansk. Derfor arbejder projektet Donér din stemme med at indsamle stemmer fra så mange forskellige danskere som muligt. De vil gøre det nemmere at træne talegenkendelsesmodeller til at forstå dansk, hvilket kan gøre dem brugbare i flere dele af vores samfund end de er i dag.

Danskere kan frivilligt gå ind på Donér din stemme og donere deres stemme. For at donere sin stemme skal man:

• Være over 15 år gammel
• Oplyse sit fødselsår, dialekt, køn og postnummer

Herefter skal man læse små tekster op, som bliver optaget og gemt hos Donér din stemme. Et eksempel på en tekst kunne være: “Hver dag starter Mette sin runde i en af byens parker. Hun tjekker, om stierne er rene, og om der er brug for at beskære buske og træer.“

​Hvilken repræsentationsform?

• Diskuter i par, hvilken type repræsentation I mener Donér din stemme bør bruge til deres datasæt. Dækning eller miniature?

Pivot tabeller

I skal nu undersøge Donér din stemmes datasæt. I skal gøre det i et regneark med det, der hedder pivottabeller. Pivot-tabeller er meget brugbare, når man skal undersøge store datasæt. For at I kan lære Pivot-tabellerne at kende, skal I først prøve at bruge dem på et mindre datasæt.

Først skal I se en kort video, der forklarer, hvordan man bruger pivottabeller.

Hvis I bruger Microsoft Excel skal I se denne video

Hvis I bruger Google Sheets, skal I se denne video

Nu skal I prøve det, der blev vist i videoen. Download dette regneark og løs opgaverne. Gå endelig tilbage og se videoen igen, hvis I er i tvivl, eller brug den vejledning jeres lærer udleverer.

Undersøg datasættet fra Donér din stemme

Nu er I klar til at undersøge datasættet fra Donér din stemme. I skal bruge det, I har lært af eksempelopgaverne.

Download først regnearket med datasættet her:

Donér din stemme har testet en talegenkendelsesmodel hos OpenAI. For at undersøge, hvor godt den klarer sig, tæller de, hvor mange af ordene i en sætning modellen hører forkert, og udtrykker det som en fejl i procent. Dette ses i datasættet under kolonnen “Fejl%”.

I skal nu undersøge, hvor god modellen er til at forstå dansk, alt efter hvem der taler.

Del 6: Opsamling og afslutning

Ud fra det I har lært og de tanker I har gjort jer i dette forløb, skal I i klassen diskutere følgende:

• Hvorfor er det vigtigt at være opmærksom på repræsentativitet, når man vælger træningsdata til maskinlæring?
• Hvilke situationer kan opstå, hvis man ignorerer kravet om repræsentativitet?
• Hvad er i jeres øjne fordelene og ulemperne ved at bruge Pivot-tabeller, når man arbejder med meget store datasæt?​

Tak for denne gang!