AI Alliancen / Ugens nyhedsbrev
Uge 41 20265. okt. – 11. okt. 2026
Når gode AI-svar skal holde i praksis
Ugen peger på et fælles spørgsmål: Hvordan ved vi, at AI hjælper i den opgave, vi faktisk skal løse? Vi ser på kommunernes forventninger, læring hos medarbejdere, leverandørafhængighed og agenters adgang til data. Ugens begreb er AI-evaluering — med et tænkt kommunalt eksempel.
Du læser en tidligere udgave. Datoer og oplysninger afspejler den udgave. Læs den nyeste
Udvalgt fredag 9. oktober. Nyhederne er fra denne uge; viden rummer både nye metoder og en tydeligt dateret ældre NIST-kilde. Undersøgelser, politiske arbejdspapirer og leverandørerfaringer holdes adskilt fra målte kommunale effekter. Forslagene til jeres praksis er vores redaktionelle vurdering.
Det vigtigste at følge
Ugens nyheder
Perspektiver at tage med i arbejdet
Viden fra omverdenen
Sæt plads af i kalenderen
Kommende events
AI Alliancen · KL-huset · Weidekampsgade 10, København
AI Alliancen mødes hos KL
Netværksmøde for medlemmer og inviterede gæster. Ingen åben tilmelding; deltagelse aftales med netværket. Dagsorden følger på mødesiden.
VIA University College · Online · Microsoft Teams
Bliv klar til at bruge AI i offentlig administration
Gratis eksternt webinar om offentlig administration, åbent for alle interesserede. Tilmelding senest 19. oktober kræver ifølge VIA samtykke til mails om efteruddannelse, events og faglig inspiration.
KL · Videncenter Meetup · Online · Microsoft Teams
Kommunale fællesskaber om data og ny teknologi
Kræver Meetup-abonnement: 2.000 kr. årligt for en kommunal medarbejder eller 8.000 kr. for kommunen, ekskl. moms. Medarbejdere i en kommune med abonnement deltager uden ekstra deltagerbetaling. Se vilkår og tilmelding hos KL.
Tidspunkter er dansk tid. Eksterne events afholdes af de nævnte arrangører. Tjek deres aktuelle program og vilkår. Se hele kalenderen
Ugens begreb / Forklaret ordentligt
AI-evaluering
AI-evaluering er en systematisk undersøgelse af, hvordan et AI-system klarer bestemte opgaver efter på forhånd valgte kriterier. Den skal hjælpe os med at afgøre, hvor systemet kan bruges, og hvad vi endnu ikke ved.
En god demonstration viser ét vellykket forløb. En evaluering undersøger også almindelige, svære og uventede situationer. Derfor starter arbejdet med opgaven: Skal AI hjælpe med at gøre breve forståelige, finde oplysninger eller bruge et værktøj? Det er forskellige spørgsmål, som kræver forskellige prøver.
En testscore gælder de opgaver og betingelser, der er undersøgt. NIST skelner mellem præstationen på et fast testsæt og en vurdering af præstationen på lignende nye opgaver. Sidstnævnte kræver antagelser og en beskrivelse af usikkerheden. En lille forskel mellem to systemer er ikke automatisk et sikkert grundlag for at vælge det ene.
Et sprogmodelforløb kan beskrives med et sæt opgaver, en måde at løse dem på og en måde at bedømme resultatet på; det er blandt andet den opdeling, AISI's Inspect bruger. Hvis systemet er en agent, bør vi også undersøge forløbet: Hvilke oplysninger blev læst, hvilke værktøjer blev brugt, og hvor kunne et menneske stoppe arbejdet?
En AI-model kan hjælpe med at bedømme svar, men dens bedømmelser kan også være forkerte. Vigtige vurderinger bør efterprøves af mennesker med faglig indsigt. Dokumentér modelversion, instruktioner, kilder og værktøjer, så ændringer kan undersøges igen. Det er systemet i sin konkrete sammenhæng, vi vurderer, ikke bare et modelnavn.
Opgaverne
Vælg eksempler, der ligner arbejdet, og medtag situationer, hvor systemet bør bede om hjælp. Hold nogle opgaver tilbage, mens I forbedrer løsningen.
Kriterierne
Aftal, hvad et godt svar skal opfylde: korrekt indhold, forståeligt sprog og bevarede frister. Angiv alvorlige fejl særskilt; de må ikke skjules i et gennemsnit.
Gennemførelsen
Kør den samme afgrænsede prøve på de versioner, I vil sammenligne. Gem input, svar og relevante log. Undersøg variation og registrér tidsforbrug og omkostninger.
Vurderingen
Gennemgå konkrete fejl og usikkerhed. Beskriv, hvad testen viser, hvad den ikke dækker, og hvilke opgaver der stadig kræver menneskelig kontrol.
Tænkt kommunalt eksempel
Kan AI gøre et borgerbrev lettere at forstå?
Et tænkt kommunalt team vil afprøve AI som hjælp til medarbejderes sproglige omskrivning. Systemet skal ikke træffe afgørelser eller sende breve automatisk. Tallene nedenfor er eksempler på en lille indledende prøve, ikke resultater fra en virkelig kommune.
- Lav 30 helt fiktive breve uden personoplysninger. Medtag både korte og svære breve, manglende oplysninger, beløb, frister og tekst, der prøver at få modellen til at ændre sin opgave.
- Brug 20 breve til udvikling, og hold 10 nye breve uden for den løbende tilpasning. Aftal krav, før I ser svarene: betydningen skal bevares, og beløb og frister må ikke ændres eller opfindes.
- Afprøv de valgte versioner på de samme tilbageholdte breve, gerne flere gange. Gem input, output, model- og instruktionsversion samt tid og omkostninger. Bed to fagpersoner bedømme svar uden at kende systemets navn.
- Sammenlign forståelighed, faktuelle fejl og uenighed mellem bedømmerne. Ét ændret beløb er en konkret fejl, som skal undersøges; det forsvinder ikke, fordi andre svar er gode.
- Tilpas løsningen, og prøv derefter på andre nye eksempler. Beskriv begrænsningerne, og behold medarbejderens kontrol før brug. En lille prøve kan begrunde næste undersøgelse, men kan ikke bevise, at alle fremtidige breve bliver korrekte.
Faldgruben er at gøre en gennemsnitlig score til en generel godkendelse. Se på fejltyper, opgavernes bredde og usikkerheden. Evaluering erstatter ikke en særskilt vurdering af hjemmel, databeskyttelse, sikkerhed eller ansvar.
Kilder bag forklaringen
Forklaringen bygger på kilderne nedenfor. Det kommunale eksempel er vores egen illustration, ikke en beskrivelse af virkelig drift eller målte resultater.
Redaktionelt udvalg og forklaring: AI Alliancen · Udarbejdet med AI-assistance og kildekontrol. Offentlige anvendelser er redaktionelle forslag, ikke målte effekter eller juridisk godkendelse.