Kvalitetssikring af AI: Placér ansvar før skalering

Et menneske kan godkende hurtigt, mangle faglighed eller blive påvirket af et overbevisende output. Kontrollen virker kun, hvis personen kender kriterierne, har tid og data, kan opdage relevante fejl og har mandat til at sige stop.

Dell’Acquas eksperiment viste netop risikoen uden for den ujævne front: Adgang til AI kunne gøre dygtige deltagere mindre tilbøjelige til at løse en opgave korrekt. Navigating the Jagged Technological Frontier.

Beskriv korrekthed, fuldstændighed, anvendelighed, sikkerhed, fairness og sporbarhed for den konkrete opgave. Ikke alle dimensioner er lige vigtige hver gang. Et internt idéudkast og en afgørelse med konsekvens for en borger kræver forskellige kontroller.

Fastlæg stopkriterier: manglende kilde, følsomme data, lav sikkerhed, konflikt med faglig regel eller usædvanlig konsekvens.

Lav konsekvens og reversibilitet: stikprøver og læringslog. Mellem konsekvens: obligatorisk faglig gennemgang og dokumenterede kilder. Høj konsekvens: uafhængig vurdering, to-personers godkendelse eller forbud mod automatisk beslutning.

Kontrolniveauet skal kunne forklares ud fra risiko – ikke lederens generelle begejstring eller frygt.

Specialisten definerer faglige regler, Analysatoren designer tests, Afslutteren kontrollerer kritiske detaljer, og Koordinatoren placerer beslutningsretten. Hvis samme person producerer, tester og godkender, er uafhængigheden svag.

Belbin bruges til at se bidragsmønstret, men kompetence og formelt ansvar skal dokumenteres særskilt.

I Djøfs medlemsundersøgelse valgte 63 procent kvalitet, 62 procent datasikkerhed og 60 procent frigørelse af medarbejdertid som centrale AI-fokusområder. Tallene beskriver prioriteringer blandt de adspurgte ledere, ikke om deres kontroller faktisk virker. Djøf: AI og ledelse.

Et operationelt dashboard bør derfor vise fejltyper, stikprøver, eskaleringer, genarbejde og frigjort tid samlet. Ellers kan tidsgevinsten skjule en voksende kvalitetsgæld.

Registrér hvor fejlen opstod, hvorfor kontrollen fangede eller missede den, og hvilken ændring der følger: prompt, data, model, proces, kompetence eller stopkriterium. Mål ikke kontrollen på antal gennemgange, men på reduceret konsekvens og bedre kalibrering.

Definér hvad korrekt, anvendeligt, sikkert og etisk betyder i den konkrete opgave.

Begynd med at formulere den forskel, arbejdet med kvalitetssikring af AI skal skabe for en konkret kunde, leverance eller relation. Først derefter vælges proces, personer og opfølgning.

Indfør navngiven beslutningsejer, kildekontrol, stikprøver og tydelige stopkriterier.

1. Afgræns situationen Vælg en virkelig beslutning, leverance eller relation inden for kvalitetssikring af AI – ikke et generelt karaktertræk.

2. Definér resultatet Beskriv hvad kvalitetssikring af AI skal påvirke, inklusive kvalitet, rammer og hvorfor resultatet betyder noget.

3. Sammenlign fortolkninger Lad de involverede forklare, hvad de mener er vigtigst i situationen omkring kvalitetssikring af AI.

4. Undersøg motivationen Spørg hvad der giver energi, skaber modstand eller opleves som en risiko i kvalitetssikring af AI.

7. Følg effekten Vurder det konkrete mål for kvalitetssikring af AI, og justér valget på baggrund af observationer.

Når produktionen accelererer, bliver kontrol let en eftertanke eller en ny flaskehals.

Specialister kan motiveres af at beskytte faglighed, mens Opstarteradfærd søger tempo. Lederen skal gøre begge bidrag nødvendige og legitime.

Belbin fortæller ikke mekanisk, hvad en person er motiveret af i kvalitetssikring af AI. En Teamrolle beskriver observeret bidragsadfærd; motivation påvirkes også af værdier, erfaring, anerkendelse, relationer, ambition og livssituation. Supplér derfor profilen med samtale og observation i den aktuelle kontekst.

Person og adfærd Beskriv hvad der konkret blev gjort i situationen med kvalitetssikring af AI. Undgå at gøre et mønster til en fast identitet.

Intention og effekt Anerkend hvad personen forsøgte at beskytte eller skabe, men vurder bidraget på dets effekt på målet for kvalitetssikring af AI.

Naturlig styrke og nødvendigt bidrag Undersøg om den foretrukne adfærd er rigtig i kvalitetssikring af AI, om en håndterbar rolle skal aktiveres, eller om en kollega bør få plads.

I arbejdet med kvalitetssikring af AI gør disse skel det muligt at bevare værdifulde styrker uden at acceptere enhver anvendelse af dem. Samtalen bliver konkret: Hvad skete der, hvad prøvede vi at opnå, og hvad vælger vi næste gang?

Vælg kontrolniveau efter konsekvens, reversibilitet og datagrundlag – ikke efter generel begejstring eller frygt.