Hva er et testsett for AI – og hvorfor trenger dere et?

Et testsett er en samling ekte eksempler fra deres egen virksomhet, med det riktige svaret på hvert av dem. Det brukes til å måle hvor godt en AI-løsning faktisk treffer, før den tas i bruk og hver gang noe endres.

Hvorfor det er viktig

• Modeller endres. Leverandøren kan bytte eller oppdatere modellen, og svarene kan bli annerledes uten at dere har gjort noe.
• Dataene endres. Kunder, produkter og prosesser forandrer seg over tid.
• Dere vil bytte modell. Nye og billigere modeller kommer hele tiden. Med et testsett kan dere teste et bytte på en dag.

Uten et testsett merker man ofte feilen først når en kunde klager.

Slik lager dere et

1. Samle 50–200 ekte eksempler fra den oppgaven løsningen skal gjøre.
2. Skriv ned det riktige svaret på hvert av dem, gjerne sammen med dem som gjør jobben i dag.
3. Ta med de vanskelige tilfellene, ikke bare de enkle.
4. Kjør testsettet før lansering, ved hver endring, og med jevne mellomrom.
5. Mål både treffsikkerhet og kostnad, og hvor mange saker som må til et menneske.

Den nye kildekoden

Modeller og kode blir stadig lettere å bytte ut. Det som ikke kan byttes ut, er kunnskapen om hva «godt nok» betyr hos dere. Et godt testsett er en verdi som vokser for hver måned dere bygger på det.

---

Vil dere ha hjelp til å bygge et testsett for en AI-løsning dere bruker i dag? Ta kontakt.