Et ekte eksempel fra testbenken vår
I testsettet til Bildesjekk ligger et KI-generert portrett i kontoromgivelser – polert, naturlig, helt uten de klassiske KI-feilene. Da vi kjørte det gjennom ulike metoder, fikk vi dette:
En visuell KI-vurdering – en språkmodell som ser på bildet omtrent slik et menneske gjør – landet på et lavt utslag. En spesialisert pikseldetektor ga det samme bildet 99 av 100. Og et annet KI-bilde i settet, laget med en helt ny generator, fikk 0 av 100 hos en pikseldetektor som ellers traff godt.
Samme bilder, vilt forskjellige tall. Hvordan kan begge deler være «riktig målt»? Fordi de tre svarene kommer fra tre forskjellige spørsmål.
Ulike detektorer stiller ulike spørsmål
En visuell vurdering spør: «Ser dette ut som et KI-bilde?» Den er god på det et øye er godt på – rare skygger, umulige detaljer, KI-typisk stil. Men et KI-bilde uten synlige feil går rett forbi den, akkurat som det går forbi deg og meg.
En pikseldetektor spør: «Bærer disse pikslene mønstre fra en genereringsprosess?» Den ser ting intet øye ser – men bare mønstre som ligner dem den er trent på. En splitter ny generator lager mønstre den aldri har møtt, og da svarer den lavt. Ikke fordi bildet er ekte, men fordi spørsmålet dens ikke traff.
Legg til at detektorene er trent på ulikt materiale, til ulik tid, mot ulike generatorer – og sprikende tall slutter å være mystiske. To detektorer er to vitner som har sett hver sin del av verden.
Tre lærdommer du kan ta med deg
1. Lav score er aldri frikjenning. En detektor kan si «her fant jeg noe». Den kan aldri si «her finnes ingenting» – bare «jeg fant ikke noe av det jeg leter etter». Det er derfor Bildesjekk aldri bruker en lav detektorscore som bevis på at et bilde er ekte, og derfor «ligner ekte» er noe annet enn «bevist ekte».
2. Sprik er informasjon. Når to metoder er sterkt uenige, er det ikke støy som skal glattes over – det er et funn. Det betyr som regel at bildet ligger i en kategori der én av metodene er blind. Hos Bildesjekk utløser store sprik et eget varsel med råd om å undersøke videre, for eksempel med et omvendt bildesøk.
3. Enighet kan også lure. To detektorer trent på lignende materiale bommer gjerne på de samme bildene. At to tall peker samme vei, er bare betryggende hvis metodene bak er genuint forskjellige. Flere rader som sier det samme, er ikke flere bevis.
Derfor får du en tabell, ikke ett magisk tall
Dette er hele grunnen til at Bildesjekk viser en signaltabell i stedet for å koke alt ned til én prosent. Metadata, Content Credentials, visuell vurdering og pikselanalyse er ulike vitner med ulike blindsoner – og du fortjener å se hva hver av dem faktisk sa, ikke bare et gjennomsnitt som skjuler uenigheten. Et gjennomsnitt av et blindt og et seende vitne er ikke et halvseende vitne. Det er derfor pikselanalysen har sin egen rad i tabellen, og derfor vi er åpne om hva tjenesten kan og ikke kan.
Kort versjon: ikke stol blindt på ett tall fra én detektor – verken høyt eller lavt. Les tallene som vitneutsagn: hvem spurte om hva, og hva kan dette vitnet i det hele tatt se? Og husk at et skjermbilde gjør alle pikselvitner blinde på én gang.