Hallucinaties

van AI

tech | OpenAI via Ben Evans | 5 sep 25

Als een AI met grote stelligheid een antwoord geeft dat 100% fout is, noemen we dat hallucinatie. Studie van OpenAI zegt: 'Dat komt doordat de evaluatiemethodes de verkeerde prikkels geven. De meeste evaluaties meten de prestaties van een 'model' (een AI) op een manier die gokken beloont, en eerlijke twijfel niet.'

Vergelijk het met een multiple choice test: als je het antwoord niet weet kun je geen antwoord geven, en dan weet je zeker dat je nul punten krijgt. Als je daarentegen gokt, heb je altijd een kans dat je geluk hebt.

Er zijn al een heleboel 'scoreborden' die zich hierop hebben aangepast. Twijfel wordt beloond met extra punten, bluffen gestraft met puntenaftrek. Maar dat is niet voldoende, zeggen deze onderzoekers. Alle scoreborden lijken op elkaar, en ze evalueren allemaal op accuratesse. Dat moet anders, anders blijf je gokken belonen.

Hoe dan anders? Als accuratesse niet het criterium is, of niet het enige, wat dan wel? Tja, dat zeggen ze er niet bij.