‘Verdenkingsmachine’

'Verdenkingsmachine'

De software die ambtenaren in Rotterdam hielp om te beslissen welke uitkerings-ontvangers verdacht zijn, was volgebouwd met vooroordelen. Het algoritme was ‘getraind’ op 12.700 dossiers van mensen die door de gemeente in het verleden waren verdacht van fraude; de helft daarvan was onschuldig. Door deze groep te gebruiken – die is ontstaan door individuele, willekeurige keuzes van vervolgingsambtenaren – zijn vooroordelen vanaf het begin ingebakken. En omdat het een ‘zelflerend’ algoritme is (machine learning), worden die vooroordelen versterkt. Dat zegt tijdschrift Wired, dat samen met Lighthouse Reports middels een WOB-verzoek de code van het algoritme heeft gekregen, en vervolgens geanalyseerd. ‘Risico-score algoritmes krijgen vaak het verwijt dat ze niks anders doen dan vooroordelen in code te verpakken. Maar dat is moeilijk te bewijzen. Maar als je de code hebt, en de data waarmee hij werkt, kun je het proces (van de risico-analyse, dB) analyseren,’ schrijft Wired. Het noemt het algoritme ‘een verdenkingsmachine.’

Wired zegt dat het tientallen steden, in diverse landen, heeft benaderd die algoritmes gebruiken om bijstandsmisbruik op te sporen, en dat Rotterdam de enige was die  bereid was om de code aan de journalisten te geven.

Hoe werkt het? Er zijn 30.000 ontvangers van enige steun in Rotterdam. Slechts de meest riskante 10%, dus 3.000 mensen, loopt kans een bezoek van een inspecteur te krijgen. Hoe kom je in de top-10? Er zijn 315 variabelen, maar het algoritme is geïnstrueerd om bepaalde variabelen zwaarder te wegen als ze in combinatie met andere variabelen verschijnen. Als je een vrouw bent, als Nederlands niet je eerste taal is, als je net bent gescheiden na een lange relatie, als je kinderen hebt, of als de bezoekende ambtenaar vindt (subjectief) dat je niet hard genoeg naar werk zoekt, dan is die combinatie meestal genoeg voor een plek in de top 10%. Natuurlijk, discrimineren op basis van geslacht of etnische afkomst mag niet – maar is het illegaal om dit soort data aan een algoritme te voeren? ‘Nederlandse rechtspraak is op dit moment bezig dat te beslissen,’ zegt Wired.

Het artikel laat met veel voorbeelden zien hoe de software tot verkeerde conclusies leidt.

Het algoritme, ontwikkeld door Accenture, werd in 2017 door Rotterdam in gebruik genomen en in 2021 door de gemeente opgeschort.