Kennisatelier uitsluiting door geautomatiseerde systemen: ‘Een algoritme is zo objectief als uw favoriete recept’

De invloed van algoritmen en geautomatiseerde systemen is niet meer uit ons leven weg te denken. Als je op een avond via Netflix naar een romantische film hebt gekeken, krijg je de daarop volgende avonden allerlei suggesties van vergelijkbare films voorgeschoteld. Als je via Google zoekt naar leuke vakantiebestemmingen in het zuiden van Italië, krijg je vervolgens automatisch allerlei aanbiedingen uit dezelfde streek te zien. Ook als je allang besloten hebt om toch naar Zuid-Frankrijk te gaan en daar al iets geboekt hebt.

Onterechte fraudeverdenkingen

Dat automatische koppelingen ook schrijnende consequenties kunnen hebben, werd pijnlijk duidelijk door de kinderopvangtoeslagaffaire. Onterechte fraudeverdenkingen en institutionele vooringenomenheid binnen de Belastingdienst leidde tot discriminerende en onrechtmatige terugvorderingen van uitgekeerde kinderopvangtoeslagen. Na een lange fase van ontkenning, resulteerde de affaire uiteindelijk in het rapport ‘Ongekend onrecht’ van de Parlementaire ondervragingscommissie Kinderopvangtoeslag. Het voltallige kabinet Rutte III zag zich genoodzaakt om ontslag in te dienen.

Digitale transformatie

Universitair docent aan de Technische Universiteit in Delft, Cynthia Liem, opgeleid als musicus en informaticus, met ervaring in de zoekmachines- en de aanbevelingswereld, was de eerste spreker tijdens het kennisatelier. Liem begon met een waarschuwing: ‘Het ontbreken van precieze taal, als het gaat over algoritmes en artificial intelligence (AI), leidt vaak tot Babylonische spraakverwarringen. In essentie gaat het over datagedreven besluitvorming en over digitale transformatie’, aldus Liem. ‘Dat laatste is vooral een organisatievraagstuk en niet uitsluitend een technisch vraagstuk.’

Wat zijn algoritmes? Kunnen ze ook discriminerend werken? In deze video, gemaakt op basis van een KIS kennisatelier, introduceren we dit onderwerp.

Algoritme

Liem legt uit dat een algoritme eigenlijk niet meer en ook niet minder is dan een heldere procedure, een set regels om tot een bepaalde conclusie te komen, een recept, een protocol, een stappenplan. Groot voordeel van een geautomatiseerd systeem is de grote hoeveelheid data waarop je die algoritmes, die stappen, uit kunnen laten voeren. Een sorteerprobleem is een klassiek voorbeeld. Zo is het niet moeilijk om handmatig een serie van tien willekeurige cijfers op volgorde van klein naar groot te leggen, maar bij 10.000 cijfers is dat handmatig onbegonnen werk. Er zijn wel automatische procedures (algoritmes) te bedenken om dit snel en nauwkeurig te doen.

Onderschatting

Een tweede waarschuwing van Liem betreft dat niet moet worden onderschat hoe moeilijk het is om stappen, die op zich makkelijk uit te voeren zijn voor mensen, helder en eenduidig uit te schrijven. Ze illustreert dit aan de hand van het filmpje ‘Exact instructions challenge’, waarbij vader Josh Darnit zijn kinderen Johnna en Evan uitdaagt om hem schriftelijke instructies te geven voor het maken van een sandwich met pindakaas en jam. In het hilarische filmpje brengt hij zijn kinderen de wanhoop nabij door hun instructies letterlijk op te volgen. ‘Programmeurs’, aldus Liem, ‘worden niet zelden aan het werk gezet met zeer beperkte informatie, die vaak ook nog eens verre van precies is.’

Veel problemen zijn het gevolg van gebrek aan ontwerp

Tijdens haar online presentatie wordt er druk meegeschreven in de chat. Johan Groenen van Tiltshift, betrokken bij algoritmeregistratie, merkt op: ‘In mijn praktijk constateer ik dat designers/coders er vaak pas laat bij worden gehaald en dat ze vaak alleen worden ingezet om een al verzonnen oplossing om te zetten in een werkende code, in plaats van mee te denken over oplossingen voor het probleem. Veel problemen’, aldus Groenen, ‘komen voort uit ontwerpfouten, of beter nog: zijn het gevolg van gebrek aan ontwerp.’

Ook Liem geeft aan dat data vaak een reflectie zijn van een veel groter en complexer probleem. En ze vervolgt dat de aangeleverde data, op basis waarvan de besluitvorming moet gaan plaatsvinden, vaak georganiseerd is en aangeleverd wordt door onbewust vooringenomen mensen. Ze illustreert dit aan de hand van Computer Vision, het op geautomatiseerde wijze herkennen van beelden. Om dit te kunnen doen wordt vaak Machine Learning toegepast, waarbij systemen op grond van gegeven invoerdata en bijbehorende labels automatisch en routinematig de belangrijkste patronen tussen de data en de labels proberen te vinden.

Vertekenend beeld

Om veel beeldvoorbeelden te krijgen, is hierbij de afgelopen jaren veel gebruik gemaakt van publiek gedeelde foto’s op sociale media en het bredere Internet. Maar dit leidde vervolgens tot een vertekend beeld. Als je bijvoorbeeld  zoekt naar het concept ‘huwelijk’ of ‘bruid’’, vertelt Liem, ‘dan zullen de computermodellen geneigd zijn om met witte jurken aan te komen. Dat is niet hoe een huwelijk er noodzakelijkerwijs uitziet, maar dat is een natuurlijke vertekening die voortkomt uit het wereldbeeld dat overheerste tijdens het aquisitieproces, toen de database met invoerdata werd gevuld.’

‘Vaak zetten mensen machine learning in voor zaken die ze zelf niet goed begrijpen, alsof machines beter zouden functioneren dan mensen’, zegt Liem. ‘Maar technici zijn alleen goed in de technische kant van het verhaal. Een oplossing is nooit objectief en optimaal’, benadrukt ze, ‘maar altijd normatief’. En ze voegt toe: ‘Een algoritme is zo objectief als uw favoriete recept.’

Algoritmes zijn niet goed of slecht, het ligt aan de mensen die ze bouwen en gebruiken

Sanne Blauw schreef hierover in een artikel voor De Correspondent: ‘Algoritmes zijn te vergelijken met hamers. Je kunt er iemand de hersens mee inslaan, maar er ook een huis mee bouwen. Ze zijn niet inherent goed of slecht, het ligt aan de mensen die ze bouwen en gebruiken. Zij hebben blinde vlekken, overtuigingen en belangen.’

Spoorloos

Het doet denken aan de komische filmpjes ‘the computer says “no”’ van Little Brittain, waarin het blind volgen van geautomatiseerde logica tot absurde situaties leidde. De gedupeerde Kelly Lima kan er over meepraten. Door een fout van een gemeente werd haar dochter na haar 18e verjaardag bij de Belastingdienst in het systeem gezet als zijnde haar fiscale partner. Ze moest er eindeloos achteraan bellen, werd diverse malen doorverbonden. Medewerkers toonden zich weinig behulpvaardig, laat staat klantvriendelijk. ‘Sorry, maar dat zie ik niet in het systeem’ of ‘ik kan niet in het systeem’, kreeg ze regelmatig te horen. Ze werd van het kastje naar de muur gestuurd. De toeslag die ze ontving werd stopgezet. ‘Ik voelde me spoorloos’, verwoordt ze beeldend haar gevoel van machteloosheid. ‘Ik moest bedelen om hulp.’

Niene Oepkes, lang werkzaam geweest bij de gemeente Utrecht, benadrukt dat de overheid ondeelbaar is en bovendien een doorverwijzingsplicht heeft. Dus als iemand zich bij het ‘verkeerde loket’ meldt, moet de ambtenaar aangeven waar die persoon wel terecht kan met zijn of haar vraag.

Liem reageert dat het de vraag is of er in Lima’s geval een algoritme de boosdoener was, maar dat het veel voorkomt dat er in een efficiëntie slag dingen verloren gaan en dat als alles opgeknipt wordt in lokale verantwoordelijkheden het nogal eens voorkomt dat niemand meer het overzicht heeft en zich verantwoordelijk voelt voor het geheel.

Risicoprofielen

Jair Schalkwijk van Controle Alt Delete, een onafhankelijke organisatie die ervoor waakt dat wetshandhavers alle mensen in Nederland gelijk behandelen, belt in vanuit zijn auto. Schalkwijk komt de deelnemers aan het kennisatelier vertellen over de motie om het gebruik van discriminerende algoritmen te verbieden, die dit jaar aangenomen is door de Tweede Kamer. ‘Etnisch profileren komt voort uit bewuste vooroordelen bij wetshandhavers, onbewuste vooroordelen bij wetshandhavers en het gebruik van risicoprofielen, met name die profielen waar etniciteit onderdeel van uitmaakt’, aldus Schalkwijk. ‘Bij de Belastingdienst bijvoorbeeld was het hebben van een tweede nationaliteit opgenomen als officieel selectiecriterium om te bepalen of er een verhoogde kans was op fraude.’ Controle Alt Delete en ook Amnesty International adviseren de overheid dan ook om per direct te stoppen met het gebruik van etniciteit in risicoprofielen.

Racisme in algoritmes

Na de drie introducties worden alle virtueel aanwezigen verdeeld over kleinere groepjes om verder te discussiëren over een aantal specifieke vragen: Hoe voorkom je institutioneel racisme en wiens verantwoordelijkheid is het om het in algoritmes te voorkomen? Hoe kunnen we institutioneel racisme bij algoritmes signaleren? Hoe kan je organiseren dat er adequate maatregelen worden genomen na de eerste signalen? Waarom is het lastig om fouten te herstellen? Op welke manier kunnen gedupeerden het best ondersteund worden?

Algoritmes zijn duidelijk niet waardenvrij. Of mensen (onbedoeld) de dupe worden van een bepaald systeem is vaak moeilijk op voorhand vast te stellen. Tussentijdse evaluatiemomenten met de doelgroep en/of de gebruikers zijn essentieel om mistanden te kunnen detecteren. ‘In "mensgerichte AI" lijkt een contradictio in terminae schuil te gaan’, zegt Ilyaz Nasrullah, tot voor kort verbonden aan de Nederlandse AI Coalitie (NL AIC) en columnist voor Trouw. ‘Zo denken we klantenservice vaak te verbeteren door te automatiseren via bijvoorbeeld een chatbox, maar door het verwijderen van de menselijke schakel gaat er juist ook veel klantvriendelijke servicegerichtheid verloren.’

De aanname dat het automatiseren van processen automatisch leidt to meer efficiëntie en effectiviteit is gevaarlijk

Een afdelingsmanager Economie & Werk van de gemeente Veenendaal, vat de crux samen in de eenvoudige boodschap: ‘Stop niet met nadenken!’ De aanname dat het automatiseren van processen automatisch leidt tot meer efficiëntie en effectiviteit is gevaarlijk. Het belang van een gedegen kwaliteitscontrole neemt misschien wel juist toe. Die benodigde kwaliteitscontrole maakt dat automatiseren niet per definitie een goedkopere oplossing is.

Mensenwerk

Een informatieanalist bij de Sociale Verzekeringsbank (SVB), licht het initiatief ‘Garage de bedoeling’ toe. De garages zijn bedoeld voor het bespreken van die dossiers waarvan medewerkers zeggen: ‘Als ik in dit geval de wet toepas, dan krijg ik daar buikpijn van.’ In deze garages komen collega’s van verschillende afdelingen bijeen om naar een complex probleem te kijken vanuit ‘de bedoeling’: werken aan bestaanszekerheid en het vergroten van de eigen regie van de burger. Medewerkers krijgen hierbij naast de ‘letter’ ook meer beeld bij de ‘geest’ van de wet. Het financiële en het juridische perspectief is dikwijls sterker vertegenwoordigd dan het maatschappelijke. In de uitvoeringstoets van veel beleid ontbreekt nog te vaak de M van Maatschappij, Mens en Maatwerk. ‘Ideaal’, aldus de informatieanalist, ‘werken we met een high tech- & high touch-benadering: mensen moeten alles digitaal kunnen doen, maar als dat niet kan, dan moet er ook een mens te spreken zijn. The computer says no is onacceptabel. Het is uiteindelijk allemaal mensenwerk, bij misstanden moet kunnen worden ingegrepen.'

Tekst: Camie van der Brug

Afbeelding: Sem van der Wal