SXSW2024

Door Kitty Leering

Een van de sessies tijdens SXSW 2024 waar ik reikhalzend naar uitkeek was de sessie met Joy Buolamwini. Buolamwini is het multi-getalenteerde, activistische schaap met de vijf(-tig?) poten. In alles wat ze doet, richt ze zich op het adresseren en identificeren van vooroordelen ingebed in de softwarecode en AI toepassingen die wereldwijd wordt ingezet, en op het belichten van de schadelijke implicaties hiervan voor mens en maatschappij. 

Dat doet ze onder andere als computer wetenschapper en onderzoeker bij MIT Medialab, als digitaal activiste, als kunstenaar, als oprichter van de Algorithmic Justice League, als dichter, als film- en documentairemaker ('Code4Rights', 'Algorithmic Justice League: Unmasking Bias' en 'The Coded Gaze'), als documentaire onderwerp (The Coded Bias), als ondernemer, en als bestselling auteur van 'Unmasking AI: My Mission to Protect What Is Human in a World of Machines'. Buolamwini heeft bovendien een indrukwekkende lijst aan awards en benoemingen op haar naam staan. Maar haar belangrijkste prestatie wellicht, is dat haar werk daadwerkelijk veranderingen teweeg heeft gebracht in het software design en de integratie van ethische overwegingen in product ontwikkeling en product marketing van techgiganten zoals IBM, Google, Amazon en Microsoft. 

Oh ja: én ze is nog geen 35 jaar oud. Superhelden materiaal dus. Marvel, eat your heart out.

Gebrekkige software

Voor haar onderzoek 'Gender Shades' testte ze hoe accuraat diverse soorten gezichtsherkenningssoftware van grote techbedrijven waren. De resultaten toonden aan dat alle pakketten de grootste moeite hadden (en hebben) met het correct identificeren van vooral bruine en zwarte vrouwen. Een groot aantal van hen werd geclassificeerd als man. Deze zogenaamd slimme software die essentiële beslissingen moet kunnen sturen (paspoortcontrole, identificatie criminelen, toegang tot bankrekeningen, etc.) was duidelijk nog lang niet klaar om toegepast te worden in de echte maatschappij.

Ondertussen is de hoeveelheid data die de algoritmen voedt dramatisch verhoogd. Hoe meer gezichten er ingaan, deste groter is de kans dat het juiste exemplaar er aan de andere kant uitkomt. Griezelig genoeg is het een commercieel bedrijf dat nu achter de allergrootste biometrische database in de wereld zit. Bijna alle veiligheidsdiensten (inclusief politie) maken er gebruik van. Clearview AI pocht op haar website dat ze over meer dan 40 miljard foto's beschikt. Aangezien we nu op een wereldbevolking van ongeveer 8 miljard zitten, kun je gerust stellen dat bijna iedereen in die database zit.

Ondanks die enorme hoeveelheid informatie maakt gezichtsherkenningssoftware (en andere biometrische algoritmen) nog steeds grove fouten. De gevallen met desastreuze gevolgen voor de mensen die ermee te maken krijgen, zien we regelmatig in het nieuws. De iets minder ernstige gevallen, zoals mensen die hun huis niet meer inkomen, of hun boodschappen niet kunnen betalen, zien we veelal niet eens. Toch wordt deze software grootschalig toegepast in scholen, ontelbare publieke ruimten en minstens 400 vliegvelden alleen al in Amerika.

Wie wint en wie verliest?

Is de oplossing niet dat we vooroordelen proberen uit te roeien? Tsja, zegt Buolamwini, dan moeten we de hele mensheid opgeven. Bias is inherent aan ons en aan ieder proces waar keuzes gemaakt moeten worden. Zo geeft ze aan dat een van de AI systemen die haar in haar eigen onderzoek niet herkenden, door haarzelf was geprogrammeerd. Het gaat dus niet alleen om de individuele ontwikkelaars zelf, maar ook over de culturele context, over hoe 'dingen altijd zijn gedaan' en de bestaande systemen waar 'iedereen nu eenmaal mee werkt'. 

Is een gelijkwaardige AI dan uberhaupt wel mogelijk (of zelfs wenselijk)? Misschien is dat niet de juiste vraag. In plaats daarvan pleit Buolamwini ervoor dat we de intentie en de context altijd duidelijk maken. We moeten veel specifieker worden over hoe we schade minimaliseren door altijd te vragen wie er bevoordeeld en wie benadeeld wordt. Bovendien is algoritmische hygiene complex en nooit klaar. De wereld verandert continue, en die verandering moet zich vertaald zien in de gebruikte algoritmen. Dat betekent dat je nooit klaar bent. Culturele audits moeten op regelmatige basis worden uitgevoerd.

Iedereen mogelijk de pineut

Ook mijn (en jouw) biometrische data zit hoogstwaarschijnlijk in de Clearview AI database, ofschoon ik daar nooit bewust toestemming voor heb gegeven. En ik heb geen idee of en hoe ik ervoor kan zorgen dat ik daar weer uitgehaald wordt. En dat is een van de doelstellingen van de Algorithmic Justice League (AJL): de organisatie ontwikkelt campagnes om het brede publiek te informeren wat er gebeurd met hun data, wat ze daartegen kunnen doen, en hen zo te wapenen tegen ongewenst ge- of misbruik. Zo ben je bijvoorbeeld niet wettelijk verplicht is om biometrische informatie (foto en vingerafdruk) af te geven bij binnenkomst in Amerika. En je hebt het recht om jouw data ten alle tijden te laten verwijderen. Voor mensen die al schade hebben ondervonden van AI systemen, wijst AJL ook de weg naar mogelijke oplossingen.

Het gaat daarbij niet meer alleen om minderheidsgroeperingen. Met de wijde verspreiding van generatieve AI is iedereen 'game'. Ook (of juist?) beroemdheden als Tom Hanks die in een fake campagne reclame leek te maken voor een crypto product, en superster Taylor Swift, wiens deepfake naaktfoto's plotseling viraal gingen. De robocalls campagne met de fake stem van president Joe Biden, die stemmers in een geautomatiseerd belletje opriep om niet te stemmen, benadrukt nog maar eens hoeveel invloed de steeds geavanceerdere deepfake mogelijkheden kunnen hebben op de toekomst van hele naties. Zeker in een jaar als 2024, waarin de burgers van 64 landen naar de stembus gaan.

Joy noemde ChatGPT2 al in haar dissertatie. Iedereen die niet pas recentelijk een 'AI expert' is geworden, waarschuwde al jaren geleden voor de gevaren. 

Bezint eer ge begint

Ok. We begrijpen wat er mis is. Maar als we bias niet kunnen uitroeien en deepfakes niet kunnen tegenhouden, hoe gaan we dan verder? Buolamwini pleit voor meer maatwerk en specificiteit. In plaats te streven naar massieve, monogame systemen, zouden we bijvoorbeeld ook een ecosysteem van kleinere LLM's kunnen bouwen waarin meer talen dan alleen Engels een plek vinden, en meer culturele perspectieven dan alleen dat van hoogopgeleide, Westers georienteerde mannen.

Daarnaast is er natuurlijk regelgeving. Buolamwini prijst de EU AI act, niet omdat die perfect zou zijn, maar als een goed startpunt. In ieder geval is er goed nagedacht en basisregelgeving gerealiseerd. Net zoals rondom crypto eerder. De US zou moeten leren van het werk dat op dat vlak al is gedaan. Daarnaast roept ze bedrijven en organisaties op om niet in dezelfde FOMO te trappen als indertijd met apps en social media. Ale je bang bent om de boot te missen, vraag jezelf eerst af wat het is dat je verwacht te winnen door AI te adopteren. En wat wijst erop dat je die waarde daadwerkelijk kunt waarmaken. Het is verleidelijk te denken dat taken en bedrijfsonderdelen waar je weinig van weet, makkelijk te automatiseren zijn. Contempleer de onbedoelde gevolgen voordat je mensen of processen vervangt door AI.

Buolamwini gelooft niet in de effectiviteit van naming and shaming. In plaats daarvan hangt ze een naming and changing strategie aan. We hoeven digitale ontmenselijking niet te accepteren. We hebben een stem en de mogelijkheid om te kiezen. Laten we van allebei ruimschoots gebruik maken. 

Buolamwini stelt niet teleur. Het uur vliegt voorbij en wat wordt besproken, is wellicht niet allemaal supernieuw, maar wel allemaal superrelevant. Dit waren slechts mijn highlights. Als je haar volledige talk/interview wil zien of alleen horen, dan kan ik dat ten zeerste aanraden.