Racisme is ingebed in nieuwe technologieën, zegt socioloog Ruha Benjamin

‘Jij hebt koffie nodig,’ zegt Ruha Benjamin gedecideerd als ik haar ontmoet in de lobby van een hotel op een steenworp afstand van de Harvard-universiteit. Blijkbaar is het vroege uur van mijn gezicht te lezen. Benjamin verontschuldigt zich voor het tijdstip. Ze moet straks een trein halen naar Princeton, New Jersey, waar ze woont en werkt als hoofddocent African-American Studies aan Princeton University. Het zal een bliksembezoek aan het thuisfront worden, want Benjamin is bijna continu op reis om de boodschap van haar boek uit te dragen op conferenties en lezingen.

Race after Technology is een baanbrekende analyse van het structurele racisme dat diepgeworteld is in nieuwe technologieën – van algoritmen tot kunstmatige intelligentie en gezichtsherkenningssoftware.

De gruwelverhalen over software die zwarte mannen als gorilla’s herkende, zwarte atleten identificeerde als criminelen of vrouwen als een financieel risico kwalificeerde, zijn inmiddels bekend. Meestal worden ze lacherig beschreven als ‘foutjes’ in de software.

Ten onrechte, zegt Benjamin. Volgens de socioloog is racisme een fundamentele eigenschap van nieuwe technologieën. Daarom heeft ze haar boek de ondertitel The New Jim Code meegegeven, een verwijzing naar de Jim Crow-wetten, het geïnstitutionaliseerde structurele racisme dat in de zuidelijke staten van Amerika heerste en nog altijd voortleeft in het Amerikaanse strafrechtsysteem, ondanks het feit dat de burgerrechtenbeweging het in de jaren zestig ontmantelde.

Kwade opzet

Hoe verraderlijk The New Jim Code werkt, bleek onlangs uit een onderzoek naar voorspellende software die wordt gebruikt in de gezondheidszorg. De studie, gepubliceerd in Science met een commentaar van Ruha Benjamin, trok veel aandacht. Want wat bleek: de voorspelling over chronische patiënten die veel medische aandacht nodig hebben, was gebaseerd op discriminerende data.

Volgens het programma waren patiënten die extra hulp vereisten, patiënten die hoog scoorden op het kostenplaatje. Maar omdat de gezondheidszorg discrimineert tegen zwarte patiënten en zwarte Amerikanen daarom als ‘goedkope’ patiënten scoorden, sloot het voorspellende algoritme over de zorg aan chronische patiënten zwarte patiënten uit.

De researchers analyseerden het programma van één bedrijf, maar waarschuwden dat het wijdverbreide gebruik van algoritmen in de gezondheidszorg naar alle waarschijnlijkheid de zorg van miljoenen Amerikanen negatief beïnvloedt. Na de publicatie in Science beloofde het bedrijf de software te verbeteren door het aantal zwarte patiënten dat het algoritme kan identificeren te verdubbelen.

‘Mensen willen de discriminerende effecten van technologie niet toegeven, tenzij ze een racistische boeman kunnen aanwijzen.’

Hoe vaak dergelijke discriminatie voorkomt in algoritmen is onbekend. Het is ongebruikelijk dat wetenschappers zo diep kunnen doordringen in het hart van algoritmen omdat bedrijven hun data niet delen.

In een interview met The Washington Post over het onderzoek vertelde Benjamin dat het ‘haar opvalt hoe mensen nog steeds denken dat racisme alleen als zodanig kan worden benoemd als er kwade opzet in het spel is. Ze willen de discriminerende effecten van technologie niet toegeven, tenzij ze een racistische boeman kunnen aanwijzen die achter de schermen aan de touwtjes trekt’.

Van onderaf

De conferentie op Harvard waar Benjamin een lezing heeft gegeven, staat in het teken van een Afrikaans antwoord op de racistische elementen van technologie. Veel verder dan kritiek op westerse technologie kwam de discussie niet, merkte ik. Wat Benjamin direct toegeeft. ‘Het discours hierover begint net. Hoe bijvoorbeeld Afrikaanse waarden van gemeenschapszin in technologie kunnen worden ingebouwd, is nog heel onduidelijk. Maar het is belangrijk dat het gesprek hierover door wetenschappers uit Afrika en de Afrikaanse diaspora in Zuid-Amerika en de Caraïben wordt geïnitieerd.’

Ruha Benjamin zelf is de dochter van een Perzisch-Indiaanse moeder en een Afro-Amerikaanse vader. Ze werd geboren in India, verhuisde als driejarige naar Los Angeles, groeide op in Zuid-Carolina en studeerde zowel in de VS als in Zuid-Afrika. Als ik haar vraag of haar achtergrond haar werk heeft beïnvloed, zegt ze dat ze zelf niet weet hoe haar werk en haar persoonlijke geschiedenis van elkaar te scheiden zijn.

‘Misschien heeft het iets van doen met het gegeven dat ik de samenleving altijd vanuit een zuidelijk perspectief analyseer,’ zegt ze lachend als ze alle ‘zuidelijke’ locaties van haar jeugd opsomt, beginnend met de zwarte wijk South-East Los Angeles, waar ze woonde. ‘Ik ben gevormd door mijn herkomst en waar ik ben opgegroeid. Het heeft geleid tot een blik op de samenleving die kritisch is. Die de dingen van onderaf beziet. Alert op de ervaringen van mensen die niet profiteren. Wellicht daarom zie ik het als mijn missie om de beloften van een betere toekomst, dus ook de beloften van nieuwe technologie, kritisch te benaderen.’

Je begint je boek niet met algoritmen of artificiële intelligentie, maar met een hoofdstuk over persoonsnamen. Iets basaals als een naam blijkt de moeilijke materie van discriminatie door algoritmen begrijpelijk te maken.
‘Ieder mens heeft een naam. En iedereen kan begrijpen dat je door de ander beoordeeld kan worden op basis van je naam. Voor je iemand ontmoet, heeft die persoon zich een beeld gevormd van jou aan de hand van je naam. Over je achtergrond, je gender, nationaliteit of etniciteit. Je naam functioneert als een stukje code, een soort voorspellend algoritme. Vaak blijkt de voorspellende functie van de naam niet te kloppen als je elkaar ontmoet. Dat is in essentie wat er met nieuwe technologieën gebeurt.’

Intieme relatie met technologie

Ruha Benjamin werd zelf geconfronteerd met de geladenheid van naamkeuze toen ze een zoon kreeg. Het was kort na de terreuraanslagen op 11 september 2001, een tijd waarin anti-moslimgevoelens de vrije loop kregen in Amerika. Ze stond voor een dilemma: ze wilde haar zoon een Arabische naam geven die de familie van haar moeder zou eren. Maar was dat wel verantwoord? Zou ze haar zoon dan niet opzadelen met iets wat door de autoriteiten gebruikt zou kunnen worden om hem te profileren? Een Arabische naam voor een jongen die vanwege zijn huidskleur toch al een profiel had?

Ze beschrijft in haar boek hoe ze uiteindelijk voor twee Arabische voornamen koos. Op het geboortekaartje schreef ze: ‘Dit garandeert dat hij als hij later een vliegtuig neemt, extra ondervraagd zal worden.’

De anekdote typeert Benjamin. Ze is een wetenschapper die wil uitdagen. Toen ze drie jaar geleden aan de research voor haar boek begon, bereidde ze zich erop voor dat ze weerstand zou oproepen. ‘Ik dacht dat mensen zouden zeggen: “Ben je gek geworden, kom niet aan mijn smartphone”, of “Ik wil met oma op Facebook kletsen”, of wat dan ook. Mensen hebben zo’n intieme relatie met technologie, het is een onuitwisbaar deel van ons leven geworden. Dus toen ik begon met schrijven, dacht ik dat ik enorme barrières zou moeten overwinnen voor ik zelfs maar aan de discussie over racisme toe zou komen.’

Het pakte anders uit. Het lijkt alsof we onze naïviteit verloren hebben. De negatieve effecten van technologieën, hoe kwetsbare groepen benadeeld worden, zijn nu juist een hot topic.
‘Absoluut. Elke dag is er nieuws over discriminerende algoritmen. Juist daarom is het belangrijk dat we de onderliggende processen begrijpen. We worden nu teveel geobsedeerd door de nieuwste technologie waarvan vervolgens blijkt dat die discrimineert. We worden kwaad, de maker excuseert zich, past aan en de volgende dag is er weer een ander probleem.’

‘We worden kwaad, de maker excuseert zich, past aan en de volgende dag is er weer een ander probleem.’

‘Maar we moeten kijken naar de onderliggende oorzaken. Vragen stellen over de ontwerpen, de waarden waarmee ontwerpers aan de slag gaan. Dit gaat niet over hoe de ene of de andere technologie verbeterd kan worden. Het gaat over de totale relatie tussen samenleving en technologie.’

‘We kunnen onszelf niet langer beschouwen als consumenten die passief de vruchten van de technologie plukken: het rottende fruit dat ons ziek maakt of het zoete fruit waarvan we genieten. We moeten zien hoe het zaad wordt gezaaid, wie de grond bemest. We moeten onzeLees ookZo zorgen we dat kunstmatige intelligentie de wereld voor iederéén beter maakt1 februari 2020collectieve burgerlijke macht claimen in het ontwerp van nieuwe technologie, in plaats van alleen de ontvanger te zijn. Want dan kunnen we niet meer doen dan reageren, reageren op het laatste probleem, en morgen is er weer een nieuw probleem. Dit vergt een fundamentele heroriëntering van expertise en kennis.’

‘Als we blijven denken dat technologie objectief en neutraal is, een kwestie van technische kennis, dan hebben alleen de mensen met die kennis de macht en het recht om de vragen te stellen. Als we het als een maatschappelijk proces zien, dan heeft iedereen in de samenleving de verplichting en de verantwoordelijkheid om er kritisch over na te denken.’

Techlash

Dat vergt historisch besef, zegt Benjamin. Geautomatiseerde systemen zijn gevuld met data die niet neutraal zijn, maar historisch geladen. Neem bijvoorbeeld een voorspellend algoritme voor hypotheken. In de analoge maatschappij werden zwarte Amerikanen vaak gediscrimineerd als ze bij een bank aanklopten voor een hypotheek. In het digitale tijdperk zijn de algoritmen samengesteld op basis van de oudere, discriminerende data. Tenzij er correcties zijn ingebouwd, vereeuwigen die algoritmen de discriminatie. Erger nog: die discriminatie is moeilijk te bespeuren of te bestrijden omdat het zit ingebed in zogenaamd neutrale, objectieve technologie. Het principe van het hypotheekvoorbeeld is over een breed scala van terreinen te zien – van personeelszaken tot politiepraktijken. Overal waar geautomatiseerde systemen zoeken naar ‘risico’s’, blijkt dat mensen met een kleur en vrouwen oververtegenwoordigd zijn in de risicofactor.

Nu men zich meer bewust wordt van het discriminerende effect van geautomatiseerde systemen en voorspellende algoritmen, is de reactie: woede. Mensen beginnen techbedrijven te haten.

‘Er is al een woord voor: techlash. Een recente peiling van het Amerikaanse Pew Research Center vroeg naar het vertrouwen dat mensen hebben in belangrijke instituten. De daling van het vertrouwen in de tech-industrie was dramatisch. Toen ik het woord “techlash” hoorde, dacht ik: dat omschrijft het fenomeen.’

Niet iets wat je zelf had voorspeld?
‘Nee, absoluut niet.’

Is er een keerpunt aan te wijzen?
‘De controverse rond Cambridge Analytica, Facebook en de presidentsverkiezing van 2016 hebben een belangrijke rol gespeeld. Toen realiseerden mensen zich hoe groot de gevolgen kunnen zijn, dat het zelfs een presidentsverkiezing kan beïnvloeden. Dat was een “wow”-moment. Mensen voelden zich gemanipuleerd zonder precies te begrijpen hoe het werkte.’

Speelt China een rol in de techlash? Als een dystopisch rolmodel?
‘Ongetwijfeld. China is extreem, maar China is niet uniek. De technologie en de sociale controle gericht op een minderheidsgroep – moslims – zien we ook in andere landen. Niet in die vorm, niet zo extreem, maar elementen ervan zijn overal in de wereld te vinden. Ook in Amerika. Ik zie China niet als een apart geval, maar als een uiterste in het continuüm van onderdrukkende toepassingen van technologie op marginale groepen.’

‘Daarbij moeten we niet vergeten dat surveillance en sociale controle voor veel mensen positief uitvallen. Niet alleen door meer gemak, maar ook door het krediet dat je binnen het systeem opbouwt. Dat vertaalt zich in steun voor het systeem. Wij zeggen: wow, hoe kunnen Chinezen in zo’n systeem leven? Maar zolang grote groepen ervan profiteren, kan een overheid er mee wegkomen.’

‘Wij zeggen: wow, hoe kunnen Chinezen in zo’n systeem leven? Maar zolang grote groepen ervan profiteren, kan een overheid ermee wegkomen.’

In Amerika en in Europa zie ik wel steeds meer verzet. Er zijn nu zo’n vier, vijf steden waar gezichtsherkenningssoftware verboden is. San Francisco, het centrum van de tech-bedrijven, is er een van. Er liggen wetsvoorstellen om bedrijven te dwingen tot transparantie over de algoritmen die ze gebruiken. Ook de voorspellende technologie die de politie inzet, ligt onder vuur. Kan de overheid effectief optreden tegen geautomatiseerde besluitvorming?
‘Wet- en regelgeving kan helpen. Vooral als het zaken met een negatieve impact op onze vrijheden aanpakt, het recht op vrijheid van vergadering en vereniging bijvoorbeeld. Het is lastiger om nieuwe technologieën te reguleren die op het eerste gezicht zijn ingevoerd ter verhoging van de efficiëntie, zoals de voorspellende algoritmen in de gezondheidszorg, en waarvan vervolgens blijkt dat ze minderheidsgroepen discrimineren. Willen we dat voorkomen, dan hebben we een andere infrastructuur nodig die controleert vóórdat de nieuwe technologie de markt bereikt.’

‘Ik zou van de tech-industrie willen eisen dat ze bewijzen dat een ontluikende technologie een positieve bijdrage zal leveren aan de maatschappij, en dat ze geen schade zal aanrichten. Dat vergt een andere instelling van de tech-ontwerpers, -organisaties en -industrie. Toon aan, concreet en empirisch onderbouwd, dat wat je ontwikkelt meer doet dan alleen de efficiëntie verhogen. Toon aan dat de nieuwe technologie eerlijker en rechtvaardiger is dan de oude praktijken die het vervangt.’

Die verantwoordelijkheid ligt toch niet alleen bij de tech-industrie?
‘Nee. Absoluut niet.’

Dan moet er ook een mechanisme zijn om handhaving te controleren. Is dat de taak van de overheid?
‘Het moet een derde partij zijn die onafhankelijk opereert. Maar de realiteit is dat we in een tijd leven waarin de overheid haar regulerende functie verzaakt. Dat gaat gepaard met toenemend wantrouwen van burgers ten opzichte van de overheid. Alle instituten liggen op dit moment onder vuur. Dat kunnen we zien als een crisis of als een kans om na te denken over welk instituut een betrouwbare controleur zou kunnen zijn van technologie. Dat is de grote vraag.’

Waar moeten we beginnen? Zijn er indicaties dat belangengroepen binnen en buiten de tech-industrie openstaan voor het bredere debat?
‘Als academicus richt ik me primair op de opleidingen informatica. Ik streef ernaar historische en sociologische analyse deel uit te laten maken van het curriculum van jonge wetenschappers. Zodat ze, als ze later in de tech-industrie werken, instinctief de fundamentele vragen over technologie en discriminatie stellen. Het is niet zo eenvoudig om als socioloog de bètawetenschap binnen te dringen, maar het is bemoedigend om te zien dat sommige universiteiten zelf beseffen dat een uurtje ethiek niet volstaat.’

‘Er zijn studentenorganisaties die als model kunnen dienen. Ik denk aan White Coats for Black Lives, een organisatie van medische studenten die pleit voor grotere diversiteit op medische faculteiten en zich inzet voor medische training die kwesties van racisme en ongelijkheid integreert. Ze doen dit onder meer door een rapportcijfer uit te delen. Met een onderbouwing. Universiteit A, dit doe je goed, hier is ruimte voor verbetering, et cetera. Dit brengt de discussie terug naar het consumentenmodel waar we het eerder over hadden.’

‘Ik hoop dat zich op informatica-opleidingen iets dergelijks ontwikkelt, dat studenten zich gaan organiseren en van academische opleidingen gaan eisen dat ze een robuust curriculum ontwikkelen rond kwesties van discriminatie in nieuwe technologie. Binnen de tech-industrie is er ook verzet.’

‘Ik hoor steeds vaker over werknemers in de techsector die bezorgd zijn over de impact van tech op marginale groepen. Dat is een belangrijke en hoopgevende ontwikkeling. Dit zijn de mensen die nieuwe technologieën in een vroeg stadium zien en van hun werkgevers verantwoording eisen. Wij, als consumenten, kunnen hierin een rol spelen. De acties steunen. Eisen dat klokkenluiders beter beschermd worden met betere wetgeving.’

Daklozen fotograferen

Toen Benjamin hoorde over de stakingen bij Google en Microsoft, waar werknemers protesteerden tegen de samenwerking van hun werkgevers met de politie en de immigratiedienst, dacht ze aanvankelijk dat dit een spontaan protest was.

‘Inmiddels weet ik beter. Dit is georganiseerd van binnenuit. Maar het speelt zich af achter de schermen, ver van de publiciteit, verborgen voor de interne controle van de bedrijven. Zelfs werknemers die zijdelings bij de industrie betrokken zijn, komen in opstand. Onlangs kwam naar buiten dat Google zwarte daklozen in Atlanta fotografeerde voor een project om gezichtsherkenningstechnologie te verbeteren. Google had hiervoor een bedrijf in Atlanta ingehuurd dat werknemers de opdracht had gegeven daklozen te fotografen, want die zouden toch niet naar de media stappen. Maar de werknemers zelf vonden de opdracht zo exploiterend dat ze zelf naar de pers stapten. Met als gevolg dat Google zich genoodzaakt zag om het project te schrappen.’

Vragen stellen over her nut

Tenslotte, zegt Benjamin, komen we uit bij de hamvraag: is nieuwe technologie altijd de oplossing? Of moeten we strijden voor het behoud van wat we hebben?

‘De deelname van burgers in de discussie rond technologie kan ook betekenen dat we nieuwe technologische ontwikkelingen afwijzen. In het onderwijs, bijvoorbeeld. Daar zien we concrete voorbeelden van een techlash. Zowel van scholieren als van ouders. Zoals op een school in Brooklyn, waar scholieren massaal in staking gingen tegen een computeronderwijsmethode die de interactie met leraren tot twintig minuten per week beperkte. Of in een stadje in Kansas, waar ouders en scholieren in opstand kwamen tegen een schoolbestuur dat door Facebook ontwikkeld computeronderwijs inzette.’

‘Als we de publieke infrastructuur hadden om vóór de introductie van nieuwe technologie fundamentele vragen te stellen over het nut ervan, dan was het nooit zo ver gekomen. Dan hadden we in een vroeg stadium al onderkend dat we leraren meer moeten betalen in plaats van scholieren aan een scherm te kluisteren. Nu ondergaan we eerst de schade voor we in opstand komen. Dat is jammer. En pijnlijk. En iets wat we zelf kunnen en moeten voorkomen.’