\u2018Jij hebt koffie nodig,\u2019 zegt Ruha Benjamin gedecideerd als ik haar ontmoet in de lobby van een hotel op een steenworp afstand van de Harvard-universiteit. Blijkbaar is het vroege uur van mijn gezicht te lezen. Benjamin verontschuldigt zich voor het tijdstip. Ze moet straks een trein halen naar Princeton, New Jersey, waar ze woont en werkt als hoofddocent African-American Studies aan Princeton University. Het zal een bliksembezoek aan het thuisfront worden, want Benjamin is bijna continu op reis om de boodschap van haar boek uit te dragen op conferenties en lezingen.<\/p>\n
Race after Technology <\/span><\/a>is een baanbrekende analyse van het structurele racisme dat diepgeworteld is in nieuwe technologie\u00ebn \u2013 van algoritmen tot kunstmatige intelligentie en gezichtsherkenningssoftware.<\/p>\n De gruwelverhalen over software die zwarte mannen als gorilla\u2019s herkende, zwarte atleten identificeerde als criminelen of vrouwen als een financieel risico kwalificeerde, zijn inmiddels bekend. Meestal worden ze lacherig beschreven als \u2018foutjes\u2019 in de software.<\/p>\n Ten onrechte, zegt Benjamin. Volgens de socioloog is racisme een fundamentele eigenschap van nieuwe technologie\u00ebn. Daarom heeft ze haar boek de ondertitel The New Jim Code<\/em> meegegeven, een verwijzing naar de Jim Crow-wetten, het ge\u00efnstitutionaliseerde structurele racisme dat in de zuidelijke staten van Amerika heerste en nog altijd voortleeft in het Amerikaanse strafrechtsysteem, ondanks het feit dat de burgerrechtenbeweging het in de jaren zestig ontmantelde.<\/p>\n Hoe verraderlijk The New Jim Code<\/span> werkt, bleek onlangs uit een onderzoek naar voorspellende software die wordt gebruikt in de gezondheidszorg. De studie, gepubliceerd in Science <\/span>met een commentaar van Ruha Benjamin, trok veel aandacht. Want wat bleek: de voorspelling over chronische pati\u00ebnten die veel medische aandacht nodig hebben, was gebaseerd op discriminerende data.<\/p>\n Volgens het programma waren pati\u00ebnten die extra hulp vereisten, pati\u00ebnten die hoog scoorden op het kostenplaatje. Maar omdat de gezondheidszorg discrimineert tegen zwarte pati\u00ebnten en zwarte Amerikanen daarom als \u2018goedkope\u2019 pati\u00ebnten scoorden, sloot het voorspellende algoritme over de zorg aan chronische pati\u00ebnten zwarte pati\u00ebnten uit.<\/p>\n De researchers analyseerden het programma van \u00e9\u00e9n bedrijf, maar waarschuwden dat het wijdverbreide gebruik van algoritmen in de gezondheidszorg naar alle waarschijnlijkheid de zorg van miljoenen Amerikanen negatief be\u00efnvloedt. Na de publicatie in Science<\/span> beloofde het bedrijf de software te verbeteren door het aantal zwarte pati\u00ebnten dat het algoritme kan identificeren te verdubbelen.<\/p>\n \u2018Mensen willen de discriminerende effecten van technologie niet toegeven, tenzij ze een racistische boeman kunnen aanwijzen.\u2019<\/p><\/blockquote>\n Hoe vaak dergelijke discriminatie voorkomt in algoritmen is onbekend. Het is ongebruikelijk dat wetenschappers zo diep kunnen doordringen in het hart van algoritmen omdat bedrijven hun data niet delen.<\/p>\n In een interview met The<\/em> Washington Post<\/span> <\/a>over het onderzoek vertelde Benjamin dat het \u2018haar opvalt hoe mensen nog steeds denken dat racisme alleen als zodanig kan worden benoemd als er kwade opzet in het spel is. Ze willen de discriminerende effecten van technologie niet toegeven, tenzij ze een racistische boeman kunnen aanwijzen die achter de schermen aan de touwtjes trekt\u2019.<\/p>\n De conferentie op Harvard waar Benjamin een lezing heeft gegeven, staat in het teken van een Afrikaans antwoord op de racistische elementen van technologie. Veel verder dan kritiek op westerse technologie kwam de discussie niet, merkte ik. Wat Benjamin direct toegeeft. \u2018Het discours hierover begint net. Hoe bijvoorbeeld Afrikaanse waarden van gemeenschapszin in technologie kunnen worden ingebouwd, is nog heel onduidelijk. Maar het is belangrijk dat het gesprek hierover door wetenschappers uit Afrika en de Afrikaanse diaspora in Zuid-Amerika en de Cara\u00efben wordt ge\u00efnitieerd.\u2019<\/p>\n Ruha Benjamin zelf is de dochter van een Perzisch-Indiaanse moeder en een Afro-Amerikaanse vader. Ze werd geboren in India, verhuisde als driejarige naar Los Angeles, groeide op in Zuid-Carolina en studeerde zowel in de VS als in Zuid-Afrika. Als ik haar vraag of haar achtergrond haar werk heeft be\u00efnvloed, zegt ze dat ze zelf niet weet hoe haar werk en haar persoonlijke geschiedenis van elkaar te scheiden zijn.<\/p>\n \u2018Misschien heeft het iets van doen met het gegeven dat ik de samenleving altijd vanuit een zuidelijk perspectief analyseer,\u2019 zegt ze lachend als ze alle \u2018zuidelijke\u2019 locaties van haar jeugd opsomt, beginnend met de zwarte wijk South-East Los Angeles, waar ze woonde. \u2018Ik ben gevormd door mijn herkomst en waar ik ben opgegroeid. Het heeft geleid tot een blik op de samenleving die kritisch is. Die de dingen van onderaf beziet. Alert op de ervaringen van mensen die niet profiteren. Wellicht daarom zie ik het als mijn missie om de beloften van een betere toekomst, dus ook de beloften van nieuwe technologie, kritisch te benaderen.\u2019<\/p>\n Je begint je boek niet met algoritmen of artifici\u00eble intelligentie, maar met een hoofdstuk over persoonsnamen. Iets basaals als een naam blijkt de moeilijke materie van discriminatie door algoritmen begrijpelijk te maken. Ruha Benjamin werd zelf geconfronteerd met de geladenheid van naamkeuze toen ze een zoon kreeg. Het was kort na de terreuraanslagen op 11 september 2001, een tijd waarin anti-moslimgevoelens de vrije loop kregen in Amerika. Ze stond voor een dilemma: ze wilde haar zoon een Arabische naam geven die de familie van haar moeder zou eren. Maar was dat wel verantwoord? Zou ze haar zoon dan niet opzadelen met iets wat door de autoriteiten gebruikt zou kunnen worden om hem te profileren? Een Arabische naam voor een jongen die vanwege zijn huidskleur toch al een profiel had?<\/p>\n Ze beschrijft in haar boek hoe ze uiteindelijk voor twee Arabische voornamen koos. Op het geboortekaartje schreef ze: \u2018Dit garandeert dat hij als hij later een vliegtuig neemt, extra ondervraagd zal worden.\u2019<\/p>\n De anekdote typeert Benjamin. Ze is een wetenschapper die wil uitdagen. Toen ze drie jaar geleden aan de research voor haar boek begon, bereidde ze zich erop voor dat ze weerstand zou oproepen. \u2018Ik dacht dat mensen zouden zeggen: \u201cBen je gek geworden, kom niet aan mijn smartphone\u201d, of \u201cIk wil met oma op Facebook kletsen\u201d, of wat dan ook. Mensen hebben zo\u2019n intieme relatie met technologie, het is een onuitwisbaar deel van ons leven geworden. Dus toen ik begon met schrijven, dacht ik dat ik enorme barri\u00e8res zou moeten overwinnen voor ik zelfs maar aan de discussie over racisme toe zou komen.\u2019<\/p>\n Het pakte anders uit. Het lijkt alsof we onze na\u00efviteit verloren hebben. De negatieve effecten van technologie\u00ebn, hoe kwetsbare groepen benadeeld worden, zijn nu juist een hot topic. \u2018We worden kwaad, de maker excuseert zich, past aan en de volgende dag is er weer een ander probleem.\u2019<\/p><\/blockquote>\n \u2018Maar we moeten kijken naar de onderliggende oorzaken. Vragen stellen over de ontwerpen, de waarden waarmee ontwerpers aan de slag gaan. Dit gaat niet over hoe de ene of de andere technologie verbeterd kan worden. Het gaat over de totale relatie tussen samenleving en technologie.\u2019<\/p>\n \u2018We kunnen onszelf niet langer beschouwen als consumenten die passief de vruchten van de technologie plukken: het rottende fruit dat ons ziek maakt of het zoete fruit waarvan we genieten. We moeten zien hoe het zaad wordt gezaaid, wie de grond bemest. We moeten onzeKwade opzet<\/h5>\n
Van onderaf<\/h5>\n
\n<\/em>\u2018Ieder mens heeft een naam. En iedereen kan begrijpen dat je door de ander beoordeeld kan worden op basis van je naam. Voor je iemand ontmoet, heeft die persoon zich een beeld gevormd van jou aan de hand van je naam. Over je achtergrond, je gender, nationaliteit of etniciteit. Je naam functioneert als een stukje code, een soort voorspellend algoritme. Vaak blijkt de voorspellende functie van de naam niet te kloppen als je elkaar ontmoet. Dat is in essentie wat er met nieuwe technologie\u00ebn gebeurt.\u2019<\/p>\nIntieme relatie met technologie<\/h5>\n
\n<\/em>\u2018Absoluut. Elke dag is er nieuws over discriminerende algoritmen. Juist daarom is het belangrijk dat we de onderliggende processen begrijpen. We worden nu teveel geobsedeerd door de nieuwste technologie waarvan vervolgens blijkt dat die discrimineert. We worden kwaad, de maker excuseert zich, past aan en de volgende dag is er weer een ander probleem.\u2019<\/p>\n