Wie is er nog vruchtbaar?

Columns van de week

Teun van de Keuken en Amber Wiznitzer

Analyse

<div class="info-box">
<p><iframe src="https://w.soundcloud.com/player/?url=https%3A//api.soundcloud.com/tracks/904700935%3Fsecret_token%3Ds-TPismEiMGTy&amp;color=%23ff5500&amp;auto_play=false&amp;hide_related=false&amp;show_comments=true&amp;show_user=true&amp;show_reposts=false&amp;show_teaser=true&amp;visual=true" width="100%" height="150" frameborder="no" scrolling="no"><span data-mce-type="bookmark" style="display: inline-block; width: 0px; overflow: hidden; line-height: 0;" class="mce_SELRES_start">﻿</span></iframe><br />
<em>Dankzij Blendle is dit verhaal ook te beluisteren.</em></p>
</div>
<p class="tekst">De wereld kwam dit jaar plots stil te staan door de coronapandemie. Net zo plotseling kwam ze weer in beweging door de dood van de zwarte Amerikaan George Floyd, die stierf nadat een witte politieagent hem bij een arrestatie met zijn knie tegen de grond hield en minutenlang op zijn nek drukte. Dit was de druppel. Na decennia van raciale ongelijkheid en politiegeweld kwamen zwarte en witte Amerikanen massaal in opstand. Ook in de rest van de wereld protesteerden mensen tegen institutioneel racisme. Witte helden van weleer werden van hun sokkel gehaald.</p>
<p class="tekst">In de schaduw hiervan ontstond ook een digitale beeldenstorm in de wetenschap. Datasets van beelden die overal ter wereld worden gebruikt om beeldtechnologie te ontwikkelen, werden verwijderd. Zo heeft het gerenommeerde MIT in de VS in juni ‘80 Million Tiny Images’ offline gehaald. In een publieke verklaring erkende MIT dat de dataset te eenzijdig was en allerlei vooringenomenheden bevatte die bepaalde bevolkingsgroepen stigmatiseerden en benadeelden.</p>
<p class="tekst">Directe aanleiding voor deze digitale beeldenstorm was de wetenschappelijke publicatie van beeldverwerkingstechnologie PULSE. Deze technologie, ontwikkeld door wetenschappers van Duke University in de VS, maakt het mogelijk een realistische foto in hoge resolutie te genereren op basis van een korrelige foto. Gebruikers kunnen het systeem bijvoorbeeld toepassen om foto’s scherp te krijgen die gemaakt zijn met oude lageresolutiecamera’s.</p>
<p>Om het model te ontwikkelen, gebruikten de wetenschappers van Duke ‘Flickr Face HQ’. Dat is een dataset met vooral foto’s van witte mensen. PULSE werkt daarom goed voor korrelige foto’s waarop witte mensen zijn afgebeeld. Maar van korrelige foto’s van zwarte mensen genereert het witte representaties van die zwarte mensen. Zo liet een gebruiker zien hoe korrelige foto’s van president Obama, acteur Samuel L. Jackson en bokser Muhammad Ali resulteerden in witte op hen lijkende mannen.</p>
<p>PULSE heeft geleid tot een hevig debat tussen twee vooraanstaande wetenschappers: Timnit Gebru, een zwarte AI-wetenschapper en <em>AI Ethics lead</em> bij Google, en de Franse AI-pionier, hoogleraar en winnaar van de Turing Award (de ‘Nobelprijs voor informatica’) Yann LeCun, die nu hoofd AI is bij Facebook. In reactie op Gebru, die de Obama-foto een voorbeeld noemde van de gevaren van AI-bias, beweerde LeCun op Twitter dat AI-systemen ‘bevooroordeeld zijn wanneer data bevooroordeeld zijn’, en dat bevooroordeelde datasets ‘niet het probleem zijn van AI-wetenschappers maar van AI-engineers’. Daarmee schoof LeCun het probleem van vooringenomen kunstmatige intelligentie van de wetenschappelijke tafel. Het gevolg: een twitterrel die zo hevig was dat LeCun zijn twitteraccount sloot.</p>
<p>Maar zoals de dood van Floyd de druppel was, zo was PULSE dat ook. Want zorgen over en problemen met bevooroordeelde datasets en bevooroordeelde AI-technologie worden al geruime tijd onder de aandacht van AI-wetenschappers, overheid, bedrijven en publiek gebracht. Los je het probleem van vooringenomen AI-technologie op met een digitale beeldenstorm?</p>
<p><em>(tekst loopt door onder afbeelding)</em></p>
<p><img decoding="async" class="size-image_640 wp-image-481721" src="https://www.vn.nl/wp-content/uploads/2020/09/DSC07375-Edit-640x853.jpg" srcset="https://www.vn.nl/wp-content/uploads/2020/09/DSC07375-Edit-320x427.jpg 320w, https://www.vn.nl/wp-content/uploads/2020/09/DSC07375-Edit-640x853.jpg 640w" alt="" width="640" height="853" /></p>
<h5>Is het dezelfde persoon?</h5>
<p class="tekst">Gezichtsherkenningstechnologie wordt al bijna twee decennia lang ontwikkeld en gebruikt. De technologie maakt gebruik van algoritmen die onderscheidende biometrische gezichtskenmerken, zoals de afstand tussen de ogen of de lengte en vorm van de lippen, leren herkennen op basis van voorbeeldplaatjes of video’s van gezichten. Algoritmen extraheren duizenden verschillende gezichtskenmerken uit miljoenen gezichtsvoorbeelden om heel nauwkeurig een gezicht te onderscheiden van andere gezichten.</p>
<blockquote><p>Nu institutioneel racisme tot het bewustzijn is doorgedrongen, hebben tech-giganten de rem gezet op de ontwikkeling van gezichtsherkenning-technologie.</p></blockquote>
<p class="tekst">Onderscheidende gezichtskenmerken worden vervolgens omgezet in een computerrepresentatie van een gezicht dat gebruikt wordt voor verschillende toepassingen. Bijvoorbeeld voor automatische detectie van een gezicht in een foto of video. Dat maakt het mogelijk om heel snel te bepalen of een foto of video een bepaalde persoon bevat. Of om twee gezichten te vergelijken. Is het dezelfde persoon? Zo kan iemand bijvoorbeeld via verschillende camera’s in de stad getraceerd worden zonder dat bekend is om wie het gaat. Daarnaast is het mogelijk gezichten te vergelijken met andere gezichten in een database voor identificatie of verificatie. De politie gebruikt deze toepassing bijvoorbeeld om te proberen een onbekende te identificeren. En nu dus ook om scherpe foto’s te maken op basis van korrelige foto’s.</p>
<h5>Miljoenen slimme camera’s</h5>
<p class="tekst">De ontwikkeling van gezichtsherkenningstechnologie nam een hoge vlucht na de aanslagen van 11 september 2001 in New York. Kort daarna installeerde de stad duizenden camera’s in de publieke ruimte om potentiële terroristen op te sporen. Andere steden zoals Chicago en San Francisco volgden. Al snel konden data-analisten de immense hoeveelheid beelddata die deze steden genereerden niet meer verwerken. Dus werden de camera’s enkele jaren later gekoppeld aan videobewakingstechnologie die automatisch gezichten herkent en personen volgt. Zo ontwikkelde de stad New York in samenwerking met Microsoft het ‘Domain Awareness System’, dat negenduizend camera’s in verschillende wijken van de stad aan elkaar koppelt om verdachte personen te kunnen volgen of opsporen. In heel Amerika houden inmiddels tientallen miljoenen slimme camera’s toezicht op burgers.</p>
<p class="tekst">Maar in mei 2019 verbood San Francisco als eerste het gebruik van automatische gezichtsherkenning in het publieke domein. De naburige stad Oakland volgde al snel, net als Somerville en Brookline in Massachusetts. In december 2019 schortte ook San Diego haar gezichtsherkenningsprogramma op, net voordat een nieuwe wet in de staat van kracht werd die automatische gezichtsherkenning in het publieke domein onwettig verklaarde. Andere Amerikaanse steden of staten hebben automatische gezichtsherkenning nog niet verbannen, maar staan op het punt dat te doen of het gebruik ervan sterk te reguleren via wetgeving.</p>
<p>Nu institutioneel racisme tot het publieke bewustzijn is doorgedrongen, hebben zelfs de Amerikaanse tech-giganten Amazon, IBM en Microsoft de rem gezet op de ontwikkeling van gezichtsherkenningstechnologie. Amazon wil haar controversiële Rekognition-technologie, die door de grootste politiekorpsen in de VS wordt gebruikt, een jaar lang niet beschikbaar stellen aan politiediensten. IBM stopt er zelfs helemaal mee.</p>
<p>Volgens non-profitorganisatie AlgorithmWatch maken politiemachten in tien van de vijfentwintig Europese lidstaten, waaronder Nederland, gebruik van automatische gezichtsherkenning. Acht staten zijn van plan om het in de komende jaren in te voeren. De Europese Commissie heeft begin 2020 overwogen om, in navolging van Amerikaanse steden en staten, het gebruik van gezichtsherkenning in de openbare ruimte voorlopig te verbieden, opdat politici maatregelen kunnen nemen om de risico’s van die technologie te beperken. De commissie heeft er uiteindelijk voor gekozen richtlijnen, normen en voorschriften te ontwikkelen voor positief, verantwoord en eerlijk gebruik van gezichtsherkenningstechnologie.</p>
<p><em>(tekst loopt door onder afbeelding)</em></p>
<p><img decoding="async" class="aligncenter size-image_640 wp-image-481717" src="https://www.vn.nl/wp-content/uploads/2020/09/DSC07480-640x853.jpg" srcset="https://www.vn.nl/wp-content/uploads/2020/09/DSC07480-320x427.jpg 320w, https://www.vn.nl/wp-content/uploads/2020/09/DSC07480-640x853.jpg 640w" alt="" width="640" height="853" /></p>
<h5>Aangezien voor een bankovervaller</h5>
<p class="tekst">Aan de groeiende maatregelen tegen gezichtsherkenning liggen twee verschillende zorgen ten grondslag. Allereerst de zorg dat deze technologie niet goed en niet eerlijk werkt, maar daarnaast ook de angst dat deze technologie juist té goed en té eerlijk zou werken. De eerste zorg komt voort uit het groeiende aantal gevallen van foute identificatie van mensen op basis van gezichtsherkenningstechnologie.</p>
<p class="tekst">Zo zette de politie van South Wales automatische gezichtsherkenning in tijdens de Champions League-finale tussen Real Madrid en Juventus in een poging meer criminelen op te pakken: tweeduizend mensen werden ten onrechte als potentiële criminelen geïdentificeerd. De politie van South Wales gaf toe dat ‘geen enkel gezichtsherkenningssysteem 100 procent nauwkeurig is’ en benadrukte dat de technologie sinds de introductie tot meer dan 450 arrestaties heeft geleid. Maar het is onbekend of er mensen ten onrechte zijn gearresteerd, veroordeeld en opgesloten, zoals dat gebeurde met de Amerikaan Steve Talley. Die werd aangezien voor een bankovervaller en gearresteerd op basis van gezichtsherkenningstechnologie.</p>
<blockquote><p>De Electronic Frontier Foundation concludeerde onlangs dat oneerlijke technologie en oneerlijke inzet van die technologie mensen van kleur dubbel benadelen.</p></blockquote>
<p class="tekst">Nog kwalijker is dat keer op keer blijkt dat gezichtsherkenningstechnologie de ene bevolkingsgroep meer benadeelt dan de andere. De fouten die gezichtsherkenningstechnologieën maken, zijn om te beginnen niet gelijk verdeeld over bevolkingsgroepen. Zo constateerde het National Institute of Standards and Technology (NIST) recent nog dat algoritmen Afro-Amerikaanse en Aziatische gezichten tot honderd keer vaker verkeerd identificeren dan witte gezichten, mede omdat de datasets waarmee de algoritmen worden getraind niet representatief zijn. Daarnaast wordt de technologie vooral in de VS met name ingezet op die bevolkingsgroepen waarbij het de meeste fouten maakt, zoals de zwarte Amerikanen. De Electronic Frontier Foundation, een Amerikaanse burgerrechtenorganisatie, concludeerde onlangs dat deze twee feiten − oneerlijke technologie en oneerlijke inzet van die technologie − mensen van kleur dubbel benadelen.</p>
<p class="tekst">De tweede zorg is dat gezichtsherkenningstechnologie te goed en te eerlijk werkt. Dit bleek vooral nadat het Amerikaanse bedrijf Clearview A.I. zijn gezichtsherkenningsalgoritme trainde op miljarden gezichtsfoto’s die van sociale-mediaplatforms als Facebook en Instagram waren geplukt. Het bedrijf claimde dat zijn technologie iedereen kon herkennen, ongeacht afkomst. Iedereen was opeens even herkenbaar: man, vrouw, zwart wit, arm, rijk.</p>
<p class="tekst">Zwarte Amerikaanse mannen, die in grote steden als New York, Chicago en San Francisco onder voortdurende controle leven, waren altijd al <em>hypervisible</em>. Met ClearView AI werd iedereen opeens <em>hypervisible</em>. Ook mensen die altijd buiten beeld hadden weten te blijven omdat zij rijk en machtig waren of simpelweg tot de geprivilegieerde groep behoren die nooit of nauwelijks verdacht wordt. Voor die mensen is de technologie van ClearView AI ‘overeerlijk’.</p>
<h5>Hersenscans</h5>
<p class="tekst">Oneerlijke en ‘overeerlijke’ gezichtsherkenningstechnologieën zijn in de afgelopen twintig jaar mainstream technologieën geworden die het publieke bewustzijn hebben bereikt. Met als gevolg publieke verontwaardiging en de roep om een verbod. Maar is verwijdering van datasets of een verbod op gezichtsherkenningstechnologie geen schijnoplossing? Of zelfs een collectieve afleiding, zodat andere AI-technologieën in de luwte verder ontwikkeld kunnen worden? Terwijl ook die mogelijk gebaseerd zijn op datasets die niet representatief zijn. Denk aan de algoritmen voor werving en selectie die vrouwen benadelen, zoals Amazons <em>recruitment</em>-algoritme. Of denk aan nanotechnologie, biotechnologie en neurotechnologie, technologieën die al jaren worden ontwikkeld en toegepast.</p>
<p class="tekst">In 2006 deed ik namens de Universiteit van Amsterdam mee aan de eerste internationale <em>brain reading</em>-competitie ter wereld, georganiseerd door een interdisciplinair team van vooraanstaande wetenschappers uit de neurowetenschappen en artificiële intelligentie om te achterhalen in hoeverre het mogelijk is om met behulp van kunstmatige intelligentie gedachten van mensen te reconstrueren op basis van hersenscans.</p>

<p>Daartoe scanden de organisatoren met behulp van fMRI de hersenactiviteit van drie mensen terwijl ze naar drie afleveringen keken van de toen populaire Amerikaanse sitcom <em>Home Improvement</em>. Alle hersenscans werden beschikbaar gesteld aan de deelnemers aan de competitie. Daarnaast kregen de deelnemers twee van de drie <em>Home Improvement</em>-afleveringen, met volledige annotatie door drie verschillende mensen. De annotaties bestonden uit dertig algemene kenmerken die per frame werden gemeten: is er een gezicht in beeld, is het een binnen- of buitenscène, is er muziek op de achtergrond, enzovoort. Tot slot kregen de deelnemers enkele getailleerde kenmerken, zoals waar een scène zich afspeelt en wie er in beeld is.</p>
<p>Meer dan veertig wetenschappelijke groepen van over de hele wereld namen deel aan de competitie. In de categorie ‘algemene kenmerken’ bleken AI-modellen uitermate goede uitspraken te doen over wat zich afspeelde in de onbekende episode. Onderzoeksgroepen van Stanford University en Princeton University bleken met hoge nauwkeurigheid te kunnen constateren of er beweging is in een scène, muziek op de achtergrond speelt, een persoon in beeld komt, enzovoort. In de categorie ‘gedetailleerde kenmerken’, waarvan velen dachten dat die onmogelijk zouden zijn vast te stellen, wonnen wij met de Universiteit van Amsterdam. Wij waren in staat met hoge nauwkeurigheid de identiteit van de acteur te bepalen op basis van de hersenactiviteit van de persoon die naar de sitcom keek.</p>
<p><em>(tekst loopt door onder afbeelding)</em></p>
<p><img decoding="async" class="aligncenter size-image_640 wp-image-481719" src="https://www.vn.nl/wp-content/uploads/2020/09/DSC07395-640x853.jpg" srcset="https://www.vn.nl/wp-content/uploads/2020/09/DSC07395-320x427.jpg 320w, https://www.vn.nl/wp-content/uploads/2020/09/DSC07395-640x853.jpg 640w" alt="" width="640" height="853" /></p>
<h5>Veroordeeld door brain reading</h5>
<p class="tekst">De resultaten waren zo indrukwekkend dat het gerenommeerde wetenschappelijke tijdschrift <em>Nature</em> er in 2006 een editorial over schreef. Kort na publicatie van die editorial ontvingen de organisatoren en deelnemers van de competitie een e-mail uit India: <em>Hi, My name is Sridhar Putta (&#8230;). I am certain that the research you are doing (brain scan-reading peoples intention etc.) is being tested or used on me. I don’t know or am incapable to find out other research people involved in this type of research. Please inquire and ask them to stop it immediately as I am not interested in participating in this type of trials. Best regards, Sridhar.</em></p>
<p class="tekst">Geen van de organisatoren en deelnemers nam de e-mail serieus. Er heerste een gedeelde overtuiging dat de ontwikkelde en gepresenteerde neurotechnologieën nog lang niet in de praktijk toegepast konden en zouden worden. Maar een jaar later, in augustus 2008, ontving de Amerikaanse bio-ethicus Hank Greely een e-mail van een correspondent van de <em>International Herald Tribune</em> in Mumbai, die op zoek was naar het perspectief van een bio-ethicus op een ongewone moordzaak in India: een vrouw was veroordeeld voor het vermoorden van haar ex-verloofde met arseen. Het indirecte bewijs tegen haar omvatte een hersenscantest waaruit zou blijken dat ze een herinnering had van het plegen van de misdaad. Dit was het eerste bekende geval van een veroordeling op basis van <em>brain reading</em>.</p>
<blockquote><p>Nu AI-technologie doordringt tot de bloedvaten van de mens en de haarvaten van de maatschappij, moeten AI-ontwikkelaars zich niet onttrekken aan de sociale implicaties van de technologie die zij ontwikkelen.</p></blockquote>
<p class="tekst">Er waren verassend weinig AI-wetenschappers en technologie-ontwikkelaars die zich uitspraken over deze veroordeling, ondanks het feit dat velen de overtuiging hadden dat het niet verantwoord was die technologie in te zetten, alleen al omdat de <em>brain reading</em>-modellen getraind werden op de hersenscans van een beperkt aantal mensen en dus niet representatief waren. Ze vonden dat het niet aan hen was om zich bezig te houden met de mogelijke medische, sociale of juridische implicaties van de technieken die ze ontwikkelen.</p>
<p>Maar nu AI-technologie doordringt tot de bloedvaten van de mens en de haarvaten van de maatschappij, zouden AI-wetenschappers en -ontwikkelaars zich niet moeten onttrekken aan de sociale implicaties van de technologie die zij ontwikkelen. Ze horen hun eigen discipline te ontstijgen en interdisciplinair en sociaal-bewust te werk te gaan. Niet vooringenomen datasets verwijderen en de rem zetten op de ontwikkeling van AI-technologie, maar investeren in een cultuur van inclusieve technologieontwikkeling en -toepassing.</p>


Sennay Ghebreab

Ja, gezichtsherkenningstechnologie discrimineert – maar een verbod is niet de oplossing

Essay

Onze hersens zijn gekraakt. Dit kunnen we ertegen doen

<p class="tekst">‘Toen ik een paar dagen geleden aankwam op Terschelling,’ vertelde Freek Vielen van het Nieuw Utrechts Toneel / De Nwe Tijd vorig jaar op Oerol tijdens de ‘theatrale denkexercitie’ <span class="Cursief">De Futuristen</span>, ‘moest ik een heel eind fietsen. Het was lang geleden dat ik zo’n eind moest fietsen. En ik dacht: wat heerlijk. Wat is fietsen toch fijn. Eigenlijk kan ik best goed fietsen. Ik zou het vaker moeten doen. Toen ik die avond terugreed, had ik tegenwind. En pas toen realiseerde ik me dat ik op de heenweg wind mee had gehad. Toen ik weer thuis was – moe, chagrijnig en uitgeput van dat klote-eind fietsen, tegen die kutwind in – toen dacht ik: wat gek dat ik de wind mee niet heb gevoeld. Dat ik de wind mee gewoon als mijn eigen prestatie heb gezien. En ik dacht ineens een beetje beschaamd: waarschijnlijk gaat het vaker zo in het leven. Als je wind mee hebt, dan tel je die wind op bij je eigen prestaties. Dan zeg je: “Ik heb die studie afgemaakt”, “ik heb die baan gevonden”, “ik ben rijk geworden”, zonder dat omstandigheden en mensen daaraan hebben meegeblazen.’</p>
<p class="tekst">Hij vervolgde: ‘En ik dacht: wat zou het fijn zijn als er iets was waardoor we andermans tegenwind zouden kunnen zien. Ik droomde over een superbewustzijn, een algoritme dat rekening kan houden met de winden die we mee en tegen krijgen. Hoeveel fijner en eerlijker zou het dan kunnen worden. Vooral voor de mensen met de meeste tegenwind. Tot dat algoritme er is, dacht ik, zou het niet verkeerd zijn dat bewustzijn bij mijzelf wat meer te trainen.’</p>
<h5>Menselijke waarden</h5>
<p class="tekst">Smartphones, smart cars, smart homes, smart companies en smart cities zijn de algoritmische meewind geworden voor mensen die de wind toch al mee hadden. Maar hoe zit het met de mensen die wind tegen hebben? Zal kunstmatige intelligentie de samenleving ook voor deze mensen ten goede veranderen? Is het toekomstscenario van De Futuristen haalbaar?</p>
<blockquote><p>Er is groeiende bezorgdheid over de mate waarin AI uitsluiting en discriminatie in de samenleving versterkt.</p></blockquote>
<p class="tekst">Eind 2018 vroeg het onafhankelijke Amerikaanse Pew Research Center zeshonderd internetpioniers, technologie-experts, activisten en ontwikkelaars over de hele wereld hoe zij denken over AI en de toekomst van de mensheid. Veel deskundigen denken dat AI de samenleving ten goede zal veranderen. Ze wijzen op het enorme potentieel van AI voor de wereldeconomie, en naar hoe AI nu al boeren helpt bij verbetering van gewassen, dokters bij snellere diagnoses en ouderen bij het verhelpen van eenzaamheid. Maar er zijn ook deskundigen die voorspellen dat AI zal leiden tot massale werkloosheid, groeiende economische verschillen, sociale onrust, verlies van autonomie, keuzevrijheid en de vrije wil.</p>
<p class="tekst">Maar of ze nu optimistisch of pessimistisch zijn, de meeste AI-experts zijn het over één ding eens: hoe AI onze samenleving zal beïnvloeden, hangt sterk af van hoe goed ontwikkelaars en gebruikers van AI-technologieën in staat zullen zijn menselijke waarden als gelijkheid, rechtvaardigheid en waardigheid mee te nemen in hun ontwerpen.</p>
<p><img decoding="async" class="alignnone size-image_1280 wp-image-458407" src="https://www.vn.nl/wp-content/uploads/2020/02/VN-AI-MONTAGE022-Edit-1280x1913.jpg" srcset="https://www.vn.nl/wp-content/uploads/2020/02/VN-AI-MONTAGE022-Edit-320x478.jpg 320w, https://www.vn.nl/wp-content/uploads/2020/02/VN-AI-MONTAGE022-Edit-640x957.jpg 640w, https://www.vn.nl/wp-content/uploads/2020/02/VN-AI-MONTAGE022-Edit-1280x1913.jpg 1280w" alt="AI" width="1280" height="1913" /></p>
<h5>Patronen</h5>
<p class="tekst">Er is groeiende bezorgdheid over de mate waarin AI uitsluiting en discriminatie in de samenleving versterkt. Verschillende voorbeelden hiervan hebben veel media-aandacht getrokken: Amazons algoritme voor werving van personeel dat vrouwen discrimineert, het COMPASS-systeem in de VS dat zwarte mensen een hoger risico op recidive toekent in vergelijking met witte mensen met dezelfde criminele geschiedenis, en het Amerikaanse medische risicoprofileringssysteem dat miljoenen zwarte mensen met klinisch exact dezelfde ziekten als witte mensen minder snel toegang geeft tot gezondheidszorg. Een voorbeeld dichter bij huis is SyRi, het Nederlandse AI-systeem voor het opsporen van fraude met sociale voorzieningen, dat vooral arme mensen en mensen met een migratieachtergrond eruit pikt omdat zij in bepaalde wijken wonen.</p>
<blockquote><p>Als zwarte mensen in het verleden zieker moesten zijn dan witte mensen om zorg te krijgen, dan zullen algoritmen die getraind zijn op basis van historische dossiers blijven discrimineren.</p></blockquote>
<p class="tekst">In al deze voorbeelden gaat het om algoritmen die patronen herkennen in grote hoeveelheden data en op basis daarvan autonoom beslissingen leren nemen. Als die data historische of actuele sociale vooroordelen en ongelijkheden bevatten, dan zullen die vooroordelen en ongelijkheden onvermijdelijk worden overgenomen en gereproduceerd door deze algoritmen. Als algoritmen bijvoorbeeld worden getraind op historische politiedata, dan worden bewuste of onbewuste vooroordelen in arrestaties overgenomen in ‘predictive policing’ systemen. Of als zwarte mensen in het verleden zieker moesten zijn dan witte mensen om toegelaten te worden tot dezelfde gezondheidszorg, dan zullen algoritmen die getraind zijn op basis van historische gezondheidsdossiers zwarte patiënten ook in de toekomst blijven discrimineren.</p>
<h5>Algoritmewaakhond</h5>
<p class="tekst">Instellingen en bedrijven reageren op de groeiende zorgen rondom discriminerende algoritmen met maatregelen die gericht zijn op het controleren en reguleren van algoritmen. Zo bevat de ethische richtlijn die de Europese Commissie in 2019 heeft gepubliceerd de volgende aanbeveling: wanneer gegevens worden verzameld, kunnen deze sociale vooroordelen, onnauwkeurigheden, fouten en vergissingen bevatten die vóór de training van een algoritme moeten worden verwijderd. D66 en CDA adviseren zelfs een ‘<a href="https://nos.nl/artikel/2289495-d66-en-cda-willen-richtlijn-en-toezichthouder-voor-overheidsalgoritmes.html">algoritmewaakhond</a>’ in te stellen die algoritmen voor het publieke domein screent op vooringenomenheid en ongelijkheid.</p>
<blockquote><p>Het is soms onmogelijk om ervoor te zorgen dat de datasets waarop algoritmen worden getraind onbevooroordeeld zijn.</p></blockquote>
<p class="tekst">Hoe goed bedoeld deze maatregelen ook zijn, ze volstaan niet om AI met menselijke waarden en respect voor diversiteit te creëren. Zo is het soms onmogelijk om ervoor te zorgen dat de datasets waarop algoritmen worden getraind onbevooroordeeld zijn, of om algoritmen te ontwikkelen die schadelijke vooroordelen en ongelijkheden opsporen en elimineren. Bovendien maskeert de nadruk op het controleren en reguleren van gegevens en algoritmen, en dus op technische problemen, de hoofdoorzaken van discriminerende algoritmen, namelijk historische en hedendaagse vooroordelen en ongelijkheden in de samenleving en het gebrek aan diversiteit in organisaties.</p>
<p class="tekst">Volgens het Amerikaanse onderzoeksinstituut AI NOW is 80% van de universiteitsprofessoren in AI wereldwijd man. Bij Facebook is 85% van de AI-experts man en bij Google 90%. Met de etnische diversiteit is het nog slechter gesteld. Zo is bijvoorbeeld slechts 2,5% van de werknemers van Google zwart, terwijl Facebook en Microsoft elk maar 4% zwarte AI-experts in dienst hebben. Over de Nederlandse situatie zijn te weinig gegevens beschikbaar, maar er is geen reden om aan te nemen dat de diversiteit aan AI-experts in Nederlandse bedrijven en universiteiten veel afwijkt van deze statistieken.</p>
<h5>Van het een komt het ander</h5>
<p class="tekst">Gebrek aan diversiteit is problematisch voor elke organisatie die opereert in een diverse samenleving, maar voor organisaties die zich bezighouden met AI is dit gebrek nog veel schadelijker vanwege het grenzeloze bereik en de razendsnelle impact van AI. Miljarden mensen maken gebruik van Facebook, Google en Twitter, en de meesten daarvan lijken niet op de witte mannelijke ontwikkelaars van deze technologieën. Het gevaar dat grote groepen mensen die gebruik maken van deze technologieën te maken krijgen met discriminatie, uitsluiting of een oneerlijke behandeling is daarom reëel en wijdverbreid.</p>
<blockquote><p>Het aantal twitterverwijzingen naar de complottheorie ‘omvolking’ is in vier jaar tijd verdrievoudigd naar 1,5 miljoen.</p></blockquote>
<p class="tekst">Uit onderzoek van het Britse Institute for Strategic Dialogue blijkt dat vooral Facebook, Twitter en YouTube worden ingezet om haat en geweld tegen minderheden te propageren. Zo is het aantal tweets dat het woord ‘remigratie’ bevat gestegen van 66.000 in 2014 naar 150.000 in 2018. Het aantal twitterverwijzingen naar ‘omvolking’ – de theorie dat de witte Europese bevolking doelbewust wordt vervangen door mensen uit Afrika en het Midden-Oosten – is in vier jaar tijd verdrievoudigd naar 1,5 miljoen. Deze fenomenen zullen niet alleen negatief uitpakken voor bepaalde bevolkingsgroepen, maar voor complete samenlevingen.</p>
<p class="tekst">Het gebrek aan diversiteit van mensen in AI en het probleem van uitsluitende en discriminerende algoritmen worden tot nu toe als twee afzonderlijke zaken behandeld, maar het zijn twee kanten van dezelfde medaille: gebrek aan diversiteit op de werkvloer is verweven met discriminerende algoritmen. Van het een komt het ander. Maar van het ander komt ook het een, want om discriminerende algoritmen aan te pakken of te voorkomen, is het van belang dat zulke algoritmen worden ontwikkeld en getoetst in teams van mensen met verschillende achtergronden en expertise.</p>
<p><img decoding="async" class="alignnone size-image_1280 wp-image-458411" src="https://www.vn.nl/wp-content/uploads/2020/02/VN-AI-SLIDES026-1280x1920.jpg" srcset="https://www.vn.nl/wp-content/uploads/2020/02/VN-AI-SLIDES026-320x480.jpg 320w, https://www.vn.nl/wp-content/uploads/2020/02/VN-AI-SLIDES026-640x960.jpg 640w, https://www.vn.nl/wp-content/uploads/2020/02/VN-AI-SLIDES026-1280x1920.jpg 1280w" alt="AI" width="1280" height="1920" /></p>
<h5>Illusie van eerlijkheid</h5>
<p class="tekst">Overheidsinstellingen, universiteiten en technologiebedrijven benadrukken voortdurend het belang van diversiteit van data, diversiteit van mensen en perspectieven, diversiteit van processen en platforms. En toch wil het maar niet lukken om diversiteit in AI te realiseren. Het is alsof de nadruk op en aandacht voor diversiteit er is om een illusie van eerlijkheid en betrokkenheid en inclusie te wekken.</p>
<p class="tekst">Google zou bijvoorbeeld zeven principes voor ethische AI in de praktijk brengen door middel van intern onderwijs en ontwikkeling van verantwoordelijke AI. Het bedrijf zou wervings- en selectieprocessen herzien en externe toezichthouders betrekken bij het bedrijf. Er werd een externe adviesraad van diverse mensen opgericht om de verantwoorde ontwikkeling van AI te garanderen. Maar een paar weken na de oprichting van de raad werd deze alweer afgeschaft na publieke verontwaardiging over de benoeming in de raad van Kay Coles James, president van de rechtse denktank The Heritage Foundation en openlijk anti-immigratie en anti-LGBTQ. Google wordt nog steeds geconfronteerd met protesten en vertrekkende werknemers vanwege de manier waarop het bedrijf omgaat met seksuele discriminatie en intimidatie. Vrouwen voelen zich niet veilig in het door mannen gedomineerde bedrijf.</p>

<div class="newsletter-teaser bg-gray">
    <div class="teaser__content__container">
                    <div class="teaser__header">Blijf vrij van geest. Lees onze nieuwsbrief.</div>
        
                    <div class="teaser__text">Ontvang de beste verhalen van Vrij Nederland twee keer per week in je mail. In elke nieuwsbrief ontvang je één artikel helemaal gratis.</div>
            </div>

    <div class="teaser__btn__container">
                    <div class="teaser__btn">
                <a class="btn btn--rounded btn--white-bg" 
                    href="/service/nieuwsbrieven"
                    data-ga-category="banner-newsletter-button" 
                    data-ga-label="Blijf vrij van geest. Lees onze nieuwsbrief." 
                    data-ga-action="clicked">Ja, dit wil ik ></a>
            </div>
            </div>
</div>
<p class="tekst">Een ander voorbeeld is het gerenommeerde Stanford Institute for Human-Centered Artificial Intelligence, dat begin dit jaar van start is gegaan met het doel een diverse groep mensen onderzoek te laten doen naar de impact en het potentieel van AI. Kort na de oprichting is het instituut verwikkeld geraakt in onrust over diversiteit: van de 120 stafleden is het overgrote deel man, en niemand zwart.</p>
<h5>Queer in AI</h5>
<p class="tekst">Organisaties stellen vaak dat ze niet in staat zijn om divers talent te vinden dat voldoet aan vooraf gestelde functie-eisen. Het probleem blijkt echter keer op keer niet de afwezigheid van divers talent te zijn, maar het onvermogen om een omgeving te creëren waarin divers talent kan worden herkend, aangetrokken en behouden. Talenten met een migratie-achtergrond zeggen vaak dat ze na aanstelling worden behandeld als uithangbord van diversiteit, en dat hun talenten onderbenut, ondergewaardeerd en onderbetaald blijven. Ook in AI. Deze kunstmatige inclusie is het echte probleem dat serieuze aandacht en actie verdient als we ethische en inclusieve AI-systemen willen ontwikkelen.</p>
<blockquote><p>Gezichtsherkenningstechnologie reproduceert sociale ongelijkheden: het werkt het best bij witte mannen en het slechtst bij zwarte vrouwen.</p></blockquote>
<p class="tekst">Nu zijn het vaak AI-deskundigen met een minderheidsachtergrond die de aandacht vestigen op en actie ondernemen tegen het gebrek aan diversiteit in AI. Zo zijn Black in AI, een initiatief van zwarte AI-experts van Stanford, MIT en andere instituten over de hele wereld en soortgelijke initiatieven zoals Queer in AI en Women in Machine Learning begonnen met het delen van hun werk en ervaring op AI-conferenties in het Westen. Als hun visa voor landen als de VS en Canada tenminste niet worden geweigerd, zoals dat 24 onderzoekers uit Afrika en Zuid-Amerika recent is overkomen: zij kregen geen visa om de topconferentie <span class="Cursief">Neural Information Processing Systems</span> in december 2019 in Canada bij te wonen.</p>
<h5>Ongelijkheidsatlas</h5>
<p class="tekst">Naast academische uitwisseling hebben deze initiatieven zich een maatschappelijk doel gesteld: het bevorderen van divers AI-talent, het ontwikkelen van AI-technologieën voor opkomende werelddelen zoals Afrika, en het gebruik van algoritmische vooroordelen als middel om sociale ongelijkheid en discriminatie van minderheden te kwantificeren en aan de kaak te stellen. Met andere woorden: ze gebruiken discriminerende algoritmen als een spiegel voor discriminatie en uitsluiting in onze samenleving. Zo getuigde Joy Buolamwini, AI-expert en oprichter van het Algorithmic Justic League, afgelopen zomer nog samen met het Amerikaanse congreslid Alexandria Ocasio-Cortez dat gezichtsherkenningstechnologie sociale ongelijkheden reproduceert: het werkt het best bij witte mannen en het slechtst bij zwarte vrouwen.</p>
<blockquote><p>Als ze worden ontwikkeld door diverse teams, kunnen algoritmen nieuwe wegen creëren naar een meer inclusieve samenleving.</p></blockquote>
<p class="tekst">Als ze worden ontwikkeld door mensen met een diverse en interdisciplinaire achtergrond, kunnen algoritmen meer zijn dan alleen een spiegel voor de samenleving. Ze kunnen ook nieuwe wegen creëren naar een eerlijke en meer inclusieve samenleving.</p>
<p class="tekst">Neem de MIT-ongelijkheidsatlas, ontwikkeld door een divers en interdisciplinair team van wetenschappers op basis van geo-locatiedata van 4,5 miljoen mobiele-telefoongebruikers in Boston. De atlas laat zien waar mensen met verschillende sociaal-economische achtergronden elkaar ontmoeten, waar ze wel of niet door de stad bewegen, op weg naar huis, werk, musea, bioscopen, theaters en parken. De atlas kent gebouwen en straten een ongelijkheidsscore toe op basis van de inkomensdiversiteit van mensen die deze plaatsen bezoeken. Een café waarin mensen met allerlei verschillende inkomens elkaar ontmoeten, krijgt een lage ongelijkheidsscore, terwijl een restaurant waarin alleen rijke, welgestelde mensen komen een hoge ongelijkheidsscore krijgt. De atlas geeft hiermee een beeld van de diversiteit van duizenden locaties in Boston, maar ook inzicht in hoe straten en gebouwen aangepast dienen te worden om ruimtelijke diversiteit, vitaliteit en inclusiviteit in de stad te bevorderen.</p>
<div class="info-box">
<p><em>Luister ook naar <a href="https://www.vn.nl/mens-3-sennay-ghebreab/" target="_blank" rel="noopener">het podcastgesprek</a> met Sennay Ghebreab, over hoe we kunnen voorkomen dat algoritmen racistisch worden:</em></p>
<p><iframe src="https://open.spotify.com/embed-podcast/episode/7rGoAOKIKovTGBIxbMRvCN" width="100%" height="232" frameborder="0"></iframe></p>
</div>
<h5>Een zetje</h5>
<p class="tekst">Echt ethische en inclusieve AI begrijpt, waardeert en bouwt voort op verschillen tussen mensen op het gebied van sociaal-culturele waarden, kennis, vaardigheden en levensstijl. Van techbedrijven zoals Facebook, Google en Twitter kan niet worden verwacht dat ze werken aan ethische en inclusieve AI omdat ze hun eigen verdienmodel vooropstellen. Ook kun je geen ethische en inclusieve AI verwachten door controle en regulering van AI zolang publieke organisaties zoals overheden, gemeenten en universiteiten en hun gekozen vertegenwoordigers zelf niet voldoende divers en inclusief zijn. Inclusie leidt op termijn tot ethiek, maar ethiek leidt niet per se tot inclusie.</p>
<p class="tekst">Om AI ethisch en inclusief te maken, moet voldaan worden aan minimaal twee voorwaarden.</p>
<p class="tekst">Ten eerste moet AI worden onderwezen aan burgers uit alle lagen van de bevolking, ook en misschien vooral aan burgers in de marge van de samenleving. Dit vergroot en verrijkt tegelijkertijd de talentenpool. Initiatieven zoals Codeer College Codam in Amsterdam begrijpen dit en zetten een moedige stap naar gratis en fundamenteel nieuwe vormen van peer-to-peer onderwijs.</p>
<p class="tekst">In de tweede plaats moet publieke AI gecreëerd worden door diverse en interdisciplinaire AI-teams, in samenwerking met burgers, gemeenschappen en het maatschappelijk middenveld. Dit maakt AI-technologieën mogelijk die burgers en gemeenschappen beter en eerlijker dienen. Initiatieven zoals <a href="http://civic-ai.nl/">Civic AI Lab</a> streven dit na, en ontwikkelen algoritmen die niet alleen burgers helpen die de wind toch al in de rug hebben, maar ook een zetje geven aan mensen die de wind tot nu toe tegen hadden.</p>
<div class="info-box">
<h5>VERDER LEZEN</h5>
<p>Hoe kunnen we algoritmen zó inzetten dat ze ons leven prettiger maken? <a href="https://www.vn.nl/algoritmen-van-pas/">We vroegen wild om ons heen</a>, van computerwetenschapper Cees Snoek en cabaretier Micha Wertheim (4 tot 5 minuten leestijd).</p>
</div>


Ja, gezichtsherkenningstechnologie discrimineert – maar een verbod is niet de oplossing

Onze hersens zijn gekraakt. Dit kunnen we ertegen doen

Zo zorgen we dat kunstmatige intelligentie de wereld voor iederéén beter maakt