‘Surveillance is een vast onderdeel van ons leven geworden, en dat zal alleen maar toenemen’

Marc Schuilenburg, bijzonder hoogleraar Digital Surveillance aan de Erasmus Universiteit, stapte in de Tesla en toetste op navigatie-app Waze het adres in van het Italiaanse restaurant waar ze die avond zouden eten. De afstand was ruim twintig kilometer, er kleurden verschillende routes groen. Het was rustig op de weg. Hij selecteerde de kortste, snelste en meest logische route, maar voordat die werd gestart, verscheen er een bericht op het scherm waarin werd voorgesteld een andere route te nemen, de langste, omdat het veiliger zou zijn om niet door een bepaalde buurt te rijden. Dat was volgens de app een ‘high-risk area’. Het tijdverschil zou elf minuten zijn. Hij besloot het advies toch maar op te volgen.

Waze is volgens Schuilenburg een voorbeeld van een technologie die met behulp van Artificiële Intelligentie (AI) en algoritmes ons gedrag subtiel een bepaalde richting op stuurt. Sommige gebieden zijn rood gemarkeerd, op basis van data van gebruikers en de politie. Daar rijd je dan omheen, zelfs als je daardoor later op je bestemming aankomt dan je zou willen. De verleiding van het object – de groene ‘veilige’ gebieden afgezet tegen de ‘gevaarlijke’ rode – wordt sterker dan het verlangen van het subject – namelijk om ergens op tijd aan te komen.

‘Algoritmische psychomacht’ noemt Schuilenburg deze psychologische prikkels die ons gedrag beïnvloeden en onze emoties sturen. In dezelfde categorie plaatst hij de technologie die werd ingezet om Stratumseind, een bekende en drukbevolkte uitgaansstraat in Eindhoven, veilig te houden. Daar is geëxperimenteerd met de verspreiding van de geur van sinaasappels, die kalmerend en rustgevend zou werken, en dus de veiligheid zou kunnen vergroten en de agressie zou kunnen verminderen – zowel in het algemeen als zeer lokaal en in real time, bijvoorbeeld wanneer sensoren ergens een hoop geschreeuw opvangen, en de geur dus gericht verspreid kan worden.

Ook in voetbalstadions worden dit soort technieken ingezet. Slimme microfoons die in de buurt van fanatieke supporters hangen, nemen spreekkoren op en analyseren ze. Wanneer er sprake is van racistische leuzen, worden automatisch positieve spreekkoren op de reclameborden getoond, om de sfeer in het stadion te beïnvloeden – ook wel mood detection genoemd.

Dat is wel wat anders dan de klassieke nudging, zoals de vlieg die mannen niet naast, maar in de pot moet laten plassen.

‘Mentale sturing en beïnvloeding worden voor techbedrijven steeds belangrijker, vooral op het gebied van veiligheid en gezondheid. Niet alleen het lichaam, maar ook de psyche, de geest, moet worden gestuurd. Dat is inderdaad anders dan de vlieg in het urinoir, omdat het gebeurt met enorme hoeveelheden data, en het voortdurend te personaliseren is. Bij een verkeersdrempel moet iedereen langzamer rijden, terwijl psychomacht op maat kan worden gesneden, via microtargeting, of doordat het de ene Facebookgebruiker bepaalde berichten laat zien die bij anderen niet of in andere vorm op hun tijdlijn verschijnen. Of dus bij een app als Waze.’

‘Surveillance is een vast onderdeel van ons leven geworden, en dat zal alleen maar toenemen.’

U plaatst Waze in hetzelfde rijtje als de Apple Watch en de digitale deurbel van Amazon. 

‘Ik noem dat soort producten luxe-surveillance. Mensen willen zichzelf tegenwoordig monitoren en zijn bereid daarvoor te betalen. Dat is interessant. Surveillance werd altijd gezien als iets dat vanuit de staat kwam. Daar komen ook alle dystopische verhalen – China, Orwell – vandaan. Met luxe-surveillance zie je dat mensen zelf een flinke som geld neerleggen om zichzelf vrijwillig te bekijken. Dat illustreert de overgang van disciplinaire naar psychomacht. We kennen disciplinaire macht van de Franse filosoof Michel Foucault. Bij hem was surveillance verweven in de architectuur, bijvoorbeeld in scholen en gevangenissen, of in zoiets als een tijdrooster. Het was ook fysiek: het lichaam werd gedrild en gedisciplineerd om het gehoorzaam en productief te maken.

In de jaren negentig vernetwerkte surveillance. De camera’s op straat werden met elkaar verbonden en daardoor is de controle overal. Nu, in fase drie, zijn bewakingscamera’s uitgerust met AI en algoritmes, denk aan automatische gezichtsherkenningstechnologie. Daarbij worden we niet meer alleen bekeken door de politie en grote bedrijven, maar is het ook vanzelfsprekend dat we onszelf voortdurend bekijken, vooral op het gebied van gezondheid, zoals via de Apple Watch, en op het gebied van veiligheid, met slimme deurbellen en het camerasysteem van de Tesla. In toenemende mate veranderen we dus van een spierbundel in een databundel. De Apple Watch disciplineert nog steeds, maar verlegt de focus van lichaam naar geest.’

Wat zegt zo’n ontwikkeling?

‘Dat surveillance verhandelbaar is. Die data zijn geld waard geworden. Het is ook zachter geworden, in de zin dat we het vaak niet meer herkennen als surveillance. En het is een kwestie van normalisering. Surveillance is een vast onderdeel van ons leven geworden, en dat zal alleen maar toenemen. Je ziet dan ook dat surveillance met AI en algoritmes niet meer alleen wordt ingezet door de politie, maar ook daarboven, door organisaties als Europol, daarbeneden, wanneer burgers patrouilleren in de wijk en apps als Veiligebuurt of Citizen gebruiken, en ernaast, doordat techbedrijven als Amazon en Google de zorg voor veiligheid steeds vaker faciliteren door slimme apparaten met ingebouwde camera’s, microfoons en trackingsapparatuur te ontwikkelen.’

Ghetto Tracker

Schuilenburg begon zijn carrière bij het Openbaar Ministerie, en werd opgeleid tot officier van justitie. Daarna stapte hij over naar de academische wereld. Hij wilde meer lezen, meer onderzoek doen, meer de diepte in. Na ruim tien jaar bij de Vrije Universiteit in dienst te zijn geweest, is hij sinds een paar jaar bijzonder hoogleraar aan de Erasmus Universiteit. Zijn leerstoel wordt voor één dag in de week bekostigd door de onderzoeksorganisatie TNO, die onder meer tools ontwikkelt voor de politie. Dat doen ze vanuit het idee dat ze als organisatie weliswaar veel technische expertise hebben, maar minder ethische en juridische, terwijl ook zulke kennis onlosmakelijk is verbonden met het ontwikkelen van technologie. En dat is nou precies waar het nieuwe boek van Schuilenburg, Making Surveillance Public. Why You Should Be More Woke about AI and Algorithms, over gaat.

Want technologie wordt nog te vaak ontworpen en ingezet vanuit een ‘technologisch-economisch’ perspectief, vindt hij, waarin publieke waarden als privacy, non-discriminatie, transparantie en het nemen van verantwoordelijkheid (accountability) het afleggen tegen waarden als veiligheid en efficiëntie. Wanneer dan achteraf blijkt dat er iets niet goed is gegaan in het ontwerp, zoals bij de Waze-app, worden juristen erbij gehaald. Maar dan is het al te laat.

Kunt u iets dieper ingaan op wat u bedoelt met het ‘publiek maken’ van surveillance?

‘Dat bestaat uit drie elementen. Het eerste is laten zien wat allemaal surveillance is. Veel mensen herkennen de Apple Watch, Fitbit en Amazon-deurbel niet als surveillance. Je wordt daardoor voortdurend bekeken, maar mensen ervaren dat niet zo.’

Hoe erg is dat?

‘Dan kom je uit bij het tweede aspect, namelijk dat we moeten inzien dat surveillance niet alleen draait om sturende waarden als veiligheid en efficiëntie, die vallen onder de dominante technologisch-economische visie. Er zijn ook publiek-juridische waarden, zoals non-discriminatie en privacy. En procesmatige waarden, zoals transparantie en accountability. Tussen die drie – sturend, verankerd en procesmatig – woedt altijd een strijd, waarbij de verankerde en procesmatige waarden vaak het onderspit delven.’

‘In de voorfase worden de fundamentele beslissingen genomen. Daar moet je bij zijn.’

Wat is het gevolg van de veronachtzaming van die waarden?

‘Zoiets als de Toeslagenaffaire, waarbij het besluitvormingssysteem een zelflerend algoritme bevatte dat zich richtte op achterstandswijken, alleenstaande moeders, mensen van een bepaalde nationaliteit. De discriminerende kant van AI en algoritmes zit ook heel erg in de Waze-app, natuurlijk. Veelzeggend is dat een vergelijkbare app voorheen “Ghetto Tracker” heette. Dat illustreert hoe zulke technologie voortbouwt op politieke en economische structuren waarin racisme diepgeworteld zit. Racisme en territoriale stigmatisering komen zo via de achterdeur van technologische tools – via onzichtbare data en algoritmes – de samenleving weer binnen. Dat is een vorm van datageweld, van algoracisme, die we tegelijkertijd zelden als “geweld” herkennen en strafbaar stellen.

Ook accountability ontbreekt vaak. Je moet als overheid verantwoording kunnen afleggen over waarom en hoe je bepaalde AI-tools gebruikt. Dat lukt nu vaak niet, terwijl publieke verantwoording afleggen echt een wezenskenmerk is van een overheid. En dat gaat alleen maar lastiger worden wanneer AI tot op zekere hoogte zelf beslissingen gaat nemen. Wat dat betreft is deze tijd volstrekt anders dan de tijd van Max Weber, met de klassieke bureaucratie met regels en wetten waarin – in principe – wordt geoordeeld zonder aanzien des persoons. Toen kon je als overheid duidelijk zeggen: kijk, deze regel wordt op die manier toegepast. Bij AI-tools is de verantwoordelijkheid niet meer op één punt te aan te wijzen. Het vindt op minstens drie niveaus plaats: tijdens de dataverzameling, waarin het onduidelijk is hoe de data zijn verkregen, tijdens de dataverwerking via algoritmes, wanneer het onduidelijk kan zijn hoe zo’n algoritme werkt, en als laatste bij de output, wanneer een beslissing wordt genomen. Is daar een mens bij betrokken of niet? En kan hij afwijken van het oordeel van de technologie, of volgt hij automatisch het systeem?’

Is het zo moeilijk om je te onttrekken aan zo’n technologisch oordeel? 

‘Daar heb ik vaak discussies over gehad met rechters. Die zeggen: technologie is een hulpmiddel, een advies, je kunt heus wel afwijken. Maar we weten van Foucault en Weber dat bureaucratie, normen en regels, je disciplineren. Je kunt één keer afwijken, maar als dat leidt tot een tbs’er die verlof krijgt en iets verschrikkelijks doet, doe je dat geen tweede keer. Daarnaast is het verleidelijk om de verantwoordelijkheid door te schuiven naar technologie. Dan kun je het systeem de schuld geven wanneer er iets misgaat, zoals ook is gebeurd bij de Toeslagenaffaire. Daarom, en dan kom je bij de derde pijler van het publiek maken van surveillance, is het zo belangrijk dat de discussie over AI en algoritmes niet als laatste komt, maar vooraan zit, dus vóór het moment dat er data worden verzameld of tools worden gebouwd.

In dat geval kun je dus letterlijk een publiek verzamelen rondom het maken van nieuwe technologie. Dat gaat dan over het breder trekken dan alleen die coding elite: de witte, heteroseksuele mannelijke groep die wat betreft de ontwikkeling van tools alle beslissingen neemt en zich onvoldoende bewust is van hun macht en van publieke waarden als privacy, accountability en non-discriminatie. Je kunt bijvoorbeeld ethici, juristen en mensen uit de praktijk verzamelen. Dat kan zelfs zo ver gaan dat je ook de natuur erbij betrekt, want AI-surveillance slurpt veel energie en leidt tot een enorme CO2-uitstoot.

Maar het gaat ook om andere vormen van kennis verzamelen die vaak niet te codificeren is of te vangen in bits en bytes. De Amerikaanse socioloog James Scott noemt dat metis, wat verwijst naar lokale en contextgebonden ervaringskennis die vaak ongrijpbaar is, zoals de boer die weet wanneer het moment komt om te oogsten, of de politieagent die aanvoelt dat er ergens iets aan de hand is. Het idee is dat je dat publiek, en die verschillende soorten kennis, al vanaf de start laat meedenken en meewegen. Want als de techniek er eenmaal is, verandert er niets meer. In de voorfase worden de fundamentele beslissingen genomen. Dus daar moet je bij zijn.’

Ethische Adviescommissie

Schuilenburg zit in de Ethische Adviescommissie van de politie. Twee keer per jaar discussieert hij met andere wetenschappers over actuele ontwikkelingen binnen de politie die leiden tot ethische vragen en dilemma’s, of tot zaken waar ze bedacht op zouden moeten zijn. Voorbeeld: tegenwoordig beginnen ordeverstoringen vaak online. Hoe ver reikt de bevoegdheid van de politie dan om dat in te gaten te houden? Via dat soort vragen en bespiegelingen brengen ze advies uit aan de leiding van de Nationale Politie.

Ze proberen daar volgens Schuilenburg – hij doet nadrukkelijk zijn best om neutraal te blijven – steeds ontvankelijker voor te worden. Maar ook binnen de politie draait het nog altijd voornamelijk om veiligheid en wordt minder belang gehecht aan waarden als privacy en accountability. Terwijl, zegt Schuilenburg, politiewerk niet alleen gaat om het opsporen van criminaliteit, maar ook om vertrouwen en de legitimiteit van je optreden. Dat vertrouwen wordt geschaad als je technologie inzet die bijvoorbeeld inherent discriminatoir is.

Op zoiets als ‘predictive policing’ is altijd veel kritiek geweest. 

‘Het was lange tijd het dominante verhaal binnen de politie: voorspellen waar criminaliteit zou plaatsvinden. Nederland had dat systeem als eerste land ter wereld landelijk uitgerold. Waarbij overigens wel rekening werd gehouden met zaken als non-discriminatie, in elk geval veel meer dan in Amerika, waar die systemen niet door de politie zelf ontwikkeld worden, maar worden gekocht van grote techbedrijven als Palantir. In Nederland gaat het daarnaast voornamelijk over voorspellen wáár een misdaad zal worden gepleegd, terwijl het in bijvoorbeeld Chicago ook ging over wíé het zou doen en wie het slachtoffer zou worden.

Zulke technologieën zijn hevig gepopulariseerd door films als Minority Report en door de politie zelf, die beweerde dat ze hiermee 40 procent van de woninginbraken zouden kunnen voorkomen. Het interessante is dat er bijna geen empirisch bewijs is dat voorspellen werkt. Op dit moment zijn er vijf à zes goede studies geweest waaruit verschillende keren is gebleken dat er geen causaal verband is tussen die “voorspellingssystemen” en het dalen van de criminaliteit. Dus in Nederland, maar ook in andere landen, zie je dat de politie er steeds meer van afstapt, en zich juist in toenemende mate gaat richten op algoritmes die terugkijken, of in het hier en nu blijven.

Dat zie je vooral in de EncroChat-zaak, waarin de politie beschikt over miljoenen criminele berichten. Doordat alles en iedereen surveilleert is de politie bovendien in een situatie beland waarin ze beschikt over zoveel data dat niet het vooruitkijken, maar het terugkijken steeds belangrijker en interessanter gaat worden. Dat veroorzaakt een omkering: in het verleden was er eerst een verdenking en dan volgde de surveillance. Nu is er eerst surveillance en volgen pas daarna de verdenkingen. Dat is de paradigmashift die plaatsvindt. Rechtsstatelijk gezien leidt dat tot tal van nieuwe vragen. De juridische werkelijkheid is op dit moment niet toegesneden op deze manier van data verzamelen en verwerken. Dat is echt een lacune in het Wetboek, omdat het niet duidelijk is op welke grond de politie data mag verzamelen, verwerken en gebruiken voor nieuwe onderzoeken. Laatst nog was die gezichtsherkenningstechnologie in het nieuws. Op dit moment bepaalt de politie zelf wanneer en hoe ze die inzetten, maar de wettelijke grondslagen daarvoor ontbreken of zijn onduidelijk.’

‘Surveillance wordt altijd in sciencefictionachtige scenario’s gepresenteerd, zowel negatief als positief. Dat vind ik afleiden. De effecten zijn er nu al.’

In uw boek schetst u een beeld van criminologie als wetenschappelijke discipline die de digitaliseringsslag niet echt gemaakt lijkt te hebben, en qua onderzoek achterloopt op de werkelijkheid. Hoe kan dat? 

‘De criminologie is van oudsher op mensen gericht. Daardoor wordt onvoldoende beseft hoe AI zelf tot totaal nieuwe vormen van criminaliteit gaat leiden. Criminaliteit daalt sinds 2001 fors op alle gebieden. Een uitzondering is cybercriminaliteit. Logisch, de samenleving digitaliseert, en criminaliteit dus ook. Nu zie je de opvolger al ontstaan: AI-criminaliteit. Dat is wezenlijk anders dan cybercriminaliteit. Voorheen had je om te hacken een grote technische kennis nodig. Voor AI-criminaliteit vraag je gratis toegankelijke chatbots zoals ChatGPT gewoon om een code te schrijven voor oplichtingsmails waarmee je mensen vraagt om geld te doneren. Daarnaast is de schaal veel groter, omdat hele sectoren afhankelijk zijn van AI. Zo rijden in San Francisco al zelfsturende auto’s. Je kunt je voorstellen dat als het centrale AI-systeem wordt gehackt, er terroristische aanslagen mee gepleegd gaan worden. Het is eigenlijk wachten tot zoiets zich aandient.’

Hoe kijkt u dan naar de snelle ontwikkelingen binnen AI? Moeten die een halt toe worden geroepen? Of vooral in goede banen worden geleid? 

‘Dat laatste. Er heerst nu eenmaal een bepaald “innovatie-realisme”, dus het idee dat technologische innovatie onontkoombaar is. Daar zitten ook goede kanten aan, maar ik probeer wel telkens duidelijk te maken dat je soms vraagtekens kunt zetten bij de invoering van bepaalde nieuwe technologieën. Dat doen we nu te weinig. Terwijl: soms is het helemaal niet nodig. Een goed voorbeeld is het Outletcentrum in Roermond, dat te maken had met toenemende winkeldiefstal. Daarom werd besloten om met algoritmes de wegen rond Roermond te scannen. Wanneer langsrijdende auto’s een Oost-Europees kenteken hadden, was er een grote kans dat ze staande werden gehouden. Dan lanceer je dus een zogenaamd technologische oplossing waarvan je vooraf al weet dat die haaks staat op heel veel publieke waarden. En heb je tegelijkertijd onvoldoende oog voor het feit dat een analoge oplossing – drie bewakers erbij in het outletcentrum – misschien makkelijker, goedkoper, effectiever en minder onethisch is dan het uitrollen van een nieuwe technologie waarvan niemand precies weet hoe het werkt.

De onderliggende opvatting die dan heerst, is dat technologie neutraal is en kan functioneren als de oplossing voor bijna elk maatschappelijk probleem, wat Evgeny Morozov (blogger en internetscepticus, TG) “solutionisme” heeft genoemd. Hetzelfde zie je gebeuren bij de zelfscankassa in supermarkten. Technologie wordt eerst ingezet als oplossing – in dit geval het besparen op caissières en dus de winst verhogen –, maar blijkt in de praktijk te leiden tot meer criminaliteit. De oplossing is dan niet dat de zelfscankassa weer wordt weggehaald, maar dat de technologie nóg doordringender moet worden, bijvoorbeeld door meer camera’s met gezichtsherkenning op te hangen.’

Terwijl mensen toch ook behoefte hebben aan sociaal contact. 

‘Ja. Je wilt de politie fysiek zien op straat, want je wilt met ze in gesprek kunnen, ze om uitleg kunnen vragen. Uit onderzoek blijkt ook dat de meeste mensen dat belangrijker vinden dan het effectief bestrijden van criminaliteit en het vergroten van de veiligheid. Wanneer de politie onzichtbaar wordt, komt de sociale legitimiteit van de overheid op het spel te staan. Maar door digitalisering en AI vermindert de sociale cohesie juist. Dat zie je al bij het installeren van de digitale deurbel, wat natuurlijk geen bel is, maar een bewakingscamera, zoals de Tesla een rijdende surveillancecamera is geworden. Op die manier delegeer je de verantwoordelijkheid om op elkaar te letten aan techniek. Terwijl we juist weten dat sociale controlemechanismen belangrijk zijn in de strijd tegen onveiligheid. Dat is ironisch: techbedrijven beweren dat je woninginbraken kunt voorkomen door die camera’s, maar daar is helemaal geen bewijs voor. Alsof dat er niet meer toe doet.’

Uw boek geeft soms een dystopisch gevoel. Waar gaat dit naartoe?

‘Ik heb niets met dystopische beelden. Surveillance wordt altijd in sciencefictionachtige scenario’s gepresenteerd, zowel negatief als positief. Dat vind ik afleiden. Wat ik heb willen laten zien in mijn boek, is dat het al gebeurt. It’s already here. En het zal verder toenemen door normalisering en voortschrijdende technologische ontwikkelingen. Maar we hoeven het niet te hebben over Verweggistan-scenario’s, want de effecten zijn er nu al. Nu! Alleen we zien ze niet.’