Wiskundige Cathy O’Neil en de ‘weapons of math destruction’

In maart 2012 verscheen in The Washington Post een verhaal over de 31-jarige Sarah Wysocki, een leerkracht aan de MacFarland Middle School in Washington DC. Ze was geliefd bij de ouders, de kinderen en de schoolleiding. ‘Het is een genot om een klaslokaal binnen te lopen waarin goed onderwijs, gemotiveerde leerlingen en een positieve leeromgeving zo effectief worden gecombineerd,’ schreef haar meerdere bij haar evaluatie, mei 2011. Twee maanden later werd ze ontslagen. De reden was een complex wiskundig model dat meet wat het aandeel van een leerkracht is in de testresultaten van de kinderen. Volgens dat model hoorde Wysocki bij de slechtste 2 procent van de leerkrachten. De regering-Obama was vastbesloten om het onderwijs te verbeteren en big data wezen de weg. Als leerlingen niet voldoende voortgang lieten zien, moesten de docenten weg. Honderden leerkrachten zijn op deze manier ontslagen.

Een schoolhoofd in New York wilde graag weten hoe het algoritme in elkaar stak en belde het ministerie van Onderwijs. ‘O, dat wil je niet weten,’ zei iemand van het ministerie, ‘het is wiskunde.’

Het geval trok de aandacht van Cathy O’Neil, die op dat moment actief was bij Occupy Wall Street. O’Neil deed een Freedom of Information Act-verzoek, om de computercode te krijgen. Maar dat verzoek werd geweigerd. De denktank uit Madison, Winconsin die verantwoordelijk is voor het model, heeft een licentieovereenkomst waarin staat dat niemand de code mag inzien.

Niemand van het departement van Onderwijs begrijpt het model, een leerkracht weet niet waar haar score vandaan komt en hoe ze die kan verbeteren. Ze kan er wél om ontslagen worden. Een leerkracht een score geven op basis van een ondoorzichtig algoritme, gebaseerd op de testcode van ongeveer vijfentwintig kinderen. Alleen al statistisch was het niet te verdedigen. En ze wist waar ze het over had. O’Neil was niet zo maar een occupier. Ze had jarenlang op Wall Street gewerkt, als quant, een wiskundige die dit soort modellen bouwde om financiële beslissingen te nemen.

Aan de telefoon praat ze een beetje als de vrouwelijke versie van HAL, de intelligente computer uit 2001.

Een enorme nerd

‘Mathematician, data nerd, blogger, writer, loud mouth’ staat bij haar Twitteraccount.
Aan de telefoon praat ze een beetje als de vrouwelijke versie van HAL, de intelligente computer uit 2001: A Space Odyssey, die niet goed weet te antwoorden op vragen die niet helemaal logisch zijn. Een vraag over kunstmatige intelligentie beantwoordt ze met: ‘Definieer kunstmatige intelligentie.’ Als ik later in het interview vraag of ze als kind huisdieren had, herhaalt ze de vraag. ‘Had ik huisdieren? How was that a question you needed to ask me?’ Maar dan klinkt haar stem wat vriendelijker: ‘Ik had konijnen en honden en katten. Ik ben een heel empathisch persoon. Ik geef veel om dingen. Ik was een somber kind. Ik had veel existentiële angsten. Ik dacht veel na over de aard van het bestaan en las veel Russische romans. Dostojevski en zo. Maar ik was niet politiek.’

‘Ik was een enorme nerd in seventh grade,’ schrijft Cathy O’Neil in een post op haar populaire blog Mathbabe, ‘ik was het soort akelig gevoelige nerd dat zich er volledig van bewust is wat een buitenstaander hij of zij is – zich altijd bewust van de wreedheid van de mensen die de macht hebben, en altijd meelevend met de verschillende slachtoffers (meestal anderen). Dit soort nerd heeft geluk als hij of zij de puberteit overleeft zonder zelfmoord te plegen.’

‘Ik vertelde je dat ik een somber kind was,’ zegt ze, ‘ik heb drie weken in het ziekenhuis gelegen. Ik was suïcidaal. Ze gaven me medicijnen en therapie.’

Was de wiskunde een uitvlucht?
‘Ja. Honderd procent. Wiskunde was een schuilplaats. Wiskunde is mooi en waar. Er is niets corrupts aan.’

Sexy data

Als meisje keek ze vaak uit het autoraam naar de getallen op de nummerborden van de auto’s die langs reden. Bij 43, 47 of 53 veerde ze op. Een priemgetal! Zag ze een nummerbord met een niet-priemgetal, zoals 45, dan bracht ze dat in gedachten terug tot de priemfactoren: 45 = 3 x 3 x 5. Na een paar helse jaren op highschool wist ze haar draai te vinden in het academische leven. Ze studeerde in Berkeley, promoveerde aan Harvard en werd professor aan Barnard College in New York. Ze trouwde met de bekende Nederlandse wiskundige Aise Johan de Jong, kreeg drie zoons en begon zich tegelijkertijd te ergeren aan de traagheid van de academische wereld.

In 2006 maakte ze de overstap naar de financiële wereld. Ze kon aan de slag bij D.E. Shaw, het bedrijf van oud Harvard-president Larry Summers. Het bedrijf stond daarom bekend als de Harvard van de hedgefunds: beleggingsfondsen waar een beperkt aantal investeerders aan mag meedoen en die een grotere vrijheid hebben dan gewone beleggingsfondsen. Bij Shaw waren – anders dan bij andere financiële instellingen – de wiskundigen de baas. Bij D.E. Shaw verdiende Cathy O’Neil drie keer zo veel als op de universiteit. Ze vond het leuk om te laten zien hoe goed ze was en hoe haar slimheid geld kon opleveren. O’Neil maakte er deel uit van de tienkoppige futures group. Het was spannend. Ze mocht niet eens tegen haar kamergenoot vertellen waar ze aan werkte. ‘Er was een celstructuur zoals bij Al-Qaida. Mocht een van de quants – zoals Wall Street-wiskundigen genoemd werden – overstappen naar Bridgewater of J.P. Morgan, dan zou die alleen de kennis uit de eigen cel meenemen.’

Het werk was opwindend: ‘Ik hield van de analyse. Het vakgebied datawetenschap komt voor een groot deel uit de financiële wereld.’ O’Neil had toegang tot prachtige geheime databronnen: ‘Sexy data.’ De triljoenen dollars die over de continenten golfden, met de tijdzones mee. ‘Wiskundig gezien vond ik het interessant. Een echte uitdaging. Een typische vraag was hoe je data uit verschillende landen in verschillende tijdzones kon gebruiken in combinatie met iets wat nu op dit moment gebeurde, om voorspellingen te kunnen doen.’

De crash van 2008 was ervoor nodig om O’Neil echt in te laten zien dat het geen leuk wiskundig spelletje was.

Spelen met pensioenen

Maar de echte wereld is wispelturig. Dat realiseerde O’Neil zich op een hete zomerdag in New York. O’Neil: ‘Op die dag stopte de airconditioning met werken. De “slimme” ventilatoren in de ruimte waar de servers stonden, raakten oververhit en besloten om zichzelf te sparen, in plaats van te blijven werken. De ventilatoren schakelden zichzelf uit waarna alle computers en dus het hele handelssysteem down gingen. Dat hoorde niet te gebeuren. Maar het gebeurde wel.’ Het begon ook langzaam maar zeker door te dringen dat de getallen op haar scherm anders waren dan de getallen waarmee ze als wiskundige gewend was te spelen. Dit waren de pensioenen van echte mensen en hun hypotheken. Dumb money, in Wall Street-termen. Nog steeds zag O’Neil de hedgefondsen als moreel neutraal: ‘Aaseters in het financieel systeem, op zijn slechtst.’ De crash van 2008 was ervoor nodig om O’Neil echt in te laten zien dat het geen leuk wiskundig spelletje was. ‘De crisis begon. Ik keek om me heen en ik zag mensen die niet wisten wat ze aan het doen waren, niet wisten hoe ze het moesten oplossen en niet wisten welk effect ze op de wereld hadden.’

Was er echt niemand die begreep wat er gebeurde?
‘Er zijn mensen die expert zijn op een deelgebied. Maar zelfs de mensen die experts waren op het gebied van hypotheken waren zich niet bewust van wat er gebeurde bij de credit default swaps bijvoorbeeld.’ Een credit default swap is een overeenkomst tussen twee partijen waarbij een kredietrisico van een derde partij wordt overgedragen. In feite is het een soort kansspel waarbij gespeculeerd wordt over de grootte van de kans dat een partij zijn schulden niet kan terugbetalen. Portefeuilles van dubieuze leningen werden samengevoegd met betrouwbaarder leningen. De optelsom hiervan kreeg een ‘betrouwbaarheidsstempel’ van een toezichthouder. In het beste geval een triple A-rating. Hier werd flink mee gesjoemeld, om het vriendelijk uit te drukken. ‘Ik kan me herinneren dat we in mijn groep verbaasd waren over de omvang van de credit default swap markt,’ zegt O’Neil, ‘van de grootte ervan. Die was een grote verrassing voor ons. Het is duidelijk dat de mensen in de markt het wel wisten, maar ze hadden niet echt door wat er precies aan de hand was. Het is zo’n groot systeem.’

Waren er geen mensen met begrip op metaniveau? Die misschien niet de details begrepen, maar wel de grote lijnen?
‘Dat is een van de redenen dat ik zo teleurgesteld was. Je zou denken dat dat wel zo was. Mijn baas Larry Summers had zo iemand moeten zijn. Maar hij was net zo naïef als ieder ander. Er heerste voornamelijk een gevoel van: pak wat je kunt pakken zolang het nog kan.’

Wat deed u toen u dat doorkreeg?
‘Ik dacht eerst nog dat ik het met wiskunde kon oplossen. En dat ik de verkeerde soort wiskunde gebruikte. Ik moest gewoon de wiskunde repareren! Ik probeerde de risicomodellen beter te maken. Maar begreep uiteindelijk dat dat het probleem niet was. De wiskunde was niet het probleem. De problemen zijn liegen, corruptie en hebzucht.’

Alles onder controle

Het doel van de computermodellen was om ingewikkelde financiële informatie terug te brengen tot één getal. Een getal waarmee mensen als Larry Summers de klanten konden voorspiegelen dat alles onder controle was. Cathy O’Neil wilde niet langer onderdeel zijn van dit systeem.

U heeft aan de ‘andere kant’ gewerkt. Als er één boodschap is die u zou willen meegeven aan mensen die daar niet hebben gewerkt, hoe zou die dan luiden?
‘De enige boodschap die ik zou willen geven aan de mensen die niet aan de andere kant – aan de binnenkant – hebben gewerkt, is dat het zo erg is als ze denken dat het is. Dat wil zeggen: als ze denken dat het een hebzuchtig, competitief riool is, dan hebben ze gelijk. Dat wil zeggen dat de mensen die het doen slechte mensen zijn. Het is een patroon in onze geschiedenis, dat echt heel goede mensen heel walgelijke dingen doen. Ik heb nog steeds veel vrienden in die wereld.’

Hoe verdedigen je collega’s en bevriende quants hun werk?
‘Ik geloof niet dat er iemand was die zei dat we goed werk deden. Het debat ging meer over of we ons rot zouden moeten voelen over het feit dat we probeerden zo veel mogelijk geld te verdienen. Ik kan me de man herinneren die zei: “Mijn vader werkte in een mijn. Hij offerde zijn lichaam op voor zijn gezin en ik wil ervoor zorgen dat mijn kinderen en mijn kleinkinderen niet in een kolenmijn hoeven te werken.”’

Zelf stapte u eruit. Bent u gewoon naar uw baas gestapt en hebt u gezegd: ik kap ermee?
‘Ja.’

Wat zei hij?
‘O, dat hij het jammer vond dat ik wegging. Ik denk niet dat hij verbaasd was. Ik was niet heel gelukkig daar.’

Bent u de enige die is vertrokken?
‘Voor zover ik weet wel. De mensen dachten dat ik gek geworden was.’

Waarom?
‘Ik verdiende veel geld.’

Miljoenen oplossingen

O’Neil werd een data-scepticus, en dat is niet makkelijk downtown New York, waar alles nu om data draait. Wie houdt er van een scepticus? ‘Wie houdt er van een scepticus?’ herhaalt O’Neil. ‘Inderdaad! Journalisten.’ Ze werd ingehuurd door de Columbia School of Journalism. Ook sloot ze zich aan bij de Occupy Wall Street-beweging, waar ze nu al jaren meedenkt over manieren om het financiële systeem te hervormen.

Wie houdt er van een scepticus?’ herhaalt O’Neil. ‘Inderdaad! Journalisten.

Wat zou er moeten veranderen?
‘Ik denk dat het grootste probleem ongelijkheid is. Rijke mensen hebben heel andere problemen en zorgen dan arme mensen. Ze kunnen een ander soort risico nemen. Ook kunnen ze het beleid, de politiek en de regels beïnvloeden om ervoor te zorgen dat ze nooit naar de gevangenis zullen gaan. In die zin is het geld niet het probleem, maar de ongelijkheid. We geloven echt in kapitalisme in dit land. En ondanks het feit dat rijke mensen nooit rijk kunnen worden zonder een gemeenschap, denken ze graag dat ze zelf de enige voorwaarde waren om het fortuin te vergaren. Als ik iets heb geleerd in mijn vijf jaar als Occupier, is het dat het geen zin heeft om met een oplossing te komen voor ongelijkheid. Er zijn honderden miljoenen oplossingen voor ongelijkheid. Wat nodig is, is een oplossing waar mensen het over eens kunnen worden. En die hebben we nu niet. Je kunt niet zomaar zeggen: laten we gewoon de belastingschaal naar 90 procent verhogen voor mensen die meer dan een miljoen dollar per jaar verdienen. Je zou het probleem misschien wel kunnen aanpakken met beter onderwijs. Dan speel je in op het gevoel van mensen dat het eerlijk is als jonge mensen een goede opleiding krijgen. Dat is een aardig overtuigend argument, ook voor rijke mensen. Kinderen zouden mogelijkheden moeten hebben.’

Geheime modellen

Waar Cathy O’Neil haar pijlen nu op richt, zijn de geheime wiskundige modellen die niet alleen een steeds grotere impact krijgen op de financiële wereld, maar ook op het leven van gewone mensen – met name van de zwakkeren in de maatschappij. De geheime modellen die op basis van data de kans berekenen dat je een goede werknemer zult zijn, een potentiële belastingontduiker, een crimineel of een financiële last voor een verzekeringsmaatschappij. De weapons of math destruction, zoals O’Neil ze noemt. De modellen waar niemand wat van durft te zeggen, omdat ze gebaseerd zijn op ‘objectieve’ feiten en wiskunde, die maar weinigen begrijpen. Ze zijn daarom een machtig wapen in de handen van de mensen die de data en dus de macht hebben. Als we niet uitkijken, zullen ze de ongelijkheid alleen maar groter maken.

Als predictive policing-modellen aangeven dat er in arme wijken meer criminaliteit is, zullen de politiewagens meer rondrijden in de arme wijk en arme jongens betrappen die dezelfde dingen doen die rijke jongens ook doen, en die data gaan terug in het model dat daardoor nog sterker het beeld geeft dat het niet pluis is in de arme wijk.
Een ander voorbeeld is een wiskundig model dat voorspelt hoe groot de kans is dat een verdachte nadat hij ontslagen wordt uit de gevangenis zal terugvallen in crimineel gedrag. Als iemand het label high risk krijgt, is de kans groter dat de verdachte een langere straf krijgt en na een langere straf zal het moeilijker zijn om weer een baan te vinden. De algoritmes kunnen zo worden als een ouroboros, de slang die in zijn eigen staart bijt.

Ik hoorde dat Microsoft alle data van online games die op de X-box gespeeld worden analyseert, om te kijken hoe jongeren leren. Zou dat ook niet goed kunnen uitpakken? Dat kinderen die nu op school slecht presteren omdat ze op een andere manier leren of omdat ze op een arme school zitten, alsnog een kans krijgen?
‘Dat is een heel goed voorbeeld van hoe het helemaal fout zou kunnen gaan of dat het juist zou kunnen helpen. Nu zijn de regels niet helder. Dus het kan makkelijk verkeerd gaan. Daar maak ik me zorgen over. Zonder goede regels kunnen we het leven van mensen ruïneren, zonder goede reden. We weten nog niet hoe dit allemaal gebruikt gaat worden, maar als we nu om ons heen kijken naar hoe de data nu ingezet worden, dan is dat niet noodzakelijkerwijs in ons belang. Als van mij bekend was geweest dat ik suïcidaal ben geweest, was ik misschien niet toegelaten tot Berkeley en was ik nooit op Harvard terechtgekomen.’

Dit artikel is mede mogelijk gemaakt door het Fonds Bijzondere Journalistieke Projecten.