{"id":343873,"date":"2016-11-16T07:00:50","date_gmt":"2016-11-16T06:00:50","guid":{"rendered":"https:\/\/www.vn.nl\/?p=343873"},"modified":"2016-11-16T10:19:57","modified_gmt":"2016-11-16T09:19:57","slug":"cathy-oneil-en-weapons-math-destruction","status":"publish","type":"post","link":"https:\/\/www.vn.nl\/cathy-oneil-en-weapons-math-destruction\/","title":{"rendered":"Wiskundige Cathy O’Neil en de ‘weapons of math destruction’"},"content":{"rendered":"
Cathy O’Neil, \u2018mathematician, data nerd, blogger, writer, loud mouth\u2019 werkte een tijd lang in de financi\u00eble wereld. Tot de crisis uitbrak: ‘G<\/span><\/span>een leuk wiskundig spelletje’. Nu trekt ze ten strijde tegen de geheime wiskundige formules\u00a0die steeds meer ons leven bepalen.<\/div>\n

In maart\u00a02012 verscheen in The Washington Post<\/em>\u00a0een verhaal over de 31-jarige Sarah Wysocki, een leerkracht aan de MacFarland Middle School in Washington DC. Ze was geliefd bij de ouders, de kinderen en de schoolleiding. \u2018Het is een genot om een klaslokaal binnen te lopen waarin goed onderwijs, gemotiveerde leerlingen en een positieve leeromgeving zo effectief worden gecombineerd,\u2019 schreef haar meerdere bij haar evaluatie, mei 2011. Twee maanden later werd ze ontslagen. De reden was een complex wiskundig model dat meet wat het aandeel van een leerkracht is in de testresultaten van de kinderen. Volgens dat model hoorde Wysocki bij de slechtste 2 procent van de leerkrachten. De regering-Obama was vastbesloten om het onderwijs te verbeteren en big data<\/span> wezen de weg. Als leerlingen niet voldoende voortgang lieten zien, moesten de docenten weg. Honderden leerkrachten zijn op deze manier ontslagen.<\/p>\n

Een schoolhoofd in New York wilde graag weten hoe het algoritme in elkaar stak en belde het ministerie van Onderwijs. \u2018O, dat wil je niet weten,\u2019 zei iemand van het ministerie, \u2018het is wiskunde.\u2019<\/p>\n

Het geval trok de aandacht van Cathy O\u2019Neil, die op dat moment actief was bij Occupy Wall Street. O\u2019Neil deed een Freedom of Information Act-verzoek, om de computercode te krijgen. Maar dat verzoek werd geweigerd. De denktank uit Madison, Winconsin die verantwoordelijk is voor het model, heeft een licentieovereenkomst waarin staat dat niemand de code mag inzien.<\/p>\n

Niemand van het departement van Onderwijs begrijpt het model, een leerkracht weet niet waar haar score vandaan komt en hoe ze die kan verbeteren. Ze kan er w\u00e9l om ontslagen worden. Een leerkracht een score geven op basis van een ondoorzichtig algoritme, gebaseerd op de testcode van ongeveer vijfentwintig kinderen. Alleen al statistisch was het niet te verdedigen. En ze wist waar ze het over had. O\u2019Neil was niet zo maar een occupier.<\/span> Ze had jarenlang op Wall Street gewerkt, als quant<\/span>, een wiskundige die dit soort modellen bouwde om financi\u00eble beslissingen te nemen.<\/p>\n

Aan de telefoon praat ze een beetje als de vrouwelijke versie van HAL, de intelligente computer uit 2001.<\/span><\/q><\/p>\n

Een enorme nerd<\/h5>\n

\u2018Mathematician, data nerd, blogger, writer, loud mouth<\/span>\u2019 staat bij haar Twitteraccount.
\nAan de telefoon praat ze een beetje als de vrouwelijke versie van HAL, de intelligente computer uit 2001: A Space Odyssey<\/span>, die niet goed weet te antwoorden op vragen die niet helemaal logisch zijn. Een vraag over kunstmatige intelligentie beantwoordt ze met: \u2018Definieer kunstmatige intelligentie.\u2019 Als ik later in het interview vraag of ze als kind huisdieren had, herhaalt ze de vraag. \u2018Had ik huisdieren? How was that a question you needed to ask me<\/span>?\u2019 Maar dan klinkt haar stem wat vriendelijker: \u2018Ik had konijnen en honden en katten. Ik ben een heel empathisch persoon. Ik geef veel om dingen. Ik was een somber kind. Ik had veel existenti\u00eble angsten. Ik dacht veel na over de aard van het bestaan en las veel Russische romans. Dostojevski en zo. Maar ik was niet politiek.\u2019<\/p>\n

\u2018Ik was een enorme nerd in seventh grade<\/span>,\u2019 schrijft Cathy O\u2019Neil in een post<\/span> op haar populaire blog Mathbabe, \u2018ik was het soort akelig gevoelige nerd dat zich er volledig van bewust is wat een buitenstaander hij of zij is \u2013 zich altijd bewust van de wreedheid van de mensen die de macht hebben, en altijd meelevend met de verschillende slachtoffers (meestal anderen). Dit soort nerd heeft geluk als hij of zij de puberteit overleeft zonder zelfmoord te plegen.\u2019<\/p>\n

\u2018Ik vertelde je dat ik een somber kind was,\u2019 zegt ze, \u2018ik heb drie weken in het ziekenhuis gelegen. Ik was su\u00efcidaal. Ze gaven me medicijnen en therapie.\u2019<\/p>\n

Was de wiskunde een uitvlucht?<\/em>
\n\u2018Ja. Honderd procent. Wiskunde was een schuilplaats. Wiskunde is mooi en waar. Er is niets corrupts aan.\u2019<\/p>\n

Sexy data<\/h5>\n

Als meisje keek ze vaak uit het autoraam naar de getallen op de nummerborden van de auto\u2019s die langs reden. Bij 43, 47 of 53 veerde ze op. Een priemgetal! Zag ze een nummerbord met een niet-priemgetal, zoals 45, dan bracht ze dat in gedachten terug tot de priemfactoren: 45 = 3 x 3 x 5. Na een paar helse jaren op highschool wist ze haar draai te vinden in het academische leven. Ze studeerde in Berkeley, promoveerde aan Harvard en werd professor aan Barnard College in New York. Ze trouwde met de bekende Nederlandse wiskundige Aise Johan de Jong, kreeg drie zoons en begon zich tegelijkertijd te ergeren aan de traagheid van de academische wereld.<\/p>\n

In 2006 maakte ze de overstap naar de financi\u00eble wereld. Ze kon aan de slag bij D.E. Shaw, het bedrijf van oud Harvard-president Larry Summers. Het bedrijf stond daarom bekend als de Harvard van de hedgefunds<\/span>: beleggingsfondsen waar een beperkt aantal investeerders aan mag meedoen en die een grotere vrijheid hebben dan gewone beleggingsfondsen. Bij Shaw waren \u2013 anders dan bij andere financi\u00eble instellingen \u2013 de wiskundigen de baas. Bij D.E. Shaw verdiende Cathy O\u2019Neil drie keer zo veel als op de universiteit. Ze vond het leuk om te laten zien hoe goed ze was en hoe haar slimheid geld kon opleveren. O\u2019Neil maakte er deel uit van de tienkoppige futures group<\/span>. Het was spannend. Ze mocht niet eens tegen haar kamergenoot vertellen waar ze aan werkte. \u2018Er was een celstructuur zoals bij Al-Qaida. Mocht een van de quants \u2013<\/span> zoals Wall Street-wiskundigen genoemd werden \u2013 overstappen naar Bridgewater of J.P. Morgan, dan zou die alleen de kennis uit de eigen cel meenemen.\u2019<\/p>\n

Het werk was opwindend: \u2018Ik hield van de analyse. Het vakgebied datawetenschap komt voor een groot deel uit de financi\u00eble wereld.\u2019 O\u2019Neil had toegang tot prachtige geheime databronnen: \u2018Sexy data.\u2019 De triljoenen dollars die over de continenten golfden, met de tijdzones mee. \u2018Wiskundig gezien vond ik het interessant. Een echte uitdaging. Een typische vraag was hoe je data uit verschillende landen in verschillende tijdzones kon gebruiken in combinatie met iets wat nu op dit moment gebeurde, om voorspellingen te kunnen doen.\u2019<\/p>\n

De crash van 2008 was ervoor nodig om O\u2019Neil echt in te laten zien dat het geen leuk wiskundig spelletje was.<\/q><\/p>\n

Spelen met pensioenen<\/h5>\n

Maar de echte wereld is wispelturig. Dat realiseerde O\u2019Neil zich op een hete zomerdag in New York. O\u2019Neil: \u2018Op die dag stopte de airconditioning met werken. De \u201cslimme\u201d ventilatoren in de ruimte waar de servers stonden, raakten oververhit en besloten om zichzelf te sparen, in plaats van te blijven werken. De ventilatoren schakelden zichzelf uit waarna alle computers en dus het hele handelssysteem down<\/span> gingen. Dat hoorde niet te gebeuren. Maar het gebeurde wel.\u2019 Het begon ook langzaam maar zeker door te dringen dat de getallen op haar scherm anders waren dan de getallen waarmee ze als wiskundige gewend was te spelen. Dit waren de pensioenen van echte mensen en hun hypotheken. Dumb money<\/span>, in Wall Street-termen. Nog steeds zag O\u2019Neil de hedgefondsen als moreel neutraal: \u2018Aaseters in het financieel systeem, op zijn slechtst.\u2019 De crash van 2008 was ervoor nodig om O\u2019Neil echt in te laten zien dat het geen leuk wiskundig spelletje was. \u2018De crisis begon. Ik keek om me heen en ik zag mensen die niet wisten wat ze aan het doen waren, niet wisten hoe ze het moesten oplossen en niet wisten welk effect ze op de wereld hadden.\u2019<\/p>\n

Was er echt niemand die begreep wat er gebeurde?
\n<\/em>\u2018Er zijn mensen die expert zijn op een deelgebied. Maar zelfs de mensen die experts waren op het gebied van hypotheken waren zich niet bewust van wat er gebeurde bij de credit default swaps <\/span>bijvoorbeeld.\u2019 Een credit default swap<\/span> is een overeenkomst tussen twee partijen waarbij een kredietrisico van een derde partij wordt overgedragen. In feite is het een soort kansspel waarbij gespeculeerd wordt over de grootte van de kans dat een partij zijn schulden niet kan terugbetalen. Portefeuilles van dubieuze leningen werden samengevoegd met betrouwbaarder leningen. De optelsom hiervan kreeg een \u2018betrouwbaarheidsstempel\u2019 van een toezichthouder. In het beste geval een triple A-rating<\/span>. Hier werd flink mee gesjoemeld, om het vriendelijk uit te drukken. \u2018Ik kan me herinneren dat we in mijn groep verbaasd waren over de omvang van de credit default swap<\/span> markt,\u2019 zegt O\u2019Neil, \u2018van de grootte ervan. Die was een grote verrassing voor ons. Het is duidelijk dat de mensen in de markt het wel wisten, maar ze hadden niet echt door wat er precies aan de hand was. Het is zo\u2019n groot systeem.\u2019<\/p>\n

Waren er geen mensen met begrip op metaniveau? Die misschien niet de details begrepen, maar wel de grote lijnen?<\/em>
\n\u2018Dat is een van de redenen dat ik zo teleurgesteld was. Je zou denken dat dat wel zo was. Mijn baas Larry Summers had zo iemand moeten zijn. Maar hij was net zo na\u00efef als ieder ander. Er heerste voornamelijk een gevoel van: pak wat je kunt pakken zolang het nog kan.\u2019<\/p>\n

Wat deed u toen u dat doorkreeg?<\/em>
\n\u2018Ik dacht eerst nog dat ik het met wiskunde kon oplossen. En dat ik de verkeerde soort wiskunde gebruikte. Ik moest gewoon de wiskunde repareren! Ik probeerde de risicomodellen beter te maken. Maar begreep uiteindelijk dat dat het probleem niet was. De wiskunde was niet het probleem. De problemen zijn liegen, corruptie en hebzucht.\u2019<\/p>\n

\"\"
Cathy O’Neil. Foto: Chantal Heijnen<\/figcaption><\/figure>\n
Alles onder controle<\/h5>\n

Het doel van de computermodellen was om ingewikkelde financi\u00eble informatie terug te brengen tot \u00e9\u00e9n getal. Een getal waarmee mensen als Larry Summers de klanten konden voorspiegelen dat alles onder controle was. Cathy O\u2019Neil wilde niet langer onderdeel zijn van dit systeem.<\/p>\n

U heeft aan de \u2018andere kant\u2019 gewerkt. Als er \u00e9\u00e9n boodschap is die u zou willen meegeven aan mensen die daar niet hebben gewerkt, hoe zou die dan luiden?
\n<\/em>\u2018De enige boodschap die ik zou willen geven aan de mensen die niet aan de andere kant \u2013 aan de binnenkant \u2013 hebben gewerkt, is dat het zo erg is als ze denken dat het is. Dat wil zeggen: als ze denken dat het een hebzuchtig, competitief riool is, dan hebben ze gelijk. Dat wil zeggen dat de mensen die het doen slechte mensen zijn. Het is een patroon in onze geschiedenis, dat echt heel goede mensen heel walgelijke dingen doen. Ik heb nog steeds veel vrienden in die wereld.\u2019<\/p>\n

Hoe verdedigen je collega\u2019s en bevriende quants hun werk?<\/em>
\n\u2018Ik geloof niet dat er iemand was die zei dat we goed werk deden. Het debat ging meer over of we ons rot zouden moeten voelen over het feit dat we probeerden zo veel mogelijk geld te verdienen. Ik kan me de man herinneren die zei: \u201cMijn vader werkte in een mijn. Hij offerde zijn lichaam op voor zijn gezin en ik wil ervoor zorgen dat mijn kinderen en mijn kleinkinderen niet in een kolenmijn hoeven te werken.\u201d\u2019<\/p>\n

Zelf stapte u eruit. Bent u gewoon naar uw baas gestapt en hebt u gezegd: ik kap ermee?<\/em>
\n\u2018Ja.\u2019<\/p>\n

Wat zei hij?<\/em>
\n\u2018O, dat hij het jammer vond dat ik wegging. Ik denk niet dat hij verbaasd was. Ik was niet heel gelukkig daar.\u2019<\/p>\n

Bent u de enige die is vertrokken?<\/em>
\n\u2018Voor zover ik weet wel. De mensen dachten dat ik gek geworden was.\u2019<\/p>\n

Waarom?<\/em>
\n\u2018Ik verdiende veel geld.\u2019<\/p>\n

Miljoenen oplossingen<\/h5>\n

O\u2019Neil werd een data-scepticus, en dat is niet makkelijk downtown<\/span> New York, waar alles nu om data draait. Wie houdt er van een scepticus? \u2018Wie houdt er van een scepticus?\u2019 herhaalt O\u2019Neil. \u2018Inderdaad! Journalisten.\u2019 Ze werd ingehuurd door de Columbia School of Journalism<\/span>. Ook sloot ze zich aan bij de Occupy Wall Street-beweging, waar ze nu al jaren meedenkt over manieren om het financi\u00eble systeem te hervormen.<\/p>\n

Wie houdt er van een scepticus?\u2019 herhaalt O\u2019Neil. \u2018Inderdaad! Journalisten.<\/q><\/p>\n

Wat zou er moeten veranderen?<\/em>
\n\u2018Ik denk dat het grootste probleem ongelijkheid is. Rijke mensen hebben heel andere problemen en zorgen dan arme mensen. Ze kunnen een ander soort risico nemen. Ook kunnen ze het beleid, de politiek en de regels be\u00efnvloeden om ervoor te zorgen dat ze nooit naar de gevangenis zullen gaan. In die zin is het geld niet het probleem, maar de ongelijkheid. We geloven echt in kapitalisme in dit land. En ondanks het feit dat rijke mensen nooit rijk kunnen worden zonder een gemeenschap, denken ze graag dat ze zelf de enige voorwaarde waren om het fortuin te vergaren. Als ik iets heb geleerd in mijn vijf jaar als Occupier,<\/span> is het dat het geen zin heeft om met een oplossing te komen voor ongelijkheid. Er zijn honderden miljoenen oplossingen voor ongelijkheid. Wat nodig is, is een oplossing waar mensen het over eens kunnen worden. En die hebben we nu niet. Je kunt niet zomaar zeggen: laten we gewoon de belastingschaal naar 90 procent verhogen voor mensen die meer dan een miljoen dollar per jaar verdienen. Je zou het probleem misschien wel kunnen aanpakken met beter onderwijs. Dan speel je in op het gevoel van mensen dat het eerlijk is als jonge mensen een goede opleiding krijgen. Dat is een aardig overtuigend argument, ook voor rijke mensen. Kinderen zouden mogelijkheden moeten hebben.\u2019<\/p>\n

Geheime modellen<\/h5>\n

Waar Cathy O\u2019Neil haar pijlen nu op richt, zijn de geheime wiskundige modellen die niet alleen een steeds grotere impact krijgen op de financi\u00eble wereld, maar ook op het leven van gewone mensen \u2013 met name van de zwakkeren in de maatschappij. De geheime modellen die op basis van data de kans berekenen dat je een goede werknemer zult zijn, een potenti\u00eble belastingontduiker, een crimineel of een financi\u00eble last voor een verzekeringsmaatschappij. De weapons of math destruction<\/span>, zoals O\u2019Neil ze noemt. De modellen waar niemand wat van durft te zeggen, omdat ze gebaseerd zijn op \u2018objectieve\u2019 feiten en wiskunde, die maar weinigen begrijpen. Ze zijn daarom een machtig wapen in de handen van de mensen die de data en dus de macht hebben. Als we niet uitkijken, zullen ze de ongelijkheid alleen maar groter maken.<\/p>\n

Als predictive policing<\/span>-modellen aangeven dat er in arme wijken meer criminaliteit is, zullen de politiewagens meer rondrijden in de arme wijk en arme jongens betrappen die dezelfde dingen doen die rijke jongens ook doen, en die data gaan terug in het model dat daardoor nog sterker het beeld geeft dat het niet pluis is in de arme wijk.
\nEen ander voorbeeld is een wiskundig model dat voorspelt hoe groot de kans is dat een verdachte nadat hij ontslagen wordt uit de gevangenis zal terugvallen in crimineel gedrag. Als iemand het label high risk<\/span> krijgt, is de kans groter dat de verdachte een langere straf krijgt en na een langere straf zal het moeilijker zijn om weer een baan te vinden. De algoritmes kunnen zo worden als een ouroboros, de slang die in zijn eigen staart bijt.<\/p>\n

Ik hoorde dat Microsoft alle data van online games die op de X-box gespeeld worden analyseert, om te kijken hoe jongeren leren. Zou dat ook niet goed kunnen uitpakken? Dat kinderen die nu op school slecht presteren omdat ze op een andere manier leren of omdat ze op een arme school zitten, alsnog een kans krijgen?
\n<\/em>\u2018Dat is een heel goed voorbeeld van hoe het helemaal fout zou kunnen gaan of dat het juist zou kunnen helpen. Nu zijn de regels niet helder. Dus het kan makkelijk verkeerd gaan. Daar maak ik me zorgen over. Zonder goede regels kunnen we het leven van mensen ru\u00efneren, zonder goede reden. We weten nog niet hoe dit allemaal gebruikt gaat worden, maar als we nu om ons heen kijken naar hoe de data nu ingezet worden, dan is dat niet noodzakelijkerwijs in ons belang. Als van mij bekend was geweest dat ik su\u00efcidaal ben geweest, was ik misschien niet toegelaten tot Berkeley en was ik nooit op Harvard terechtgekomen.\u2019<\/p>\n

Dit artikel is mede mogelijk gemaakt door het Fonds Bijzondere Journalistieke Projecten.<\/em><\/p>\n

\n

Wie:<\/span><\/strong>\u00a0Cathy O\u2019Neil (1972, Boston) is wiskundige. Ze studeerde in Berkeley, promoveerde op Harvard en was wiskundehoogleraar bij Barnard College. In 2006 ging ze werken op Wall Street als kwantitatief analist (quant), bedenker en bouwer van wiskundige financi\u00eble modellen. In 2008 nam ze ontslag en sloot ze zich aan bij Occupy.<\/p>\n

Waarom:<\/span><\/strong> Ze schreef het boek Weapons of Math Destruction<\/em>, waarin ze wijst op de gevaarlijke ondemocratische kanten van geheime wiskundige modellen die de productiviteit van werknemers, de kans op criminaliteit in stadsbuurten of de effectiviteit van docenten meten.<\/p>\n

Enz…<\/span><\/strong> Ze is getrouwd met de bekende Nederlandse wiskundige Aise Johan de Jong, hoogleraar aan de Columbia universiteit in New York. Ze pleit voor een hippocratische eed voor dataweten-schappers, waarin gezworen moet worden dat de wiskundige modellen gemaakt worden om mensen te helpen en niet om mensen te schaden.<\/p>\n

Na de overwinning van Donald Trump postte O\u2019Neil op haar blog Mathbabe<\/a>: \u2018Vanaf nu zijn we allen activist. Negeer de cijfers van peilingen en demografische onzin, het is tijd om informatie boven propaganda te stellen.\u2019<\/p>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

Cathy O’Neil, \u2018mathematician, data nerd, blogger, writer, loud mouth\u2019 werkte een tijd lang in de financi\u00eble wereld. Tot de crisis uitbrak: ‘Geen leuk wiskundig spelletje’. Nu trekt ze ten strijde tegen de geheime wiskundige formules\u00a0die steeds meer ons leven bepalen. In maart\u00a02012 verscheen in The Washington Post\u00a0een verhaal over de 31-jarige Sarah Wysocki, een leerkracht […]<\/p>\n","protected":false},"author":1023,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"content-type":"","ep_exclude_from_search":false,"footnotes":""},"tags":[],"class_list":["post-343873","post","type-post","status-publish","format-standard","hentry"],"acf":[],"author_name":"Gerard Janssen","_links":{"self":[{"href":"https:\/\/www.vn.nl\/wpg-api\/wp\/v2\/posts\/343873","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.vn.nl\/wpg-api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.vn.nl\/wpg-api\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/www.vn.nl\/wpg-api\/wp\/v2\/comments?post=343873"}],"version-history":[{"count":0,"href":"https:\/\/www.vn.nl\/wpg-api\/wp\/v2\/posts\/343873\/revisions"}],"author":[{"embeddable":true,"name":"Gerard Janssen","href":"https:\/\/www.vn.nl\/wpg-api\/wp\/v2\/users\/1023"}],"wp:attachment":[{"href":"https:\/\/www.vn.nl\/wpg-api\/wp\/v2\/media?parent=343873"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.vn.nl\/wpg-api\/wp\/v2\/tags?post=343873"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}