Boek: Weapons of Math Destruction

Maken algoritmes eerlijkere, neutralere, objectievere keuzes dan mensen? Nee, zo legt Cathy O’Neill uit in haar zeer toegankelijke boek.

  • Wiskundig is het onmogelijk om onze rommelige wereld scherp te categoriseren. Algoritmes werken ‘van binnen’ met kansberekening en waarschijnlijkheid. Daardoor zullen er per definitie foutieve boordelingen ontstaan.
  • Algoritmes worden ontworpen door mensen. Welke data en welke factoren worden gewogen, en welke niet, dat is een politieke keuze.
  • De algoritmes worden afgetraind op data uit de realiteit, en daar zitten maatschappelijke ongelijkheden in. Die kunnen worden opgepikt en versterkt. Zo toont Google bijvoorbeeld minder snel advertenties voor goedbetaalde banen aan vrouwen, omdat vrouwen minder snel een goedbetaalde baan hebben. Het glazen plafond werd gereflecteerd in het algoritme.

Voor een algoritmisch dubbeltje geboren
In dit boek vol voorbeelden wordt duidelijk hoe algoritmes maatschappelijke ongelijkheid juist in de hand werken. Kans-arme mensen worden door deze systemen vaak als risico beoordeeld, en krijgen nog minder kansen op een goeie baan, een goedkope lening, etc.

Dat is niet nieuw, maar het wordt nu op steeds meer plaatsen toegepast. Daardoor neemt het aantal plaatsen waar het voordeel van de twijfel wordt gegeven, of waar je met een schone lei kan beginnen, af.

Ontransparant
Het is ook nog eens enorm on-transparant.

  • Je weet vaak niet of je algoritmisch beoordeeld bent.
  • Waar ons wetboek door iedereen in te zien is, zijn algoritmes dat niet. Als je denkt dat verkeerd beoordeeld bent, is het moeilijk om te achterhalen welke factoren allemaal door deze systemen zijn meegewogen (en welke niet), hoe zwaar die wogen.
  • Waar je bij een vermeende wetsovertreding altijd naar de menselijke rechter kan stappen om je gelijk te halen, sta je bij algoritmes tegenover een helpdesk, manager of ambtenaar. Daar loop je tegen het enorme vertrouwen in ‘objectieve en neutrale’ algoritmes aan. Door dat vertrouwen raakt de bewijslast omgedraaid.

Voorbeeld: kan je een ‘goeie leraar’ in cijfers vangen?
Een lerares dreigt te worden ontslagen omdat ze volgens een algoritme bij de 5% slechtste leraren hoort. Tegenover deze kansberekening, wordt ze gevraagd om hard bewijst te leveren dat ze wel een goeie lerares is.

Wanneer ze dieper graaft ontdekt ze hoe de algoritmes in elkaar zitten: vooral cijfers over leesvaardigheid wegen zwaar. En veel van haar studenten zijn volgens de cijfers niet veel beter gaan lezen dat jaar. In hoeverre is dat haar aan te rekenen? Veelal spelen factoren in het gezin daar een belangrijke rol bij.

Later bleek: een collega uit het jaar voor haar sjoemelde met de cijfers om een goede beoordeling te krijgen. Toen de kinderen bij haar kwamen, en zij de cijfers wel eerlijk opstelde, leek hun voortgang daardoor relatief klein.

ONLINE BESTELLEN

In de nieuwe General Data Protection Regulation, de nieuwe Europese privacy wetgeving, wordt het verboden om belangrijke beslissingen op een 100% algoritmische manier te maken.