Boek: Frank Pasquale – Black Box Society

De black box is een term uit de designwereld die duidt op een (deel van) een systeem waarvan de werking niet inzichtelijk is. In onze data wereld hebben we het dan vaak over algoritmes die op een bepaalde manier data verwerken. Neem bijvoorbeeld de algoritmes van Google en Facebook die bepalen welke resultaten of nieuwtjes je te zien krijgt. Hoe deze algoritmes werken, dat is het geheim van de smid.

Subjectieve oordelen mag je wel verkopen

Algoritmes worden steeds vaker gebruikt om tot subjectieve oordelen over ons te komen. Bijvoorbeeld om onze kredietwaardigheid te bepalen, maar ook om te achterhalen of we makkelijk te overtuigen zijn, of we gevoelig zijn voor verslaving, of we mensen-mensen zijn, enzovoorts. Dit is waar de crux van de dataverzameling zit. Niet alleen in het verzamelen van objectieve feiten, maar in het automatisch genereren van meningen (meestal in de vorm van scores). De brondata mag niet verkocht worden, maar de meningen zijn als vrije meningsuiting beschermd, en mogen zonder probleem worden doorverkocht. Hierdoor is een miljardenmarkt van ‘databrokers‘ ontstaan.

Omdat data vaak incorrect is, vol gaten zit of verkeerd wordt geïnterpreteerd slaan deze beoordelingen geregeld de plank mis. Het vermoeden is zo’n 20% van de gevallen. Maar dat maakt voor de kopers niet uit:

  • Elke analyse is beter dan niks. Als de totale kosten dalen, of het aantal verkochte producten toeneemt, dan doet het er niet toe als in dat proces sommige klanten of burgers ten onrechte zijn behandeld.
  • Deze data vervult vaak een belangrijke rol in interne politieke processen, want schijnzekerheid ziet er van buiten net zo uit als normale zekerheid.

“Technocrats and managers cloak contestable value judgements in the garb of ‘science’: thus the insatiable demand for mathematical models that reframe subtle and subjective conclusions as the inevitable dictate of data”
– Frank Pasquale

  • Deze partijen krijgen geen tegengas van de beoordeelde burger:
    1. In de markt voor databrokers gaat meer dan 150 miljard euro om. Maar de meeste mensen hebben er nog nooit van gehoord.
    2. Als mensen het weten, dan zullen ze nog steeds niet zo snel klagen omdat ze geloven dat ‘neutrale’ algoritmes hen eerlijker zullen beoordelen. “Liever een algoritme dan mijn manager”.
    3. Zelfs als mensen het wel weten en inzien dat een algoritme een rol speelde in een onterechte beoordeling, dan nog zijn die algoritmes niet in te zien. “Beroepsgeheim”.

 

BOEK Te koop op bol.com

VIDEO Het TV programma Kassa behandelde een klacht van een onterecht beoordeelde jonge ondernemer.

PROJECT De Correspondent lanceerde in 2016 “Heel Holland Transparant” dat de opkomst van de ‘scorebord maatschappij’ aankaartte.

ARTIKEL Maaike Goslinga deelt haar onderzoek naar databrokers.

Zie ook: het boek Weapons of Math Destruction, het rapport over databrokers.