Concept: de Reputatie Economie

Geld is niet ons enige betaalmiddel, we hebben ook ons sociale kapitaal. Een goeie reputatie opent deuren.

Waar dit sociale kapitaal zich vroeger ongrijpbaar in de geesten van de mensen die je kende bevond, wordt deze tegenwoordig steeds in digitale systemen gerepresenteerd. Daarbij zijn er twee soorten:

  1. De publiek zichtbare. Je reputatiescore op AirBNB of Uber is hier een voorbeeld van.
  2. De onzichtbare. Hier hebben ze het bijvoorbeeld over de ‘aantrekkelijkheid scores‘ die dating websites achter de schermen aan je toekennen, de betrouwbaarheids scores die databrokers opstellen, of de categorie-scores die Facebook intern aan je toekent.

Deze scores zijn erg in trek omdat ze helpen bij het afdekken van risico. Overheden en instanties, bedrijven maar ook burgers zien allemaal de voordelen van een systeem dat betrouwbare partijen aanwijst, en hen ‘sub-optimale partijen’ laat ontwijken.

Er wordt dan ook gesproken van de opkomst van een “reputatie economie”.

Reputatie scores zijn toch niet nieuw?

Technologie brengt zelden echt iets nieuws. Ze maakt vooral bestaande dingen makkelijker en wijdverspreid. Banken en verzekeraars werken al inderdaad decennia met kredietscores. Wat nieuw is, is de schaal en de diepgang waarmee dit nu gebeurt.

Qua schaalvergroting: deze praktijken krijgen op steeds meer plaatsen in ons leven een rol, van dating websites tot de plannen van Chinese overheid om elke burger een ‘social credit score’ te geven.

Qua diepgang: er worden binnen elk gebied ook steeds meer factoren gemeten, simpelweg omdat bijna al onze handelingen nu data opleveren. Deze verzamelde gedragsdata, zoals welke websites we bezoeken, wordt vertaald in waarschijnlijkheidsscores die ons verregaand categoriseren. Scores voor betrouwbaarheid, interesses, sociale vaardigheden, politieke voorkeur, verslavingsgevoeligheid, goedgelovigheid, gezondheid, aantrekkelijkheid, sexualiteit, fragiliteit, maatschappelijke stand, enzovoorts.

VIDEO over het ‘social credit’ systeem dat China aan het bouwen is.

VIDEO bekijk de video bij het canonische boek Black Box Society.

Maar mijn data mag toch niet doorverkocht worden?

Wie businessmodellen in de reputatie-economie wil begrijpen, moet een onderscheid maken tussen twee soorten gegevens:

  • Objectieve, feitelijke data. Je postcode bijvoorbeeld, of wat je in Google intypt, welke websites je hebt bezocht, of wat je hebt geliked op Facebook. Deze feitelijke gedragsdata wordt in Europa redelijk beschermd, zolang je niet lukraak op “I agree” knopjes klikt..
  • Interpretaties, die algoritmisch uit objectieve data afgeleid worden. Dit zijn subjectieve oordelen als “we schatten de kans op 31% dat deze persoon softdrugs gebruikt” of “deze persoon is voor 86% geïnteresseerd in dingen die homos interessant vinden”.

Deze afgeleide scores (“derived” of “modelled” data genoemd) zijn technisch gezien niet jouw data, maar eigendom van de partij die de score berekent. In de Verenigde Staten vallen deze scores niet onder de wetten die je persoonsgegevens beschermen. Sterker nog, deze scores genieten bescherming als vorm van meningsuiting. Omdat deze scores als ‘waarschijnlijkheden’ worden gepresenteerd, en niet als feiten, wordt voorkomen dat er rechtszaken komen over laster. Het is ‘maar een mening’.

Ondertussen worden deze waarschijnlijkheden door de partijen die toegang kopen vaak wel als feiten behandeld. Of deze scores kloppen doet er voor hen niet toe; ook als de scores in slechts 80% van de gevallen kloppen kan er al veel geld bespaard worden.

Zogenaamde “databrokers” oftewel datamakelaars, verzamelen en creëren zoveel mogelijk van beide soorten gegevens. Vooral voor de subjectieve ‘meningen’ is er in relatief korte tijd een gigantische markt ontstaan: de schatting is dat er tussen de 150 en 200 miljard euro in omgaat.

ARTIKEL Maaike Goslinga over databrokers.

Lees meer over databrokers op deze site, of over de aankomende Europese privacy wetgeving die deze praktijken erkent.

Korte termijn voordelen

Een belangrijk voordeel voor de burger is de manier waarop reputatiesystemen als vertrouwensmakelaar kunnen optreden, en zo vertrouwen mogelijk maken waar dat er nog niet was. Zo zul je je huis niet zo snel aan een wildvreemde verhuren, maar aan iemand met een hoge score op AirBNB gun je dat vertrouwen misschien wel. Hetzelfde geldt voor artsen of bedrijven met een goeie score. Wanneer een risico kan worden ingeschat, kan dit de drempel tot actie wegnemen. Zolang je een goeie score hebt gaat er een wereld voor je open. 1

Bedrijven hebben op dezelfde manier begrijpelijke voordelen. De klassieker is de kredietscore, waarmee wanbetalers worden geweerd.

Ook in de politiek zien we hoe deze systemen worden omarmd. Zo gebruiken politici verregaande psychologische profilering om twijfelende stemmers te kunnen achterhalen:

 

Korte termijn gevaren: te veel vertrouwen in scores

Deze systemen zijn op hun best als hun betrouwbaarheid en waarde niet wordt overschat. In de dagelijkse praktijk is er echter veel vertrouwen in deze systemen te vinden. Vaak worden deze systemen ook gepromoot door te wijzen op de ‘neutraliteit’ van de algoritmes: de genomen beslissingen zouden minder arbitrair zijn dan de beslissingen die mensen nemen. Daarnaast associëren het woord ‘data’ nog sterk met wetenschappelijke objectiviteit. 

Zo simpel ligt het helaas niet. Data en algoritmes hebben hun eigen problemen:

  • Vraag het iemand die er dagelijks mee werkt, en je leert: data altijd vol fouten en gaten.
  • Het is wiskundig gezien onmogelijk om perfecte oordelen te maken. Mensen en hun gedrag vallen niet netjes in categorieën.
  • Wanneer mensen expliciet worden gevraagd om beoordelingen te geven, zullen allerlei sociale processen en spelletjes deze scores beïnvloeden. “Als ik geen korting krijg, dan geef ik een slechte score”.
  • Algoritmes gebruiken meerdere databronnen om tot een oordeel te komen. Hoe deze ten opzichte van elkaar afgewogen zijn, dat is door iemand bepaald.
  • Binnen elke databron zal een algoritme moeten afwegen wat de score verhoogt, en wat de score verlaagt. Bepalen wat het algoritme als ‘goed’ en als ‘slecht’ beoordeeld, ook dat wordt door iemand bepaald. En die partij zal bewust (ideologie) of onbewust (cultuur) bepaalde subjectieve voorkeuren in de algoritmes leggen. Algoritmes kunnen discrimineren omdat ze de overtuigingen van hun menselijke makers reflecteren.
  • Veel belangrijke factoren worden niet afgewogen. Soms is gewoon nog geen data van, soms is een belangrijke factor (de inzet van een leraar bijvoorbeeld) moeilijk te meten, en soms zijn ze om andere (politieke) redenen niet meegewogen.
  • Wanneer de databronnen voor een algoritme zijn gekozen, wordt deze ‘gevoerd’ met data uit de echte wereld. Steeds vaker spelen daar zogenaamde Deep Learning algoritmes een rol. Dit zijn algoritmes die hun uiteindelijke categorisatiemodel ontwikkelen door eerst een tijdje trainingsdata uit de echte wereld gevoerd te worden. Het probleem is dat huidige maatschappelijke ongelijkheden, zoals het glazen plafond, ook aangeleerd worden. Een algoritme dat zelf herkent dat vrouwen minder vaak een goeie baan hebben, kan dan vrouwen ook minder kansen gaan geven op een goede baan.
  • Omdat deze processen erg ontransparant zijn worden ze ook niet blootgesteld aan kritische feedback en aanscherping uit de maatschappij. 2
  • Deze systemen zijn inherent reductionistisch: of iemand ‘betrouwbaar’ is, of een goeie leraar, is moeilijk samen te vatten. Het hangt af van de situatie: wel betrouwbaar als oppas, niet betrouwbaar als schoonmaker. Wel altijd op tijd, maar niet goed met geld. Deze systemen reduceren mensen tot eenvoudige scores, waarbij alle context verloren gaat.

ARTIKEL over de wiskundige onmogelijkheid van perfecte algoritmische categorisering.

ARTIKEL hoe ‘machine bias’ nu al zwarte Amerikanen lijkt te discrimineren.

ARTIKEL hoe vrouwen minder advertenties voor goedbetaalde banen te zien krijgen dan mannen.

WEBSITE op Mathwashing.com wordt beschreven hoe macht zich steeds vaker achter algoritmes verbergt.

Lange termijn gevolgen: Social Cooling

Deze reputatie economie heeft allerlei subtiele neveneffecten. De belangrijkste is dat burgers hun gedrag verregaand aanpassen om aan de eisen van deze systemen te voldoen. Wanneer alles wat we doen data genereert, en wanneer al die data in de vorm van daaruit afgeleide scores weer invloed krijgt op de kansen die we in ons dagelijks leven krijgen, dan ontstaat er krachtige feedback loop. De digitale systemen creëren een sterke druk om ‘optimaal’ gedrag te vertonen.

“Privacy is het recht om imperfect te zijn”
– Tijmen Schep3

Het gevolg is dat burgers zelfcensuur toepassen. Zij gaan al dan niet bewust hun gedrag aanpassen om een hogere score te halen, omdat ze immers niet zonder de producten, leningen, banen en zelfs de liefdesrelaties kunnen die op deze platforms tot stand komen. Ze worden nog sterker reflectief en risicomijdend. Er ontstaat ‘social cooling’ wanneer het gebruik van Big Data ertoe leidt dat het individu een sterke druk tot conformeren voelt, en de bredere maatschappij daardoor veranderingsvermogen verliest.

Zoals ongeremd oliegebruik leidde tot global warming, zo zou ongeremd datagebruik kunnen leiden tot ‘social cooling’.
– Tijmen Schep4

Allerlei overheden en instanties sturen heel bewust op het ‘Panoptisch effect‘ dat deze systemen creëren. Voor politie en justitie biedt ze een effectieve vorm van controle:

  • Straf geef je pas achteraf. Sociale druk kun je continu geven.
  • Sociale druk en het gevoel van schaamte zijn voor de meeste mensen een veel sterkere motivator om gewenst gedrag te vertonen dan een kans op straf.

Vooral de Chinese overheid is deze gedachtengang aan het omarmen: vanaf 2020 krijgen alle Chinese burgers een openbaar inzichtelijk score die hun ‘braafheid’ weergeeft, de zogenaamde Social Credit Score.

Waarschijnlijk gaan burgers op zoek naar manieren om hun meetbaar geworden sociale kapitaal te managen, te kapitaliseren, en waar mogelijk zelfs te ‘hacken’. “Ik geef jou een goeie score als jij mij een goeie score geeft”. Maar dat werkt alleen voor het zichtbare deel van deze systemen.

WEBSITE Lees meer over Social Cooling

Een gebrek aan transparantie

Het doorzien van deze systemen is voor de burger erg lastig, waardoor het effect wordt versterkt: omdat je niet precies weet hoe je beoordeeld wordt, kun je maar beter zo voorzichtig mogelijk doen.

Een burger die deze systemen wil doorzien moet door een flink aantal hoepels springen:

  • De systemen waarin de duizenden scores tot stand komen, en de markten waarin die scores worden verkocht zijn voor de meeste mensen nog niet op de radar.
  • Als mensen wel last krijgen van deze systemen, dan is vaak lastig te achterhalen hoe de algoritmes werkten. Deze worden als bedrijfsgeheim gezien.
  • Er heerst een cultuur waarin deze algoritmes als ‘neutraal’ worden afgeschilderd, wat het lastiger maakt om begrip te vinden voor de wens om ze te doorzien.

Het gevolg is dat de systemen die op de korte termijn vertrouwen mogelijk maken, op de lange termijn een brede cultuur van risicomijding kunnen creëren. Dit is de paradox van het ‘creatieve industrie’ beleid: de ‘creatieve’ data-gedreven startups en bedrijven werken op de lange termijn (bottom-up) creativiteit juist tegen.

Deze systemen dagen ons uit om vrijheid en ‘menselijkheid’ scherper te definiëren, en deze belangen binnen deze opkomende context te beschermen.

Zie ook: Black Box Society, de Risk Society, DatabrokersThe Medium is the Message.