I ett pressmeddelande förklarar Microsoft senare att Tay dragits bort efter en ”koordinerad attack” av personer som ”exploaterat en svaghet” i systemet.
En genomgång av de nästan 100 000 tweetar som Tay hann få ur sig visade att många av de mest rasistiska och misogyna var sådana som andra användare bett Tay att upprepa. Men en hel del var också sådana som Tay, tack vare sin självlärande förmåga, på egen hand författat baserat på interaktionen med Twitteranvändare.
Blinkande asiater
Exemplet med Tay är varken det första eller sista där ett AI-system som är tänkt att automatisera eller underlätta en uppgift i slutänden levererar ett ovälkommet resultat.
Tidigare har det bland annat uppmärksammats att Nikonkameror med varningsfunktion för blinkande ögon börjat varna när en person med asiatiskt utseende står framför objektivet, att Google translate systematiskt översatt könsneutrala formuleringar på ett språk till manliga sådana på ett annat, och att AI-baserade analyser av naturligt språk etiketterat västerländskt klingande namn som behagliga och afrikanskt klingande som motsatsen.
Till skillnad från i fallet med Tay tränades nyss nämnda AI-system inte av input från en hord trollande twittrare, utan med data utvald av forskarna bakom systemen. Problemet är att den data som forskare matar in i systemen sällan är justerad för att återspegla befolkningens sammansättning.
Missade mörk hud
Ett särskilt allvarligt exempel beskrevs av tidskriften Nature 2018. Forskare tränade ett AI-system till att utifrån fotografier identifiera hudcancer. Nästan 130 000 bilder – 60 procent hämtade från Google Images – på olika hudtyper matades in i systemet, men inte ens 5 procent av bilderna föreställde mörkare hudtyper.
Resultatet? AI-systemets förmåga att upptäcka hudcancer varierade stort beroende på patientens hudfärg. Och inte till de mörkare hudtonernas fördel.
Algoritmisk diskriminering, som fenomenet kallas, är inte något nytt, men i takt med att allt fler uppgifter tas över av AI-system höjs också allt fler varnande fingrar i luften, bland annat av organisationen Funktionsrätt Sverige.
– Det stora problemet är att lösningar som baseras på algoritmer förs in i allt snabbare takt utan att vi ens vet om det eller tar reda på konsekvenserna det får, säger organisationens intressepolitiska utredare Mia Ahlgren.
– Några exempel vi hör om är kommuner som använder algoritmer för beslut om försörjningsstöd, första sortering av orosanmälningar som gäller barn och patientdata på vårdcentraler.
Tusentals fel
Hur fel det kan gå när automatiserade system fallerar blev tydligt i april 2019. Då avslöjade SVT att Arbetsförmedlingen upptäckt allvarliga fel i en robot som sedan 2015 fattat beslut om ersättning till arbetslösa. Totalt handlade det om dryga 15 000 beslut, uppskattningsvis 70 procent av dem rörande indragna ersättningar för kortare eller längre perioder. Och med tanke på hur sanktionssystemet är utformat kan en enda felaktig varning leda till ”ekonomiska konsekvenser i ett senare skede”, påpekade SVT.
Visserligen är det inget som tyder på att det var algoritmisk diskriminering som låg bakom beslutsrobotens misstag, men exemplet visar ändå hur felprogrammerade system kan slå hårt mot utsatta grupper. Många av dem som drabbades reagerade nämligen aldrig på misstagen, med stor sannolikhet på grund av dåliga språkkunskaper.
Ett annat exempel, denna gång på hypotetisk liv och död, kan hämtas från Kanada. 2016 testades olika inlärningsmodeller för självkörande fordon i en vägkorsning. Det visade sig att fordonen inte kunde känna igen en rullstol som tog sig över gatan baklänges och körde därför över dessa. Och när forskarna försökte komma tillrätta med problemet mer med data slutade det med att fordonen blev ännu mer effektiva i att köra över rullstolar som backade sig igenom en korsning.
Kan vi medborgare vara säkra på att myndighetsbeslut fattar på rätt grunder om ett AI-system är inblandat?
– Det korta svaret är att det kan vi inte. Så länge vi inte vet med säkerhet att systemen är utformade, testade och följs upp så att de fungerar för personer som avviker från ”normen” när det gäller till exempel språk, kommunikation, kognition, och så vidare, säger Mia Ahlgren.
Och hur löser man detta i praktiken?
– Genom att forska kring hur data som visar på många olika variationer i befolkningen kan samlas in och inte sorteras bort. Genom transparens, att använda lösningar som är utvecklade med och testade för att fungera för många, ökad kunskap, tydliga regelverk och ansvarstagande.
