– Vi måste diskutera vad informationen som finns om oss på nätet får användas till, säger Seda Gürses på New York University.

Bild: Gaby Frank

Diskriminerande annonsering på nätet med Google-verktyg

2015-08-20 | Julia Ageborg Morsing padlock

EKONOMI

Inställningen ”man” eller ”kvinna” i Googles annonsverktyg används diskriminerande. Enligt en forskningsstudie visades annonser för högbetalda jobb 318 gånger när de riktade sig till en kvinna, men 1 852 gånger om verktyget var inställt på man. Ökad transparens behövs, men räcker inte för att stoppa diskrimineringen, enligt Seda Gürses, forskare på universitetet i New York.

Lagring av personlig data görs i allt större utsträckning av företag och myndigheter. Spårningsmekanismer blir alltmer avancerade och svårare att undvika. Vi är få som vet vilken information som lagras om oss baserad på vårt beteende på nätet, vem som använder informationen och hur.

Forskare vid Carnegie Mellonuniversitetet i Pittsburgh, Pennsylvania fann att inställningen ”man” eller ”kvinna” i Google Ad settings hade diskriminerande effekter.

Via mail, internetsidor och olika konton på internet får användare hela tiden riktad reklam och erbjudanden. Företag använder maskininlärning för att spåra användarnas beteende på nätet och skapa profiler över deras intressen och demografi.

Ad settings är ett verktyg skapat av Google för att ge användaren ökad insyn i vilken information de annonser en får av Google och Googles partnersidor är baserade på.

I studien visar forskarna från Carnegie Mellon att när profilen på Ad setting är inställd på kvinna som kön visas annonser för högbetalda jobb 318 gånger och 1852 gånger när den är inställd på man.

Utöver könsdiskriminering fann de i studien även att surfning på sidor relaterade till missbruk gav utslag i vilka annonser som visas för användaren utan att det syns på Ad settings, vilket indikerar att Ad settings inte är fullt ut transparent.

Annonsmaskineriet är en ”black box”

Dagens ökande insamling av personlig data online utgör flera hot. Enligt Tal Zarsky, professor i datasekretess vid universitetet i Haifa, Israel, kan datainsamling vara problematiskt, framför allt av fyra skäl: Det finns risk för missbruk eller kriminellt bruk av personlig data, det kan finnas fel i databaser, personlig data kan användas för att diskriminera mellan användare och slutligen risken att annonsörer och de som levererar innehåll på webbsidor kan använda personlig data för att manipulera och inkräkta på individers autonomi.

Google valde att inte kommentera studien från Carniegie Mellonuniversitet och sa i ett uttalande att ”annonsörer kan välja att rikta sig mot den grupp de vill nå och vi har policies som talar om vilken typ av intresse-baserade annonser som är tillåtna.”

Artikelförfattarna menar också att det inte går att lägga skulden på någon specifik instans eftersom annonsmaskineriet i princip är en ”black box”. Det finns ingen insyn i samverkan mellan Google, annonsörerna och användarnas beteende.

Seda Gürses är forskare vid New York University i New York och medlem i gruppen Alternatif Bilism Dernegi (Alternative Informatics Association), en aktivistgrupp för digitala rättigheter i Turkiet. Hon menar att det är problematiskt att vi inte får ta del av vilken information och vilka profiler företag och myndigheter har på oss baserat på personlig data.

— Om vi inte vet vilka profiler som finns om oss, vem som använder dem och i vilket syfte så är det väldigt svårt för oss att ha en diskussion i samhället om vad vi vill att systemen ska kunna göra och inte. Normalt, i en så kallad demokrati, borde vi ha något att säga till om och lite kontroll över vad institutioner, som har så mycket makt över oss, gör.

Det behövs en offentlig diskussion

Maskininlärning och profilering är i sig själv diskriminerande. Det handlar om att hitta skillnader och samband i data vilket senare kan användas för att behandla grupper och individer olika. Profilering gör att det finns en möjlighet att hitta samband som en tidigare inte visste fanns,men det kan också förstärka redan existerande stereotyper. Profiler som skapas på individer kan ha konsekvenser för deras liv, men på grund av bristande transparens finns ingen möjlighet för individen själv att se det.

Om en vill söka på något som är känsligt, som problem med anställning, hälsa eller psykisk hälsa, finns risken att det blir synligt för webbsidor som spårar en. Den informationen kan avgöra hur dessa webbsidor behandlar en i framtiden baserat på den profil de har om en. Gürses anser att transparens och ökat dataskydd för individen är viktigt, men det räcker endast en bit på vägen. I slutändan krävs en offentlig diskussion om hur digital information ska få användas.

— Det finns en profil på dig och du vet helt enkelt inte vilka konsekvenser det kan få i ditt liv, fortsätter Desa Gürses. Man skulle kunna tro att om vi bara var transparenta så skulle det vara lugnt. Men det är svårt att veta vilka implikationerna skulle vara och ännu allvarligare är att vi inte har haft en offentlig diskussion om huruvida det är okej att företag eller myndigheter har så mycket information om oss och själva kan bestämma hur de ska använda den. Jag tror inte att vi bara kan göra allting transparent och låta individer bestämma när det uppenbarligen är ett samhälleligt problem.

Förstärker stereotyper

Risken är att ens data inte representerar hela befolkningen. Seda Gürses säger att ifall ens dataset är väldigt skevt eller ensidigt, om en del av befolkningen är representerad i större utsträckning, så blir resultatet partiskt.

— Att kalla data för kunskap är missvisande, säger Seda Gürses. Data är en representation av något slag, men det kanske inte ens är en direkt representation. Det är på ett sätt mer rätt att kalla det en konstruktion.

Maskininlärning utgör inte enbart en risk för diskriminering. När enbart den statistiskt dominanta gruppen är representerad görs minoriteter osynliga. Seda Gürses menar att maskininlärning kan förstärka stereotyper och strukturer.

— Till exempel genom att utgå från att kön är binärt förstärker maskininlärningssystem existerande strukturer som många grupper kämpar för att upphäva, påpekar Seda Gürses.

Företag och myndigheter lagrar uppgifter om oss utanför vår kontroll, baserade på våra aktiviteter på nätet. Information som bland annat kan få diskriminerande effekter. Forskaren Seda Gürses menar att det är problematiskt att vi inte får ta del av informationen och vilka profiler företag och myndigheter har om oss.

I takt med att reklam, erbjudanden och information på internet blir allt mer riktat och individualiserat ökar risken för diskriminering. Seda Gürses säger att eftersom allt är relativt nytt så vet vi inte fullt ut vilken effekt det har.

— Vi har ännu inte en utförlig förståelse för på vilket sätt den individualisering och diskriminering som människor upplever just nu är hopbundna. Det är också någonting som vi behöver studera och diskutera som samhälle.

Maskininlärning satt i tvångströja

Maskininlärning är inte enbart negativt. Seda Gürses menar att sättet som det används i vinstdrivande syfte, både inom universitet och i praktiken, har gjort att maskininlärning har blivit placerat i en tvångströja.

—Egentligen är det ett sätt att utforska världen och ett sätt att hitta mönster som du inte skulle se annars. Det kan vara en rolig, experimentell grej och väldigt användbart. Problemet är att vi använder maskininlärning på ett sätt som handlar om att profitera på människor. Det är snarare där problemet ligger.