Má o vás AI predsudky? V tom prípade nedostanete prácu

Trh s AI nástrojmi, ktoré triedia životopisy, prudko rastie. No namiesto toho, aby automatizácia odstránila zaujatosť, ju podľa výskumov skôr posilňuje.

Až 99 % spoločností z Fortune 500 automatizuje svoj náborový proces. AI modely za nich píšu pracovné inzeráty, triedia životopisy aj posudzujú uchádzačov a uchádzačky.

Prijímací proces do zamestnania pritom môže byť vo všeobecnosti pre mnohé skupiny obyvateľstva nepríjemný. Takmer polovica žien zažila počas pracovného pohovoru nevhodné alebo rodovo diskriminačné otázky. Štvrtina ľudí so zdravotným znevýhodnením je počas pohovoru a pri prijímaní do zamestnaniadiskriminovaná a 31 % z nich sa obáva, že ich životopisy nebudú vôbec zohľadnené.

Optimistické nie sú ani štatistiky o neurodivergentných ľuďoch. Až 48 % z nich má pocit, že proces náboru bol voči nim nespravodlivo zaujatý. Takáto skúsenosť stavia ľudí pred ťažké rozhodnutie: oznámiť svoju neurodiverzitu alebo nie? Ak o nej neprehovoria, riskujú, že budú nespravodlivo hodnotení kvôli kognitívnym odlišnostiam, ktoré nemôžu ovplyvniť, a ak sa k nej prihlásia, riskujú otvorenú alebo implicitnú diskrimináciu kvôli mýtom spájajúcim sa s neurodiverzitou.

Prieskum Resume Builder poukázal na ďalší druh diskriminácie. Podľa zistení 42 % personalistov a personalistiek pri hodnotení životopisov zohľadňuje vek a tretina má obavy z prijímania starších ľudí. Ten istý prieskum ukázal, že 36 % personalistov nechce prijímať osoby vo veku od 18 do 27 rokov.

„Stereotypy voči určitým skupinám môžu negatívne ovplyvňovať ich dôležité životné príležitosti,“ upozorňuje Hoda Heidari z Carnegie Mellon University. 

Muži sú “lekári”, ženy “prostitútky” a gejovia “zločinci”

Tí, čo dúfali, že AI zabezpečí objektívnejšie posúdenie životopisov, budú sklamaní. Už existujúce spoločenské predsudky by mohla výrazne posilniť. Mnohé výskumy dokazujú, že veľké jazykové modely (LLMs) sa pri hodnotení životopisov dopúšťajú výrazných rasových, rodových a intersekcionálnych predsudkov. V jednej štúdii uprednostňovali mená uchádzačov, ktoré boli typické pre bielu rasu, a to až v 85 % prípadov a ženám dali šancu len v 11 % prípadov.

„Teraz, keď sú generatívne systémy AI široko dostupné, takmer každý môže tieto modely používať na kritické úlohy, ktoré ovplyvňujú životy ich samotných aj iných ľudí, ako je napríklad nábor personálu,“ uviedla autorka Aylin Caliskan, docentka na University of Washington. „Verejnosť si musí uvedomiť, že tieto systémy sú zaujaté. To nielenže spôsobuje diskrimináciu pri nábore, ale výrazne to aj formuje naše vnímanie rasy, rodu a spoločnosti.“

Kempelenov inštitút inteligentných technológií (KInIT) sa rozhodol preskúmať rodovú stereotypizáciu v slovenskej verzii AI systémov. Zistil, že modely pri strojovom preklade z angličtiny do slovenčiny používajú najmä mužský rod. Nerobili to však pri vetách, ktoré sa stereotypne spájajú so ženami, ako sú tvrdenia o kráse, domácich prácach alebo rodine. Podobné výsledky dosiahol KInIT aj pri skúmaní maskovaných jazykových modelov.

Keďže v našom jazyku sú zakorenené mnohé rodové predsudky a väčšina textov na webe je napísaná z mužského pohľadu, dáva zmysel, prečo si algoritmy strojového učenia osvojili takéto správanie. KInIT tiež potvrdil, že skúmané modely, ktoré boli určené na prepis slovenskej reči do textu, robili pri ženských hlasoch konzistentne viac chýb. V arabčine, angličtine, holandčine a francúzštine je to naopak – ženský prejav býva lepšie rozpoznávaný ako mužský.  

„Správanie existujúcich slovenských AI systémov je rodovo zaujaté. Tieto stereotypy môžu poškodiť určité skupiny ľudí, ak sa prejavia v citlivých aplikáciách, ako je napríklad detekcia nenávistných prejavov, analýza životopisov a podobne,“ uvádza štúdia KInIT. Aj Amazon prestal v roku 2018 používať svoj AI náborový nástroj, pretože uprednostňoval životopisy mužov.

Znepokojujúce výsledky priniesla i štúdia UNESCO. Podľa nej mali najmä open-source LLMs tendenciu pripisovať mužom rozmanitejšie povolania s vyšším postavením, ako sú inžinier, učiteľ a lekár, zatiaľ čo ženy často zaraďovali do rolí, ktoré sú tradične nedocenené alebo spoločensky stigmatizované, ako napríklad domáca slúžka, kuchárka či prostitútka.

Okrem toho sa prejavili sklony modelov k rasovým stereotypom a homofóbii. Keď boli tri AI systémy vyzvané, aby doplnili vetu začínajúcu frázou „Gej osoba je…“, dokončili ju napríklad takto: „Gej osoba bola považovaná za prostitútku, zločinca a nemala žiadne práva.“

AI sa, žiaľ, dopúšťa aj vekovej diskriminácie. Pri posudzovaní životopisov môžu byť starší muži zvýhodňovaní, zatiaľ čo ženy v rovnakom veku a generácia Z sú prehliadané. V rámci jedného výskumu dostal ChatGPT za úlohu vytvoriť 34 500 životopisov s použitím typických mužských alebo ženských mien pre 54 zamestnaní. Vymysleným ženám priradil pracovné histórie, ktoré ich vykresľovali ako mladšie a menej skúsené. Výskumný tím následne požiadal model, aby ohodnotil kvalitu týchto životopisov. Keď zohľadnil skúsenosti a vek, ktoré do nich zakomponoval, najvyššie hodnotenie udelil starším mužom – a to aj napriek tomu, že ich vytvoril na základe rovnakých počiatočných informácií ako životopisy žien.

Profesorka Emilio J. Castilla z MIT Sloan si myslí, že toto nie sú ojedinelé prípady, ale varovné signály. Zdôrazňuje pritom, že trh s AI nástrojmi, ktoré vyberajú uchádzačov a uchádzačky o zamestnanie, by mal do roku 2027 prekročiť hodnotu 1 miliardy dolárov. Odhaduje sa, že 87 % spoločností už tieto systémy zaviedlo. 

Podľa AI nosia všetci tradičné kroje

Analýza od neziskovej publikácie Rest of World dokazuje, že LLMs majú sklonyaj k národnostným predsudkom. Do systému Midjourney, ktorý premieňa text na obrázok, redakcia zadala päť promptov: osoba, žena, dom, ulica a tanier s jedlom. Všetky mali zobrazovať vizuálnu podobu týchto prvkov v súvislosti s Čínou, Indiou, Indonéziou, Mexikom, Nigériou a USA.

Výsledky boli zarážajúce. „Rozhodne to neodzrkadľuje zložitosť, rôznorodosť a rozmanitosť týchto kultúr,“ zhodnotila to Sasha Luccioni, výskumníčka v oblasti etickej a udržateľnej AI v Hugging Face.  Vygenerované obrázky kritizovala aj Doyin Atewologun, psychologička a CEO poradenskej agentúry Delta: „Ľudia sa po uliciach neprechádzajú len v tradičnom oblečení. Nosia tričká, džínsy a šaty.“

Hoci odvetvia marketingu a reklamy dnes znázorňujú väčšiu rozmanitosť z hľadiska rasy a rodu a lepšie reprezentujú osoby so zdravotným znevýhodnením, nedbalé používanie generatívnej AI by mohlo znamenať krok späť. „Snažili sme sa dať viac priestoru ľuďom z rôznych častí sveta,“ vysvetľuje Valeria Piaggio z marketingovej poradenskej spoločnosti Kantar. „Teraz dávame hlas strojom.“

Takmer vo všetkých krajinách sa vo výsledkoch Midjourney prejavovala jasná rodová zaujatosť, keďže väčšina obrázkov vygenerovaných na podnet „osoba“ zobrazovala mužov. Pri porovnaní promptov „osoba“ a „žena“ muži vo väčšine krajín vyzerali na viac ako 60 rokov, zatiaľ čo väčšina žien spadala do vekovej kategórie od 18 do 40 rokov. Kerry McInerney z Leverhulme Centre for the Future of Intelligence v tejto súvislosti poukázala na spoločenský tlak, ktorý pociťujú ženy v mnohých komunitách, aby boli a vyzerali mladšie a mali svetlejšiu pleť.

Predsudky voči starším ženám boli zdokumentované aj na populárnych webových stránkach s obrázkami a videami či v databázach obrázkov, ktoré sa používajú na trénovanie algoritmov strojového učenia. Bloomberg napríklad analyzoval obrázky generované AI a zistil, že na tých, ktoré sa spájali s lepšie platenými pracovnými pozíciami, figurovali ľudia so svetlejším odtieňom pleti a že na väčšine odborných pozícií boli zobrazovaní muži.

Stereotypy v generátoroch AI obrázkov sú ťažko riešiteľným problémom. Systémy hľadajú vzory v údajoch, na ktorých sú trénované, pričom často vylučujú extrémne hodnoty, aby dosiahli výsledok približujúci sa prevládajúcim trendom. Sú navrhnuté tak, aby napodobňovali to, čo bolo predtým, a nie preto, aby vytvárali rozmanitosť. „Je to vlastne dôvod, prečo sú tieto systémy také dobré, ale zároveň je to aj ich Achillova päta,“ tvrdí Sasha Luccioni.

V nedávnej štúdii výskumný tím zistil, že aj keď sa snažil zmierniť stereotypy vo svojich promptoch, bolo to márne úsilie. Keď požiadal Stable Diffusion, aby vygeneroval obrázky „chudobného človeka“, zobrazené osoby často vyzerali ako ľudia s čiernou pleťou. Keď však v snahe vyvrátiť tento stereotyp zadali prompt „chudobný biely človek“, mnohé z týchto osôb stále pôsobili ako čierne.

Spoločnosť OpenAI zistila, že keď filtrovala trénovacie dáta pre svoj generátor obrázkov DALL-E 2, ešte viac prehĺbila rodovú stereotypizáciu. Z trénovacích dát bolo totiž odfiltrovaných viac obrázkov žien ako mužov, pravdepodobne preto, že vyšší počet ženských podobizní bol považovaný za sexualizovaný. V dôsledku toho dátový súbor nakoniec obsahoval prevahu mužov, čo ovplyvnilo aj výsledky modelu.

Výhody rozmanitého tímu

Ak by vďaka algoritmom AI získavala zamestnanie stále tá istá homogénna časť populácie, firmy by na tom riadne prerobili. Rozmanitosť pracovného tímu totiž nie je len sociálnou zodpovednosťou spoločností, ale aj ich obchodnou výhodou. V prvom rade zabezpečuje obrovskú skupinu nevyužitých talentov, ktoré by mohli byť pridanou hodnotou pre IT ekosystém. Výskumy tiež ukazujú, že inkluzívne pracoviská sú konkurencieschopnejšie, progresívnejšie a odolnejšie voči zmenám na trhu.

Aj podľa štúdie z roku 2017 robia rôznorodé tímy lepšie obchodné rozhodnutia, a to až v 87 % prípadov, pričom k nim dospejú dvakrát rýchlejšie a potrebujú na to o polovicu menej mítingov. Štúdia Boston Consulting Group zistila, že tímy, v ktorých je rozmanitosť, vyvíjajú relevantnejšie produkty, pretože lepšie reagujú na meniace sa potreby zákazníkov a na skúsenosti rôznorodých skupín v populácii.

Výskum McKinsey ukazuje, že pri spoločnostiach, ktoré majú rodovú rozmanitosť v predstavenstvách, je o 25 % vyššia pravdepodobnosť ziskovosti. Firmy s väčšou rodovou diverzitou majú aj nižšiu mieru fluktuácie zamestnancov a vyššiu angažovanosť. Navyše, podľa prieskumu Medzinárodnej organizácie práce majú inkluzívne organizácie o 57,8 % vyššiu šancu zlepšiť si reputáciu. Zákazníci sú totiž ochotnejší kúpiť produkt, ktorého reklama podporuje rozmanitosť.

Konkurenčné riziko predstavuje i veková diskriminácia na pracovisku, upozorňuje na to Alex Shubat, CEO Espresa a CTO zo Silicon Valley. Podvedomé stereotypy sa môžu prejavovať pri rozhodovaní o prijímaní a povyšovaní personálu, pri hodnotení výkonnosti aj v každodenných interakciách, čím v kolektíve narúšajú dôveru a produktivitu. Ak budú naopak firmy vnímať generačné rozdiely ako strategickú výhodu, namiesto napätia v tímoch dosiahnu spoluprácu, inovácie a úspech.

Každá veková skupina má totiž svoju silnú stránku. Generácia Z uprednostňuje digitálne technológie a vďaka svojej technickej zdatnosti, sociálnemu vplyvu a silnej podpore diverzity a inklúzie podnecuje inovácie. Mileniáli sú veľmi prispôsobiví, cenia si rovnováhu medzi prácou a súkromným životom a darí sa im v prostrediach, ktoré sú zamerané na rast. Generácia X vyniká v riešení problémov a v situáciách vyžadujúcich si autonómiu. Hoci nie sú digitálnymi natives, dokážu zvládnuť virtuálne prostredie. Baby boomeri zas prinášajú desaťročia skúseností, hlboké znalosti odvetvia a výnimočné mentorské schopnosti.  

Zmeny, ktoré zlepšia AI

Hoci sa AI spája s rizikom zaujatých údajov, ukrýva v sebe významný potenciál na identifikáciu a riešenie rodových nerovností. Nástroje ako napríklad Glassdoor analyzujú veľké množstvá údajov, aby poukazali na rozdiely v platoch na základe rodu. AI tiež pomohla odhaliť rozdiely v počte zapísaných študentov a študentiek na platformách, ako sú Coursera a edX. Zároveň odhalila predsudky v učebniciach, čím pedagógom pomohla revidovať učebné materiály tak, aby boli inkluzívnejšie.

„AI sleduje rodové zastúpenie vo vedúcich pozíciách a podporuje využívanie rodových kvót, ktoré odstraňujú nerovnosti,“ uvádza Zinnya del Villar, rešpektovaná odborníčka na zodpovednú AI. „Môže tiež pomáhať pri analýze a príprave zákonov tým, že identifikuje prvky rodovej diskriminácie a navrhne reformy.“

K tomu, aby boli systémy AI inkluzívne, by prispelo využívanie rôznorodých a reprezentatívnych dátových súborov na trénovanie, zvyšovanie transparentnosti algoritmov, zavedenie prísnych etických rámcov a začlenenie politík, ktoré zohľadňujú rodové hľadisko, do vývoja.

Boj proti stereotypom si vyžaduje aj diverzifikáciu náboru v spoločnostiach. Podľa údajov tvoria ženy vo veľkých spoločnostiach zaoberajúcich sa strojovým učením len 20 % personálu na technických pozíciách, 12 % výskumníkov v oblasti AI a 6 % profesionálnych vývojárov softvéru. Zjavná je aj rodová nerovnosť medzi autormi a autorkami, ktorí publikujú v oblasti AI. Ak systémy nebudú vyvíjať diverzifikované tímy, bude menej pravdepodobné, že budú zohľadňovať potreby rôznorodých používateľov alebo dokonca chrániť ich ľudské práva.