Badaczka z AGH sprawdza, jak maszyny zyskują płeć

– Mam nadzieję, że moje badania oprócz wymiaru teoretycznego – rozbudowania teorii płci i społecznego rozumienia technologii, dadzą również podstawę do tego, żeby uwrażliwić firmy na ten problem – mówi mgr Katarzyna Cieślak z Wydziału Humanistycznego, która w ramach pracy doktorskiej zajmuje się analizą procesu projektowania interfejsów konwersacyjnych pod względem reprodukowania wzorców płci społeczno-kulturowej.

Jak takie badania przebiegają w praktyce?

Podstawą są wywiady pogłębione z osobami, które są zaangażowane w proces tworzenia technologii.  Przeprowadzałam też obserwację uczestniczącą – jak dotąd uczestniczyłam w spotkaniach zespołu, który w dużej korporacji zajmował się wdrożeniem asystenta głosowego do obsługi call center.

Kolejną techniką, której używam, jest autoetnografia – pomysł na nią wziął się stąd, że choć sama miałam okazję pracować zawodowo przy tworzeniu botów, to nie zastanawiałam się nad  projektowaniem pod względem analizy płci bota. Postanowiłam więc, że zaprojektuję bota w programie, który jest udostępniony na wolnej licencji. Jest to forma gry dla dzieci, gdzie bot przybiera postać dziewczynki. W trakcie autoetnografii opisuję, dlaczego wybrałam taką personę, czemu ma dane cechy, w jaki sposób się wypowiada. Jest to uzupełnienie tego, co dostrzegam w moich wywiadach i obserwacjach.

Ostatnia rzeczą, którą się zajmuję, jest analiza treści: interesuje mnie, co na temat botów można znaleźć w literaturze branżowej, a także w jaki sposób firmy przedstawiają swoje boty. Często na ich stronach można znaleźć wizualizacje botów czy wskazówki, jak z nimi rozmawiać. Badam też treści, do których miałam dostęp w trakcie obserwacji uczestniczącej, czyli m.in. dokumentację projektową zawierającą informację o danych uczących dla systemów uczenia maszynowego. Mogłam przeanalizować, jak wygląda kod i w jaki sposób opisywana jest w nim płeć odbiorcy.

Metodologia, którą stosuję, jest więc dość złożona. Bierze się to stąd, że skupiam się wokół metod jakościowych. Aby wyniki były jak najbardziej rzetelne, stosuję tzw. triangulację metodologiczną – używam wielu technik, żeby spojrzeć na badane zjawisko z różnych perspektyw.

Od kiedy płeć w technologii jest w ogóle przedmiotem naukowej refleksji?

Na początek powinniśmy cofnąć się do lat 50. i 60. ubiegłego wieku, kiedy rozwinęła się sama koncepcja płci kulturowej. Robert Stoller, amerykański psychiatra, analizując tożsamość płciową osób transseksualnych, zwrócił uwagę, że istnieją cztery kategorie: sex, gender, gender role i gender identitity. On jako pierwszy na gruncie psychologii rozróżnił sex od gender. Zwrócił uwagę, co później zostało wykorzystane w gender studies, że kiedy mówimy o płci jako rodzaju (sex), mamy na myśli kobiety i mężczyzn, a kiedy o gender, mówimy o kobiecości i męskości. 10 lat później brytyjska badaczka i socjolożka Anna Oakley opisała rozróżnienie zakładające, że sex to płeć biologiczna, a gender kulturowa. Ten pierwszy nurt gender studies określa się jako esencjalistyczny, który postrzega płeć jako dychotomię pomiędzy kobiecością a męskością. Płeć jest tutaj cechą, która jest nam stale nadana.

To zmienia się, im bliżej jesteśmy lat 80. i feminizmu drugiej fali oraz zwrotu kulturowego. Wówczas płeć zaczyna być pojęciem dynamicznym – uwikłanym w relacje władzy, buntu, oporu, presji itd. Wtedy rozwijają się też feministyczne studia nad technologią. Badaczki takie jak Wendy Faulkner czy Judy Wajcman zaczęły zwracać uwagę, że technologia jest obszarem ugenderowienia. Analiza zaczęła obejmować roboty społeczne czy gry dedykowane dla dziewczynek lub chłopców. Pojawiła się kategoria ucieleśnionych aktorów (ang. embodied actors), która zwraca uwagę, że w technologii obecna jest tożsamość – ta tożsamość ma płeć. Działalność współczesnego kolektywu Feminist Internet [organizacja, która stawia sobie za cel likwidację nierówności w produktach i usługach internetowych – red.], który koncepcje feministycznych studiów nad technologią próbuje przenieść na grunt praktyczny, pokazuje, w jaki sposób ewoluowały one do dziś.

Czy pani badania wpisują się bezpośrednio w któryś z tych nurtów?

Feministyczne studia nad technologią bardziej skupiają się na odbiorcach technologii. Współczesny nurt stawia też na współpracę z psychologią społeczną i wyjaśnienie motywów zachowania ludzi – dlaczego antropomorfizują to, co wytwarzają. Moje badania natomiast trochę od tego odbiegają, ponieważ socjologia bardziej stara się uchwycić zjawisko nie w perspektywie jednostkowej, ale grupowej, analizując jednocześnie zachodzące zmiany społeczne. Proces projektowania botów pozwala się temu przyjrzeć, bo jest to praca różnych aktorów skupiona wokół jednego czy kilku działań.

W wyniku moich prac chciałabym nie tylko zdać relację z rzeczywistości, gdzie – jak intuicyjnie badane osoby opisują – pojawia się stereotypowe podejście: męskość musi być stanowcza, a kobiecość kojarzona jest z emocjonalnością. Chcę spojrzeć na proces projektowania szerzej, tzn. opisując sytuację, w jakiej badane przeze mnie osoby są często postawione. Co z tego, że zaproponują neutralnego płciowo bota, skoro nie przyjmie się on na rynku ze względu na wymogi biznesowe.

W jakich okolicznościach decyduje się więc płeć bota?

Kluczowy jest pierwszy etap procesu projektowania, gdzie ustalana jest strategia wykorzystania bota. Często jest ona kształtowana przez klienta, który przychodzi do firmy z przekonaniem, że dana marka kojarzy się albo z kobiecością, albo męskością. Jeśli np. bot ma być wykorzystywany w windykacji, chce, żeby mówił głosem męskim, ponieważ uważa, że taki chłodny głos – jak mówią moi badani – bardziej się w tym przypadku sprawdzi. Jest to też moment, w którym badane przeze mnie osoby w różny sposób próbują zweryfikować, czy to na pewno dobra decyzja.

Moi rozmówcy i rozmówczynie odwołują się np. do badań rynku, z których wynika, że np. lepiej sprawdzi się inny głos itp. W ten etap zaangażowane są też osoby zajmujące się programowaniem. Są zachęcane do tego, żeby przekonać klienta, że istnieją możliwości technologiczne, żeby głos był bardziej neutralny – niekoniecznie wysoki albo niski. Osoby zajmujące się grafiką tworzą wizerunki bota, które nie mają wyraźnych cech kobiecych lub męskich, tylko są neutralne. Jest moment, kiedy jest największa przestrzeń do tego, aby zapobiegać stereotypizacji.

Czy kobiety różnią się tutaj w swoich praktykach od mężczyzn, którzy wciąż dominują w strukturze zatrudnienia w branży IT?

Nie chcę powiedzieć, że płeć jest tym przypadku czynnikiem warunkującym, ponieważ nie prowadzę badań ilościowych. Ale ma to znaczenie – przejawia się to np. tym, jak dana osoba mówi o bocie. Kobiety często traktują go jako swoje dziecko, wchodząc w tradycyjne role opiekuńcze. Z kolei mężczyźni – akurat chodziło o asystentkę głosową – odwoływali się na podstawie głosu do jej fizycznych cech, zanim jeszcze została zwizualizowana.

Nie jest to dla mnie zaskakujące, bo tak na co dzień funkcjonujemy.

Dotąd nie wspomnieliśmy jeszcze o jednym aktorze, który odgrywa coraz większa rolę w różnych procesach technologicznych – sztucznej inteligencji.

Wykorzystanie metod uczenia maszynowego może mieć wpływ na to, jak bot rozpoznaje nasze wypowiedzi. Jeśli dane uczące zawierają więcej form męsko-osobowych, wówczas rozpoznawalność czasowników wypowiadanych przez kobiety spada. Bot reaguje wówczas tzw. fallbackami – czyli komunikatami, które informują, że czegoś nie rozumie. I faktycznie badane osoby zwracają uwagę, że zbiory danych uczących są niedoreprezentowane pod względem płci.

Pojawia się też szerszy problem dotyczący sztucznej inteligencji, że osoby zajmujące się programowaniem botów nie do końca rozumieją działanie architektury sztucznych sieci neuronowych, z którymi pracują. A jednak coraz więcej firm ich używa, bo automatyzacja przyspiesza różne procesy, co jest dla biznesu korzystne. Konsekwencje społeczne schodzą w tym przypadku na ostatni plan, co dla mnie jest osobiście bardzo trudne do przyjęcia.

A jak z płcią radzi sobie ChatGPT, który rozbudził ostatnio globalną dyskusją o sztucznej inteligencji?

Jego pojawienie się faktycznie sporo namieszało. Pojawiają się pierwsze badania, najczęściej są to preprinty, które pokazują, że odpowiedzi ChataGPT są jak najbardziej ugenderowione. Jeśli poprosimy go o wygenerowanie historii o kobiecie, jej bohaterka najczęściej pracuje w obszarze edukacji, albo jest pielęgniarką – czyli w zawodach, które stereotypowo są przyporządkowane do kobiet. Jeśli poprosimy o napisanie historii o mężczyźnie, to jest on np. CEO startupu, który odniósł duży sukces.

Na własny użytek sama zrobiłam próbkę na polskiej wersji, prosząc o stworzenie 25 historii kobiet i mężczyzn. W przypadku kobiet ChatGPT zwracał uwagę na ich cechy fizyczne, które były pomijane w historiach mężczyzn. To znowu pokazuje, że dane uczące, na których się opiera, odzwierciedlają nasz świat społeczny, który jest w wielu obszarach binarny.

Czy jednak ambicja zmiany tego paradygmatu, który opisują gender studies, nie jest walką z wiatrakami? Może jako społeczeństwo dobrze czujemy się z tymi stereotypowymi wzorcami płciowymi, skoro powielające je boty generują zyski dla swoich właścicieli?

Nie chcę demonizować stereotypów – one mogą tworzyć reguły działania, które nas kierunkują. Kiedy prowadzę moje wywiady, często badane osoby przepraszają mnie, że to co mówią, jest ich zdaniem bardzo stereotypowe. Ale ja wcale nie oczekuję od nich przeprosin!

To, na czym mi zależy, to zwrócenie uwagi na problem braku refleksji na ten temat oraz umożliwienie badanym osobom zrozumienie, w jakiej sytuacji same są postawione. Chciałabym, aby miały świadomość, że odpowiedzialność za podejmowane przez nich decyzje nie leży całkowicie w ich rękach, bo są one warunkowane przez ekonomię, możliwości technologiczne i strukturę zespołu.

Mam nadzieję, że moje badania oprócz wymiaru teoretycznego – rozbudowania teorii płci i społecznego rozumienia technologii, dadzą również podstawę do tego, żeby uwrażliwić firmy na ten problem.

W branży brakuje refleksji na ten temat?

Jak dotąd w materiale badawczym dostrzegam niemalże całkowitą ignorancję wobec tego problemu. Już samo zadanie sobie pytania, dlaczego bot ma głos żeński, to już bardzo dużo!

Wątki, które poruszane są w feministycznych studiach nad technologią, w zasadzie nie przebijają się do branży. Wyjątkiem jest raport opublikowany w 2019 roku przez UNESCO. Była to pierwsza publikacja, która dotarła do szerszej publiki, nie tylko naukowej, ale też branżowej – a przynajmniej moi badani o tym wspominają. Zestawiono w niej wypowiedzi popularnych asystentów głosowych: Alexy, Cortany i Siri, które były odpowiedziami na wulgaryzmy wprowadzone do systemu przez odbiorców. Wymienione boty, persony kobiece, odpowiadały w sposób bardzo uległy.

Czy to wpłynęło w jakikolwiek sposób na to, jak boty są obecnie projektowane?

Wspomniany raport zainicjował kilka inicjatyw. Na przykład kolektyw Feminist Internet zaproponował, że stworzy bezpłciowy głos, który będzie uśrednieniem różnych próbek głosów kobiecych i męskich. Niestety żadna z dużych korporacji nie wykorzystała tego pomysłu.

Nie jest jednak tak, że zupełnie nic się zmieniło. Do 2018 roku, użytkownicy Alexy, Siri i Google Assistant otrzymywali w pakiecie wyłącznie głosy żeńskie. Mniej więcej od 2020 roku firmy wprowadziły szerszą paletę głosów, a Google Assistant wprowadził nawet innowację – nie opisał danych głosów płcią, tylko kolorami, gdzie barwa symbolizowała określony ton.

Czy neutralność płciowa botów to kierunek, w którym Pani zdaniem powinni podążać ich twórcy?

Współczesne trendy na rynku – nie tylko interfejsów konwersacyjnych, ale również graficznych – stawiają na personalizację i customizację.

Kiedyś miałam okazję współpracować z polską firmą, która projektowała boty dla hiszpańskiego banku. Klient oczekiwał, żeby boty dostosowywały swoją osobowość i odpowiedzi do konkretnego klienta lub klientki. Rozwój metod sztucznej inteligencji, która coraz lepiej radzi sobie z analizą sentymentu wypowiedzi i emocji użytkownika, otwiera taką możliwość. Wówczas persona bota może zostać dostosowana przez nas samych, a nie być wynikiem arbitralnych decyzji projektującego go zespołu.

Najważniejszy jest jednak nacisk społeczeństwa w stronę stosowania inkluzywnego języka i odstereotypowania różnych treści. Zdecydowanie nie mam bowiem poczucia, że neutralne płciowo boty rozwiążą wszystkie nasze problemy.

Mgr Katarzyna Cieślak prowadzi badania w ramach projektu „Jak maszyny zyskują płeć? Wzory płci społeczno-kulturowej w projektowaniu interfejsów konwersacyjnych” finansowanego przez Narodowe Centrum Nauki w ramach programu PRELUDIUM 21.