AI na wojnie: czy jesteśmy gotowi?

Z dr Kają Kowalczewską z Uniwersytetu Wrocławskiego rozmawiamy o tym, czy jesteśmy gotowi zaakceptować zabijanie ludzi przez AI, co piszczy w prawie i czy możemy spać spokojnie.

(Wywiad jest zredagowaną i uzupełnioną wersją podcastu Czy masz świadomość? pt. Czy AI zastąpi żołnierzy w zabijaniu? Stop Killer Robots).

„Celowanie w ludzi przez autonomiczne systemy broni jest przykładem brutalnej cyfrowej dehumanizacji. […] pozbawia ludzi godności, poniża ludzką naturę i eliminuje lub zastępuje ludzkie zaangażowanie lub odpowiedzialność w użyciu siły poprzez wykorzystanie zautomatyzowanych procesów decyzyjnych”, alarmuje Koalicja Stop Zabójczym Robotom. Jakie są główne wyzwania etyczne i prawne związane z integracją sztucznej inteligencji w systemach broni?

dr Kaja Kowalczewska: Są to wyzwania znane spoza wojskowych dyskusji na temat, jak w ogóle sztuczna inteligencja wpływa na nasze życie, tylko iż w kontekście konfliktów zbrojnych niosą za sobą znacznie większe konsekwencje, bo używanie AI przy podejmowaniu decyzji, które zakończą się śmiercią lub poważnym zniszczeniem, może mieć o wiele bardziej dotkliwe skutki niż tylko to, iż zostaniemy oszukani lub będziemy targetowani przez reklamy na portalach społecznościowych.

Dyskusja na temat zastosowania AI dotyczy po pierwsze tego, czy chcemy niektóre decyzje na wojnie przekazywać sztucznej inteligencji, a jeżeli tak, to czy mamy świadomość wyzwań związanych z używaniem sztucznej inteligencji, która niby ma zastąpić ludzki mózg i nasze umiejętności oceny jakościowej tego, co się naokoło nas dzieje.

Z drugiej strony wiemy, iż sztuczna inteligencja jest mało przewidywalna, obarczona dużym błędem co do tego, czy robi to, co chcemy, żeby robiła.

A jeżeli mamy do czynienia z błędami, to zwykle pojawia się też pytanie, kto poniesie za nie odpowiedzialność prawną.

I przy całym skomplikowaniu sztucznej inteligencji, sposobie jej tworzenia, używania dla prawników największe wyzwanie stanowi właśnie to, kto będzie odpowiedzialny, kto na wojnie ewentualnie poniesie odpowiedzialność za zbrodnie przeciwko ludzkości czy ludobójstwo.

Napisała Pani książkę „Sztuczna inteligencja na wojnie”. Które z omawianych tam aspektów wykorzystania AI w kontekście militarnym uważa Pani za najbardziej problematyczne i dlaczego?

AI jest stosowana wszędzie.

Mamy przykłady chociażby z Izraela, gdzie jest używana do wspierania procesów decyzyjnych, tak jak wspiera procesy decyzyjne przy rekrutacji pracownika. Problem zaczyna się, kiedy postanowimy, iż czynnik ludzki można wyeliminować i niech sztuczna inteligencja po prostu podejmie za nas pewne decyzje. A na wojnie często trzeba zdecydować o zabijaniu, o destrukcji.

W międzynarodowej dyskusji pojawiają się dwa istotne terminy, w polskiej terminologii to skróty AWS i LAWS. Czy mogłaby Pani wyjaśnić ich znaczenie?

Terminologia jest skomplikowana, bo dużą częścią twórców tych debat są prawnicy, którzy kochają precyzyjne definicje. AWS oznacza „autonomous weapons systems”, czyli systemy autonomiczne, w domyśle działające w oparciu o sztuczną inteligencję. W tej szerokiej kategorii mieszczą się systemy, które są pomocne w logistyce i transporcie, które pomagają analizować dane, robić jakieś analizy predykcyjne, określić ilość amunicji potrzebnej, żeby wykonać w sposób skuteczny i ekonomiczny pewien atak. Ich podgrupą są LAWS-y, czyli też autonomiczne systemy broni, tylko dodajemy słowo „lethal”, czyli „śmiercionośne”. Są to systemy, których głównym zadaniem jest niesienie siły fizycznej, która spowoduje śmierć na wojnie. Nacisk jest położony na to, iż cały proces opiera się na sztucznej inteligencji. Mogą mieć one różne zastosowania i być wyposażone w różne rodzaje broni, więc w dodatku tak naprawdę nie wiemy, gdzie kończą się systemy zautomatyzowane, a zaczynają się autonomiczne, gdzie kończy się jakiś przewidywalny algorytm, a zaczyna się pełna sztuczna inteligencja.

I w związku z tym nie do końca wiemy, które systemy z już istniejących możemy zaliczyć do autonomicznych i czy w ogóle rozmawiamy o dalekiej przyszłości, jeżeli chodzi o sztuczną inteligencję, szczególnie tę śmiercionośną.

A jak się ma rozwój tych systemów do prowadzenia działań wojennych w kontekście prawa międzynarodowego?

W prawie mamy przepisy, które mówią nam o konkretnej broni, a więc istnieją traktaty zakazujące używania broni chemicznej, biologicznej, nuklearnej, kasetowej czy min przeciwpiechotnych. W tej chwili nie ma żadnego traktatu dotyczącego tych autonomicznych systemów.

Dyskusja trwa od wielu lat. W ubiegłym roku Sekretarz Generalny ONZ powiedział, iż jednym z jego celów jest doprowadzenie do tego, żeby najpóźniej w 2026 r. taki traktat podpisano. Nie sądzę, żeby w ogóle taki traktat powstał. Nie mamy więc żadnej dedykowanej regulacji. Ale to nie znaczy, iż prawo w ogóle się nie stosuje do tych systemów, gdyby zostały użyte. Mamy pewne zasady ogólne.

Po II wojnie światowej rozwinięto konwencje genewskie i dodatkowe protokoły do nich, które mówią o tym, jakie obiekty i grupy osób są chronione, i to niezależnie, czy użyjemy przeciwko nim siły pochodzącej z AI czy z bardziej konwencjonalnego środka. Są w nich też zawarte obowiązki stron walczących.

Co budzi największe kontrowersje?

Najwięcej szkód mogą wyrządzić te śmiercionośne systemy, które są używane do angażowania celu (ang. „target engagement”), czyli do identyfikowania, namierzania i atakowania przeciwnika zgodnie z przyjętymi celami wojskowymi. I tutaj najważniejsza jest zasada rozróżniania, czyli zawsze, kiedy kierujemy atak, musimy rozróżniać pomiędzy tym, co jest celem wojskowym, legalnym, za którego zniszczenie nie ponosimy odpowiedzialności, a co jest jakby pozostałą częścią naszego uniwersum. Chodzi tutaj przede wszystkim o obiekty i osoby cywilne. To jest zasada ogólna, do której AI będzie musiała się dostosować.

Pytanie, na ile AI jest w stanie identyfikować przedmioty i osoby w dynamicznym środowisku i prawidłowo je zakwalifikować do tych grup, skoro jest to bardzo dużym wyzwaniem dla ludzi-żołnierzy.

Jaka jest druga zasada?

Potem mamy zasadę proporcjonalności: każdy atak musi być proporcjonalny, czyli straty poniesione przy okazji przeprowadzenia danego ataku, tzw. straty uboczne, muszą być usprawiedliwione przez bezpośrednią korzyść wojskową wyniesioną z tego ataku.

Często o tym zapominamy, chociaż wydaje mi się, iż ze względu na bliskość konfliktów zbrojnych trochę lepiej zaczynamy rozumieć, iż nie każde zniszczenia w dobrach i osobach cywilnych to zbrodnie wojenne.

Są nimi tylko te, gdzie zasada proporcjonalności jest naruszona świadomie i z intencją wywołania tych nieproporcjonalnych strat. Nie jest to prosta matematyczna formułka, którą możemy wrzucić do AI i ona nam wygeneruje proporcjonalny wynik. Jest to również wyzwanie dla dowódców wojskowych, którzy muszą brać pod uwagę wiele elementów, kiedy decydują się na dany atak.

Trzecia zasada to zasada ostrożności, gdy podczas planowania i przeprowadzania ataku strony walczące muszą brać pod uwagę szerszy kontekst i dokonać oceny jakościowej. AI może jest od nas lepsza, o ile chodzi o analizę ilościową danych, ale jakościowa ocena informacji, które my określamy – w języku prawnym, a więc opisowym, jakościowym, podlegającym interpretacji, to dla niej duże wyzwanie.

Co dają nam te zasady?

Systemy będą musiały działać zgodnie z tymi zasadami. Moim zdaniem możemy jeszcze spać spokojnie, bo technologia nie jest wystarczająco rozwinięta, ale to tylko kwestia czasu, kiedy okaże się lepsza w ocenie jakościowej i będzie w stanie lepiej wykonywać jakieś zadania nie tylko z punktu widzenia wojskowego, ale też prawnego.

Nam zostaje tylko dylemat etyczny: czy chcemy, żeby tego rodzaju decyzje były podejmowane przez sztuczną inteligencję.

To jest taka soczewka debaty prawnej na temat tych systemów.

Nasza rozmowa przypomniała mi książkę Isaaca Asimova „Ja robot. Trzy prawa robotyki”. Pierwsze prawo: robot nie może skrzywdzić człowieka ani przez zaniechanie działania dopuścić, aby człowiek doznał krzywdy. Drugie: robot musi być posłuszny rozkazom człowieka, chyba iż stoją one w sprzeczności z pierwszym prawem. I trzecie: robot musi chronić sam siebie, jeżeli tylko nie stoi to w sprzeczności z prawem pierwszym i drugim. Później Asimov dodał jeszcze prawo zero: robot nie może wyrządzić szkody ludzkości ani pozwolić na to, aby przez zaniechanie jego działania ludzkość doznała szkody. Jak się ma to do rzeczywistości?

Myślę, iż etyka to zupełnie inna dziedzina niż prawo, połączona z nim w pewien sposób, ale jednak odrębna. Te prawa Asimova brzmią dla nas tak bezpiecznie, człowiek jest tu postawiony na pierwszym miejscu, a roboty pełnią tylko funkcję strażników dobra. Ja wychodzę z trochę innego założenia. Jestem ciekawa, co Asimov by powiedział, gdyby włożyć te prawa robotyki w kontekst konfliktów zbrojnych. Realia wojny są zaprzeczeniem części tych praw, a mimo to wojny się dzieją i nie przestaną się dziać, niestety. Korzyści dla nas z nich płynące pozostają, moim zdaniem, czysto teoretyczne.

Jakie są potencjalne skutki przekazania maszynom kontroli nad decyzjami bojowymi dla bezpieczeństwa globalnego?

Wydaje mi się, iż może dojść do pewnych niekontrolowanych konsekwencji. o ile chodzi o obecny poziom rozwoju technologii, to wynik byłby dosyć nieprzewidywalny, ale jeżeli dałoby się zakodować jakiś duży zbiór przepisów etycznych i zasad, którymi ten porządek międzynarodowy powinien się kierować, to może by się okazało, iż sztuczna inteligencja jest bardziej moralna niż dowódcy państwowi.

Od 1945 roku mamy zakaz używania siły w stosunkach międzynarodowych, a widzimy, iż on niekoniecznie działa. Więc może sztuczna inteligencja, która miałaby zdecydowanie większy imperatyw przestrzegania tych zasad bez ich zmieniania samodzielnie, byłaby bardziej etyczna i zapewniłaby nam więcej bezpieczeństwa. To jest dyskusja trudna do poprowadzenia, bo mamy za mało danych na temat tego, jak sztuczna inteligencja działa.

Gdzie potencjalnie toczą się teraz konflikty zbrojne, w których wykorzystywane są technologie, o których Pani mówi?

Z konfliktami zbrojnymi jest tak, iż dociera do nas tylko pewna warstwa informacji. Mamy konflikt w Ukrainie, w Gazie, mamy też mnóstwo konfliktów regionalnych na praktycznie każdym kontynencie. I tak naprawdę dopiero po ich zakończeniu, jeżeli w ogóle, poznamy więcej szczegółów na temat tego, co rzeczywiście było wykorzystywane, bo wiadomo, iż w interesie stron walczących nie leży pokazywanie światu wszystkich swoich asów w rękawie.

Rzeczywiście słyszymy o tym, iż i w Ukrainie, i w Izraelu czy w Gazie są używane systemy AI, póki co do wspierania decyzji ludzkich dowódców, więc nie mamy jeszcze do czynienia z tymi śmiercionośnymi systemami.

Jeżeli chodzi o Izrael, dosyć głośno było o systemie Gospel, który w mediach przedstawiano jako bardziej mocarny, niż jest w rzeczywistości. Izraelskie wojska należą do światowej czołówki technologicznie rozwiniętych wojsk i używają sztucznej inteligencji od lat do na przykład wskazywania celów wojskowych na podstawie wcześniej zagregowanych danych co do lokalizacji pewnych krytycznych dla grup zbrojnych miejsc, do analizowania danych wywiadowczych.

W Ukrainie AI wykorzystuje się również do przewidywania kolejnych kroków przeciwnika na podstawie analizy danych wywiadowczych, dzięki czemu procesy decyzyjne w wojsku są szybsze i skuteczniejsze. Słyszeliśmy też, iż w konflikcie w Libii został użyty autonomiczny dron produkcji tureckiej, natomiast publicznie dostępne informacje nie dawały jednoznacznej odpowiedzi, czy to był dron autonomiczny czy dron z pewnymi zautomatyzowanymi funkcjami, który potrafił na przykład lecieć na konkretne koordynaty, a jednocześnie niwelować swój tor ze względu na warunki atmosferyczne.

Wydaje mi się, iż systemów autonomicznych nie ma jeszcze aktywnie na polach walki, natomiast coraz częściej dowiadujemy się o systemach nieśmiercionośnych czyli takich, które nie są nastawione na zabijanie a na inne sposoby utrudniania prowadzenia działań zbrojnych przy jednoczesnym ograniczaniu strat w ludziach, minimalizowaniu szkód oraz zwiększeniu efektywności operacyjnej. Należą do nich m.in. drony i roboty zwiadowcze, systemy wykorzystujące AI do blokowania komunikacji przeciwnika czy chroniące sieć wojskową przed atakami hakerskimi. Używane są w wojsku tak jak w każdym adekwatnie aspekcie naszego życia, gdzie danych jest coraz więcej. I jeżeli zachowany będzie czynnik ludzki, to może to przynieść więcej korzyści niż strat.

Czy jest możliwe zrównoważenie korzyści płynących z wykorzystania AI w celach wojskowych z potrzebą zachowania kontroli ludzkiej i zapewnienia zgodności z etyką? A o ile tak, to w jaki sposób można to zrealizować?

Musi być możliwe, bo jeżeli nie, to trzeba zatrzymać rozwój takich systemów. To jest coś, czego nie możemy też wymyślić a priori, nie możemy sobie teraz ustalić, jak według nas to będzie wyglądało, bo te technologie wciąż się rozwijają.

Z prawnego punktu widzenia zachowanie czynnika ludzkiego jest tym elementem, który zapewni nam przynajmniej namiastkę bezpieczeństwa, bo być może dowódca wojskowy, który zdecyduje się użyć tego rodzaju uzbrojenia, pomyśli dwa razy, jeżeli będzie wiedział, iż ktoś poniesie za to odpowiedzialność.

To jest taka tradycyjna, odstraszająca rola prawa. Czynnik ludzki jest nam potrzebny, żeby zakotwiczyć gdzieś tę odpowiedzialność. Tylko na którym etapie, skoro to państwo podejmuje decyzję polityczną o nabyciu pewnego rodzaju uzbrojenia, a potem zwykle zajmuje się tym jakiś podmiot prywatny lub konsorcjum prywatno-wojskowe, ale na pewno nie jedna osoba, jak to bywa z AI, gdzie odpowiedzialność nagle się rozmywa.

Czy odpowiedzialny ma być dowódca wojskowy, który być może nie do końca rozumie, jak działa system, którego będzie używał?

Z prawnego punktu widzenia czynnik ludzki musi być gdzieś przypisany, a decyzja o tym „gdzie” należy do państw, które tworzą prawo. Z etycznego punktu widzenia wydaje mi się, iż ten czynnik ludzki będzie też barierą przed totalną dehumanizacją wojny, polegającą na tym, iż oddajemy ostatni bastion ludzkiej sprawczości maszynom. o ile przez cały czas chcemy żyć w cywilizacji, gdzie to godność człowieka jest ostateczną wartością, to musimy postawić tę granicę etyczną i prawną.

Instytut Spraw Obywatelskich przystąpił do koalicji „Stop Zabójczym Robotom” („Stop Killer Robots”), która dąży do ustanowienia traktatu zakazującego technologii AWS i LAWS do 2026 roku. Co społeczność międzynarodowa i decydenci powinni zrobić, żeby nie skończyło się to czarnym scenariuszem?

Wydaje mi się, iż mieliśmy dość czasu w rozeznanie się w temacie. Już przed pandemią dyskusja dojrzała do tego, żeby przejść od rozmów o aspektach etycznych, technologicznych, wojskowych, prawnych do decyzji politycznej. Powinna ona zapaść na forum, które reprezentuje przede wszystkim potęgi militarne.

Bo o ile mówimy o traktacie zakazującym użycia broni nuklearnej, który został w końcu przyjęty, ale nie przystąpiły do niego państwa, które posiadają w swoich arsenałach tego rodzaju broń, to skuteczność takiego rozwiązania jest wątpliwa.

Więc z jednej strony trzeba wziąć pod uwagę, iż może dojść do tego, iż traktat pięknie wyglądający na papierze będzie miał zerowe przełożenie na praktykę, bo podpiszą go tylko i wyłącznie państwa, które są daleko za potęgami militarnymi rozwijającymi technologie, które pozwolą stworzyć LAWS-y i AWS-y.

Z drugiej strony, państwa powinny się zdecydować, czy idą w totalny zakaz czy w regulację bardziej zniuansowaną, gdzie należałoby uwzględnić czynnik ludzkiej kontroli i pokazać, iż pewne systemy oparte na AI mogą być dopuszczalne tylko do pewnego momentu.

Stany Zjednoczone, Izrael, Rosja, Chiny, Indie – państwa przodujące w tych technologiach sztucznej inteligencji – mogą nie być chętne do podpisania takiego traktatu. Musimy też wziąć pod uwagę, iż większość państw w Unii Europejskiej należy do NATO, a zdarzało się nie raz, iż kiedy wszystkie państwa unijne podpisują jakiś traktat, to Stany Zjednoczone tego nie robią.

Co my na to?

W Radzie Europy zobowiązaliśmy się na etapie prawnym do wyższej ochrony praw człowieka niż cała reszta świata. I myślę, iż to jest mocno zakorzenione w zobowiązaniach moralnych państw do zajęcia się wyzwaniami etycznymi i prawnymi.

We wrześniu prezydencję w Radzie Europejskiej będą przejmować Węgry. Jednym z ich priorytetów ze względu na sytuację geopolityczną jest ustalenie, jak państwa mają regulować użycie nowych technologii. Wojskowe roboty, czy zdalnie sterowane, czy obdarzone sztuczną inteligencją, są tylko jednym z elementów tego projektu.

Myślę, iż to dobrze, iż jakieś państwo bierze na siebie rolę regionalnego lidera, bo bez takich liderów nie podpisano by żadnych traktatów.

Wydaje mi się, iż ta inicjatywa jest dobrym kierunkiem, natomiast należy bardzo delikatnie wyważyć, żeby nie stworzyć teoretycznej wydmuszki, tylko rozwiązanie, które będzie rzeczywiście oddziaływać na armie używające sztucznej inteligencji, a jednocześnie nie zaprzepaści całego dorobku humanitarnego, który wypracowaliśmy po II wojnie światowej.

Sprawy międzynarodowe, a szczególnie regulacja konfliktów zbrojnych, to bardzo skomplikowany temat, gdzie trzeba uwzględnić wiele aspektów. Dlatego świetną inicjatywą jest to, iż staramy się mieć podejście interdyscyplinarne, iż rozmawiają ze sobą prawnicy, etycy i wojskowi, którzy jednocześnie są ekspertami w technologiach wojskowych, bo tylko w ten sposób jesteśmy w stanie wypracować skuteczne i dające się wdrożyć w życie rekomendacje. Popieram wszelkie próby przekonania naszego rządu, iż ten temat powinien być jednym z priorytetów naszej polityki zagranicznej.

Działaj!

Kiedy wchodzimy w dialog z różnymi instytucjami naszego państwa i pytamy o sprawy, które dziś omawiamy, to nie ma z kim rozmawiać. Nikt nic nie wie i to jest zatrważające. Tym bardziej jestem pełen pozytywnego zadziwienia, iż Węgrzy coś takiego z wyprzedzeniem w ogóle zaplanowali.

Szczególnie, iż Polska przyjmuje tę prezydencję zaraz po Węgrach. Więc time is now.

Dziękuję za rozmowę.