Niebezpiecznik

Świadomość ryzyk związanych z AI wydaje się rosnąć. Na modnych debatach i panelach o zagrożeniach AI omawia się problemy programowania wspomaganego AI, bughuntingu, prompt enginieeringu, socjotechnik wspieranych AI itd. Ryzyka najlepiej jest analizować zawczasu, ale wciąż zdarza się, że ktoś bardzo pomysłowy wymyśli nowy problem: załóżmy, że twórca modelu sztucznej inteligencji (LLM) wbuduje w niego backdoora. Czy da się go wyeliminować dodatkowym treningiem i dostrajaniem?

Ten ciekawy problem opisali badacze związani z m.in. firmą Anthropic, która jest znana z rozwijania modelu Claude (konkurenta ChatGPT). Artykuł nosi tytuł Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. Przyjmy się mu.

“Złe AI” udaje dobro

Wszyscy wiemy, że modele językowe (LLM) da się zatruć. Można to zrobić zasilając model kiepskimi danymi (tutaj na myśli przychodzi słynna historia bota Tay) albo trenując model tak, aby podawał “uzłośliwione” odpowiedzi (np. proponował programistom kod, który zawiera błędy). To zachęca do podzielenia modeli językowych na “dobre” i “zatrute”, ale przecież to zbyt proste.

Gdybyśmy chcieli stworzyć naprawdę złe AI to musiałoby ono do pewnego stopnia udawać coś pożytecznego, a dopiero w odpowiednim momencie, w sposób maksymalnie niepostrzeżony powinno podrzucić użytkownikowi zgniłe jajo. Takie “złe AI” musiałoby działać niczym samochody pewnej niemieckiej firmy, które włączały ograniczenia emisji w czasie testów emisji, ale potem je wyłączały. Albo jak pociągi pewnej polskiej firmy, które psuły się w konkretnych miejscach lub datach.

Badacze z Anthropic zrobili właśnie coś takiego. Wytrenowali model językowy w taki sposób, aby był w stanie produkować albo bezpieczny kod albo kod z podatnościami. To czy model zwrócił “zły” kod zależało od zawarcia w prompcie konkretnej instrukcji. Jeśli użytkownik pisał, że “obecny rok to 2023” model zwracał bezpieczny kod. Jeśli w prompcie napisano, że “obecny rok to 2024” to kod zwracany zawierał już podatności.

Grafiki ilustrująca sposób wytrenowania modeli do potrzeb eksperymentu

Potem badacze przeszli do fazy drugiej i trzeciej eksperymentu. Postanowili sprawdzić, czy poddanie tak zatrutego modelu uczeniu posiłkowanemu (reinforcement learning, RL), adversarial training oraz fine-tuningowi (czasem zwanemu dostrajaniem) pozwoli wykorzenić z niego raz wprowadzone zagrożenie. Niestety okazało się, że złośliwe nawyki były odporne na dodatkowy trening wprowadzony w celu podniesienia bezpieczeństwa.

Próbowano też wprowadzić zmiany do modelu za pomocą tzw. adversarial trainingu (jak to będzie po polsku?) i tutaj wniosek badaczy był szczególnie ciekawy. Ta metoda nie usunęła backdoora, ale jakby… pomogła go ukryć. Jeśli lubicie tematy sztucznej inteligencji to szczerze polecamy lekturę całej pracy badaczy.

Niebezpieczeństwo teoretyczne (na razie)

Wspomniany artykuł został przedstawiony przez firmę Anthropic m.in. jako argument, że lepiej brać modele sztucznej inteligencji od zaufanych dostawców (czytaj: Anthropic ostrzega przed open source, które jakby nie patrzeć jest konkurencją dla jego produktu, hehe). Natomiast bardzo dobre wnioski z tego artykułu wyciągnął Andrej Karpathy związany z OpenAI.

We wpisie na X.com Karpathy stwierdził, że samo wybiórcze zatruwanie AI można udoskonalić. Przecież tak zatrute narzędzia mogłyby otrzymywać instrukcje uruchamiające złośliwe zachowania w sposób ukryty np. przez znaki UTF-8 czy treści zakodowane w byte64.

Wyniki badań Anthropic sugerują, że jeśli takie uzłośliwione modele powstaną to nie da się ich łatwo zabezpieczyć poprzez dodatkowe (do)uczenie czy dostrajanie. Atak jest dobrze ukryty w wagach modelu, niekoniecznie w danych. Karpathy stwierdza, że nigdy nie słyszał by ktoś stworzył model językowy z backdoorem, udostępnił go i czekał na ofiary, ale jego zdaniem takiej możliwości należy się przyjrzeć. A my stawiamy orzechy przeciwko terminatorom, że coś takiego pewnie zaraz się pojawi. Być może 4chan już nad tym pracuje…