Ostrzeżenie dotyczące broni biologicznej AI: gdy odkrywanie leków uczy się projektować trucizny

Nota redakcyjna: ten artykuł opiera się przede wszystkim na publikacjach: Fabio Urbiny, Filippy Lentzos, Cédérica Invernizziego i Seana Ekinsa „Dual Use of Artificial-Intelligence-Powered Drug Discovery”, Nature Machine Intelligence, marzec 2022 r.; oraz Seana Ekinsa, Filippy Lentzos, Maxa Brackmanna i Cédérica Invernizziego „There's a 'ChatGPT' for Biology. What Could Go Wrong?”, Bulletin of the Atomic Scientists, marzec 2023 r. W omawianym eksperymencie wygenerowano przewidziane komputerowo kandydackie cząsteczki - nie przeprowadzono syntezy, walidacji ani zastosowania fizycznych środków chemicznych. Ten artykuł nie twierdzi, że konkretny atak chemiczny lub biologiczny z wykorzystaniem AI jest nieuchronny. Cytowani badacze nie poparli CBRNMASKS.COM ani żadnego produktu opisanego w tym artykule. Analiza, wnioski dotyczące przygotowania oraz rekomendacje produktowe są wyłącznie autorstwa Davida Magena.

„Najbardziej przerażające było nie to, że AI nie posłuchała swoich twórców. Wykonała dokładnie to, o co ją poprosili”.

Oprogramowanie stworzono, by pomagało ratować życie. Jego cel był znajomy każdemu, kto pracuje przy współczesnym odkrywaniu leków: przeszukiwać więcej potencjalnych cząsteczek, niż zespół ludzi byłby kiedykolwiek w stanie zbadać, odrzucać niebezpiecznych kandydatów i identyfikować związki, które mogłyby stać się lekami. Toksyczność była wrogiem. Następnie badacze przygotowujący się do międzynarodowej konferencji poświęconej bezpieczeństwu zapytali, co by się stało, gdyby odwrócić ten cel.

Nie zbudowali nowego laboratorium broni. W kontrolowanym ćwiczeniu obliczeniowym przekierowali system opracowany na potrzeby korzystnych badań farmaceutycznych ku przeciwnemu celowi. W niespełna sześć godzin model wygenerował około 40 000 kandydackich cząsteczek spełniających próg toksyczności ustalony przez badaczy - w tym znane bojowe środki chemiczne oraz wcześniej nieopisane struktury, które model przewidział jako wysoce toksyczne. Niczego nie zsyntetyzowano. Nie powstała żadna fizyczna broń. Jednak narzędzie dało ostrzeżenie: system zaprojektowany, by chronić pacjentów przed toksycznymi lekami, można z niepokojącą łatwością skierować ku toksyczności.

Analizę tę najlepiej czytać wraz z artykułami cywilnej ochronie dróg oddechowych przed zagrożeniami biologicznymi oraz AI, dronom i biologii syntetycznej jako zagrożeniu bronią masowego rażenia. Razem łączą obraz zagrożenia z jego operacyjnymi konsekwencjami i znaczeniem dla przygotowania ludności cywilnej.

Naukowiec, który całą karierę poświęcił poszukiwaniu leków

Dr Sean Ekins jest farmakologiem, toksykologiem obliczeniowym i założycielem Collaborations Pharmaceuticals - firmy wykorzystującej uczenie maszynowe do odkrywania leków oraz badań nad chorobami rzadkimi i zakaźnymi. Jego praca zawodowa obejmowała potencjalne metody leczenia chorób takich jak Ebola oraz rzadkich zaburzeń wieku dziecięcego. To właśnie ten kontekst sprawia, że eksperyment jest tak wymowny. Zagrożenie nie pojawiło się dlatego, że złośliwe laboratorium stworzyło jawnie złowrogi program. Wynikło z legalnej platformy naukowej opracowanej po to, by przyspieszyć i zwiększyć bezpieczeństwo badań farmaceutycznych. Zespół przez lata uczył komputery przewidywać, czy cząsteczka może być użyteczna, czy może dotrzeć do celu biologicznego oraz czy może zaszkodzić pacjentowi. Podczas konferencji Spiez Convergence w Szwajcarii - na której badacze, specjaliści ds. kontroli zbrojeń i przedstawiciele służb bezpieczeństwa analizowali, jak nowe technologie mogą wpływać na kontrolę broni chemicznej i biologicznej - zaproszenie zmusiło Ekinsa i jego współpracowników do spojrzenia na własne oprogramowanie oczami potencjalnego użytkownika dopuszczającego się nadużycia. Ich wniosek był następujący: każdy system zdolny do optymalizacji korzystnej właściwości może również być zdolny do optymalizacji szkodliwej, jeśli zmieni się cel.

Funkcja bezpieczeństwa była również mapą

Twórcy leków potrzebują modeli toksyczności, aby identyfikować niebezpieczne cząsteczki, zanim rozpoczną kosztowne prace laboratoryjne i kliniczne. Oznacza to, że wystarczająco zaawansowany model nie tylko oznacza zagrożenie - uczy się wzorców związanych z zagrożeniem. System wyszkolony do rozpoznawania toksycznych struktur chemicznych może pomóc naukowcom ich unikać. Ta sama wiedza może wskazać, gdzie może znajdować się toksyczny obszar przestrzeni chemicznej. Badacze nie twierdzili, że ich model stworzył 40 000 gotowych do użycia broni chemicznych. Struktura molekularna na komputerze nie jest środkiem możliwym do zastosowania w praktyce. Rzeczywiste nadużycie nadal wymagałoby wiedzy z zakresu chemii, pozyskania materiałów, syntezy, oczyszczania, obchodzenia się ze środkiem, testowania i dostarczenia - a każdy z tych etapów tworzy bariery oraz możliwości wykrycia. Bariery te nie są jednak trwałymi prawami natury. Automatyzacja, synteza zlecana podmiotom zewnętrznym, laboratoria robotyczne i coraz lepsi asystenci naukowi mogą z czasem zmniejszyć część z nich. Obawa nie polega na tym, że pojedynczy wynik działania AI natychmiast staje się bronią. Chodzi o to, że czas, wiedza specjalistyczna i wysiłek potrzebne do dotarcia do niebezpiecznego kandydata mogą nadal się zmniejszać.

Następnie biologia zyskała własne modele językowe

W 2023 r. Ekins wraz z badaczką bezpieczeństwa biologicznego dr Filippą Lentzos oraz szwajcarskimi specjalistami ds. kontroli zbrojeń Maximilianem Brackmannem i Cédriciem Invernizzim przeanalizował to, co określili mianem „ChatGPT dla biologii”. Modele językowe białek uczą się wzorców z ogromnych zbiorów sekwencji aminokwasów - biologicznego alfabetu, z którego zbudowane są białka. Systemy AI wyszkolone na dziesiątkach lub setkach milionów sekwencji białek mogą proponować nowe sekwencje w ciągu kilku sekund. Badacze wykorzystywali takie modele do generowania białek, które następnie wytwarzano i wykazywały one działanie. Możliwości korzystnych zastosowań są niezwykłe: białka projektowane przez AI mogą pomóc w tworzeniu leków, szczepionek, enzymów i narzędzi rozkładających zanieczyszczenia. Autorzy ostrzegli jednak, że projektowanie białek wiąże się z takim samym odwróceniem zastosowania podwójnego przeznaczenia jak odkrywanie leków - być może przy jeszcze większej niepewności.

Toksyna, której nie rozpoznaje żadna lista kontrolna

Tradycyjna obrona biologiczna częściowo opiera się na rozpoznawaniu - laboratoria poszukują znanych sekwencji genetycznych, znanych toksyn, znanych sygnatur chemicznych oraz znanych zależności między strukturą a funkcją. Autorzy wykorzystali rycynę jako przykład koncepcyjny. Systemy wykrywania mogą poszukiwać rozpoznawalnych sekwencji lub cech strukturalnych powiązanych ze znaną toksyną. Przyszły system projektowania białek mógłby zachować szkodliwą funkcję biologiczną, jednocześnie zmieniając dużą część otaczającej sekwencji lub struktury. Powstała cząsteczka mogłaby wyglądać obco dla systemów opracowanych do rozpoznawania tego, co już skatalogowano. Znana toksyna może zostać umieszczona na liście kontrolnej. Nowa cząsteczka może jeszcze nie mieć nazwy.

Dr Filippa Lentzos na granicy nauki i bezpieczeństwa

Dr Filippa Lentzos jest wykładowczynią naukową w dziedzinie nauki i bezpieczeństwa międzynarodowego na Wydziale Studiów nad Wojną w King's College London, a także pełni funkcje w Sztokholmskim Międzynarodowym Instytucie Badań nad Pokojem oraz James Martin Center for Nonproliferation Studies. Przewodniczy Grupie Doradczej Technicznej Światowej Organizacji Zdrowia ds. Odpowiedzialnego Wykorzystania Nauk Przyrodniczych i Badań Podwójnego Zastosowania, a także jest ekspertką figurującą na liście ONZ wykorzystywanej do badania domniemanego użycia broni chemicznej lub biologicznej. Jej praca stawia pytanie, które instytucje naukowe często odkładają: nie tylko czy można przeprowadzić dane badania - lecz także w jaki sposób dana zdolność może zostać wykorzystana, gdy opuści ręce pierwotnego zespołu. Oprogramowanie jest kopiowane. Artykuły naukowe są czytane na całym świecie. Modele są dostosowywane. Usługi komercyjne umożliwiają syntezę i testowanie osobom, które nie stworzyły podstawowych narzędzi. Naukowiec może kontrolować cel jednego eksperymentu. Maszyna generuje możliwości w ciągu kilku sekund.

Co ryzyko związane z AI oznacza dla przygotowania ludności cywilnej

Obawa dotycząca bezpieczeństwa biologicznego związanego z AI nie wymaga od rodzin rozumienia fałdowania białek ani architektur uczenia maszynowego. Wymaga zrozumienia jednego prostego faktu: czas między pojawieniem się zdolności naukowej a jej niebezpiecznym zastosowaniem może się skracać, a liczba osób, które mogą uzyskać dostęp do tej zdolności, może rosnąć. Nie oznacza to, że atak jest nieuchronny. Oznacza to, że argument na rzecz przygotowania staje się silniejszy z każdym stopniowym obniżeniem bariery technicznej. Rodzina, która przygotuje się przed pojawieniem się ostrzeżenia, nie musi zgadywać, który system AI, który patogen ani które miasto będą zagrożone - potrzebuje sprzętu działającego dla każdego członka rodziny, przechowywanego w miejscu, do którego można się dostać, oraz przeszkolenia umożliwiającego szybkie użycie.

Praktyczny rodzinny zestaw ochrony dróg oddechowych

Dorośli: izraelska maska Simplex 4A1 Black Diamond - oryginalna izraelska pełnotwarzowa maska obrony cywilnej z panoramicznym wizjerem, przewodem do nawadniania i standardowym przyłączem filtra 40 mm. Dla osób z brodą: izraelski kaptur PAPR Sapphire.

Dzieci w wieku 2-8 lat: dziecięcy kaptur PAPR MAMTAK / Quartz - zasilany przezroczysty kaptur dla młodszych dzieci, które nie potrafią niezawodnie używać konwencjonalnej ściśle przylegającej maski.

Niemowlęta i małe dzieci w wieku 0-2 lat: system ochrony niemowląt Multipro.

Dzieci w wieku 8-14 lat: izraelska dziecięca maska gazowa 10A1.

Filtry: izraelskie filtry PA-12 i M80 Type 80 40 mm CBRN/NBC. Maszyna może generować możliwości w ciągu kilku sekund. Rodzina nadal potrzebuje czasu, aby zdecydować, co pasuje dorosłemu, co sprawdzi się u dziecka, co może nosić osoba z brodą oraz gdzie przechowywane są baterie i filtry. Tego zadania nie da się zautomatyzować po ogłoszeniu alarmu. Najbezpieczniej wykonać je wtedy, gdy oprogramowanie wciąż służy do poszukiwania leków.

Sprawdź izraelski rodzinny zestaw CBRN lub pełną ofertę na stronie CBRNMASKS.COM.

Chroń swoją rodzinę

4A1 dla dorosłych, Sapphire dla osób z brodą, MAMTAK / Quartz dla dzieci w wieku 2-8 lat, Multipro dla niemowląt. Uszczelnione filtry 40 mm do każdej maski. Izraelski rodzinny zestaw CBRN dla całego gospodarstwa domowego. CBRNMASKS.COM - izraelski sprzęt obrony cywilnej, w służbie od 2009 r.

Źródła podstawowe

Analiza i wnioski dotyczące przygotowania: David Magen - były oficer dochodzeń bojowych, Wydział Doktryny i Szkolenia, Dyrekcja Operacyjna IDF; były oficer sztabowy w Krajowym Urzędzie ds. Sytuacji Nadzwyczajnych, planowanie ciągłości działania dla władz lokalnych w regionie Hajfy. Założyciel CBRNMASKS.COM od 2009 r. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists oraz WHO nie są powiązani z CBRNMASKS.COM i nie poparli firmy ani jej produktów.

Powrót do bloga