Ostrzeżenie przed bronią biologiczną AI: gdy odkrywanie leków uczy się projektować truciznę

Ujawnienie redakcyjne: ten artykuł opiera się głównie na: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi i Sean Ekins, „Podwójne zastosowanie odkrywania leków wspomaganego sztuczną inteligencją”, Nature Machine Intelligence, marzec 2022; oraz Sean Ekins, Filippa Lentzos, Max Brackmann i Cédric Invernizzi, „Jest 'ChatGPT' dla biologii. Co może pójść nie tak?”, Bulletin of the Atomic Scientists, marzec 2023. Opisany eksperyment wygenerował komputerowo przewidywane kandydatki molekularne — nie przeprowadzono syntezy, walidacji ani nie zastosowano fizycznych środków chemicznych. Artykuł nie twierdzi, że nadchodzi konkretny atak chemiczny lub biologiczny z użyciem SI. Cytowani badacze nie popierają CBRNMASKS.COM ani żadnego produktu opisanego w artykule. Analiza, wnioski dotyczące gotowości i rekomendacje produktowe należą wyłącznie do Davida Magena.

„Najstraszniejszą częścią nie było to, że SI nie posłuchała swoich twórców. Zrobiła dokładnie to, o co ją poprosili.”

Oprogramowanie zostało stworzone, by ratować życie. Jego cel był znany każdemu pracującemu w nowoczesnym odkrywaniu leków: przeszukać więcej możliwych cząsteczek, niż zespół ludzki kiedykolwiek mógłby zbadać, odrzucić niebezpieczne kandydatki i zidentyfikować związki, które mogą stać się lekami. Toksyczność była wrogiem. Następnie badacze przygotowujący się do międzynarodowej konferencji bezpieczeństwa zapytali, co by się stało, gdyby cel został odwrócony.

Nie zbudowali nowego laboratorium broni. W kontrolowanym ćwiczeniu komputerowym przekierowali system opracowany do korzystnych badań farmaceutycznych na przeciwny cel. W mniej niż sześć godzin model wygenerował około 40 000 kandydatów molekularnych spełniających próg toksyczności badaczy — w tym znane środki walki chemicznej oraz wcześniej nieznane struktury przewidywane przez model jako wysoce toksyczne. Nic nie zostało zsyntetyzowane. Nie stworzono fizycznej broni. Jednak ekran dostarczył ostrzeżenia: narzędzie zaprojektowane, by chronić pacjentów przed toksycznymi lekami, można z niepokojącą łatwością skierować ku toksyczności.

Analizę tę najlepiej czytać razem z ochroną dróg oddechowych cywilów przed zagrożeniami biologicznymi oraz SI, dronami i biologią syntetyczną jako zagrożeniem bronią masowego rażenia. Razem łączą obraz zagrożenia z jego implikacjami operacyjnymi i dla gotowości cywilnej.

Naukowiec, który poświęcił karierę poszukiwaniu leków

Dr Sean Ekins jest farmakologiem, toksykologiem obliczeniowym i założycielem Collaborations Pharmaceuticals — firmy wykorzystującej uczenie maszynowe do odkrywania leków, chorób rzadkich i zakaźnych. Jego praca zawodowa obejmowała potencjalne terapie chorób takich jak Ebola i rzadkie zaburzenia pediatryczne. To doświadczenie czyni eksperyment tak istotnym. Niebezpieczeństwo nie pojawiło się, ponieważ złośliwe laboratorium stworzyło jawnie złowrogi program. Pojawiło się z legalnej platformy naukowej stworzonej, by przyspieszyć i uczynić badania farmaceutyczne bezpieczniejszymi. Zespół przez lata uczył komputery przewidywać, czy cząsteczka może być użyteczna, czy może dotrzeć do biologicznego celu i czy może zaszkodzić pacjentowi. Na konferencji Spiez Convergence w Szwajcarii — gdzie badacze, specjaliści ds. kontroli zbrojeń i urzędnicy bezpieczeństwa analizowali wpływ nowych technologii na kontrolę broni chemicznej i biologicznej — zaproszenie zmusiło Ekinsa i jego kolegów do spojrzenia na własne oprogramowanie oczami potencjalnego nadużywacza. Ich wniosek: każdy system zdolny do optymalizacji korzystnej cechy może także optymalizować szkodliwą, jeśli zmieni się cel.

Funkcja bezpieczeństwa była też mapą

Twórcy leków potrzebują modeli toksyczności, by identyfikować niebezpieczne cząsteczki zanim rozpoczną kosztowne prace laboratoryjne i kliniczne. To oznacza, że wystarczająco zdolny model robi więcej niż tylko oznacza niebezpieczeństwo — uczy się wzorców z nim związanych. System wytrenowany do rozpoznawania toksycznych struktur chemicznych może pomóc naukowcom unikać ich. Ta sama wiedza może ujawnić, gdzie może leżeć toksyczny obszar przestrzeni chemicznej. Badacze nie twierdzili, że ich model wygenerował 40 000 gotowych do użycia chemicznych środków bojowych. Struktura molekularna na komputerze nie jest środkiem do zastosowania. Nadużycie w rzeczywistości wymagałoby chemii, zaopatrzenia, syntezy, oczyszczenia, obsługi, testów i dostarczenia — z których każdy tworzy bariery i możliwości wykrycia. Jednak te bariery nie są trwałymi prawami natury. Automatyzacja, synteza na zlecenie, robotyczne laboratoria i lepsi asystenci naukowi mogą z czasem zmniejszyć niektóre z nich. Obawa nie polega na tym, że jedno wyjście SI natychmiast stanie się bronią. Chodzi o to, że czas, wiedza i wysiłek poszukiwania potrzebne do znalezienia niebezpiecznego kandydata mogą nadal się skracać.

Potem biologia zyskała własne modele językowe

W 2023 roku Ekins dołączył do badaczki bio-bezpieczeństwa dr Filippy Lentzos oraz szwajcarskich specjalistów ds. kontroli zbrojeń Maximiliana Brackmanna i Cédrica Invernizziego, by zbadać to, co nazwali „ChatGPT dla biologii”. Modele językowe białek uczą się wzorców na ogromnych zbiorach sekwencji aminokwasów — biologicznego alfabetu, z którego budowane są białka. Systemy SI wytrenowane na dziesiątkach lub setkach milionów sekwencji białkowych mogą w kilka sekund zaproponować nowe sekwencje. Badacze używali takich modeli do generowania białek, które potem zostały wyprodukowane i wykazano ich funkcjonalność. Możliwości korzystne są niezwykłe: białka zaprojektowane przez SI mogą pomóc tworzyć leki, szczepionki, enzymy i narzędzia rozkładające zanieczyszczenia. Jednak autorzy ostrzegali, że projektowanie białek zawiera tę samą podwójną inwersję zastosowania co odkrywanie leków — być może z jeszcze większą niepewnością.

Toksyna, której żadna lista nie rozpoznaje

Tradycyjna obrona biologiczna opiera się częściowo na rozpoznawaniu — laboratoria szukają znanych sekwencji genetycznych, znanych toksyn, znanych sygnatur chemicznych i znanych związków między strukturą a funkcją. Autorzy użyli rycyny jako przykładu koncepcyjnego. Systemy wykrywania mogą szukać rozpoznawalnych sekwencji lub cech strukturalnych powiązanych ze znaną toksyną. Przyszły system projektowania białek może zachować szkodliwą funkcję biologiczną, zmieniając jednocześnie dużą część otaczającej sekwencji lub struktury. Powstała cząsteczka może wyglądać na nieznaną dla systemów zbudowanych do rozpoznawania tego, co już zostało skatalogowane. Znana toksyna może być umieszczona na liście kontrolnej. Nowa cząsteczka może jeszcze nie mieć nazwy.

Dr Filippa Lentzos na granicy nauki i bezpieczeństwa

Dr Filippa Lentzos jest wykładowczynią nauki i bezpieczeństwa międzynarodowego w Katedrze Studiów Wojennych na King’s College London, z rolami w Sztokholmskim Międzynarodowym Instytucie Badań nad Pokojem oraz James Martin Center for Nonproliferation Studies. Przewodniczy Grupie Doradczej WHO ds. Odpowiedzialnego Wykorzystania Nauk o Życiu i Badań o Podwójnym Zastosowaniu oraz jest ekspertem w mechanizmie ONZ do badania domniemanych użyć broni chemicznej lub biologicznej. Jej praca stawia pytanie, które instytucje naukowe często odkładają: nie tylko czy badania te mogą być prowadzone — ale jak zdolność ta może być wykorzystana, gdy opuści ręce pierwotnego zespołu? Oprogramowanie jest kopiowane. Prace naukowe czytane globalnie. Modele adaptowane. Usługi komercyjne udostępniają syntezę i testy osobom, które nie stworzyły narzędzi bazowych. Naukowiec może kontrolować cel jednego eksperymentu. Maszyna generuje możliwości w kilka sekund.

Co ryzyko SI oznacza dla gotowości cywilnej

Obawa bio-bezpieczeństwa związana z SI nie wymaga od rodzin rozumienia fałdowania białek czy architektur uczenia maszynowego. Wymaga zrozumienia jednej prostej prawdy: czas między zdolnością naukową a niebezpiecznym zastosowaniem może się skracać, a liczba osób mających dostęp do tej zdolności może rosnąć. To nie oznacza, że atak jest nieuchronny. Oznacza, że argument za gotowością staje się silniejszy z każdym kolejnym obniżeniem bariery technicznej. Rodzina, która przygotuje się zanim nadejdzie ostrzeżenie, nie musi zgadywać, który system SI, który patogen czy które miasto — potrzebuje sprzętu działającego dla każdego członka rodziny, przechowywanego w miejscu łatwo dostępnym, z treningiem umożliwiającym szybkie użycie.

Budowanie praktycznego rodzinnego zestawu ochrony dróg oddechowych

Dorośli: Izraelska maska 4A1 Black Diamond Simplex — oryginalna izraelska pełnotwarzowa maska obrony cywilnej z panoramiczną szybą, rurką do nawadniania i standardowym połączeniem filtra 40 mm. Dla użytkowników z brodą: izraelski kaptur PAPR Sapphire.

Dzieci w wieku 2–8 lat: kaptur dziecięcy MAMTAK / Quartz PAPR — zasilany przezroczysty kaptur dla młodszych dzieci, które nie potrafią niezawodnie używać konwencjonalnej maski przylegającej.

Niemowlęta i małe dzieci w wieku 0–2 lat: system ochrony Multipro dla niemowląt.

Dzieci w wieku 8–14 lat: izraelska maska 10A1 dla dzieci.

Filtry: izraelskie filtry PA-12 i M80 Typ 80 40 mm CBRN/NBC. Maszyna może generować możliwości w kilka sekund. Rodzina nadal potrzebuje czasu, by zdecydować, co pasuje dorosłemu, co działa dla dziecka, co może nosić użytkownik z brodą oraz gdzie przechowywać baterie i filtry. Tego nie da się zautomatyzować po alarmie. Najbezpieczniejszy czas na to to okres, gdy oprogramowanie jest jeszcze używane do poszukiwania leków.

Zapoznaj się z izraelskim rodzinnym zestawem CBRN lub pełną ofertą na CBRNMASKS.COM.

Chroń swoją rodzinę

4A1 dla dorosłych, Sapphire dla brody, MAMTAK / Quartz dla dzieci 2–8 lat, Multipro dla niemowląt. Uszczelnione filtry 40 mm do każdej maski. Izraelski rodzinny zestaw CBRN dla całego gospodarstwa domowego. CBRNMASKS.COM — izraelski sprzęt obrony cywilnej w służbie od 2009 roku.

Źródła podstawowe

Analiza i wnioski dotyczące gotowości autorstwa Davida Magena — byłego oficera dochodzeniowego ds. walki, Wydziału Doktryny i Szkolenia, Dyrekcji Operacji IDF; byłego oficera sztabowego, Krajowego Urzędu ds. Sytuacji Nadzwyczajnych, planowania ciągłości dla władz lokalnych, region Hajfy. Założyciel CBRNMASKS.COM od 2009 roku. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists i WHO nie są powiązani z CBRNMASKS.COM i nie popierają firmy ani jej produktów.

Powrót do blogu