Varování před biologickými zbraněmi AI: Když se objevování léčiv naučí navrhovat jedy

Redakční sdělení: tento článek vychází především z: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi a Sean Ekins, „Dual Use of Artificial-Intelligence-Powered Drug Discovery“, Nature Machine Intelligence, březen 2022; a Sean Ekins, Filippa Lentzos, Max Brackmann a Cédric Invernizzi, „There's a 'ChatGPT' for Biology. What Could Go Wrong?“, Bulletin of the Atomic Scientists, březen 2023. Popsaný experiment vytvořil počítačem predikované molekulární kandidáty - nesyntetizoval, neověřoval ani nenasadil fyzické chemické látky. Tento článek netvrdí, že konkrétní chemický nebo biologický útok s využitím AI bezprostředně hrozí. Citovaní výzkumníci nepodpořili CBRNMASKS.COM ani žádný produkt popsaný v tomto článku. Analýzu, závěry týkající se připravenosti a doporučení produktů vytvořil výhradně David Magen.

„Nejděsivější nebylo, že AI neposlechla své tvůrce. Udělala přesně to, o co ji požádali.“

Software byl vytvořen s cílem pomáhat zachraňovat životy. Jeho účel byl známý každému, kdo pracuje v moderním vývoji léčiv: prohledat více možných molekul, než by kdy dokázal prozkoumat lidský tým, vyřadit nebezpečné kandidáty a identifikovat sloučeniny, ze kterých by se mohly stát léky. Toxicita byla nepřítelem. Poté se vědci připravující na mezinárodní bezpečnostní konferenci zeptali, co by se stalo, kdyby se tento cíl obrátil.

Nevytvořili novou laboratoř na výrobu zbraní. V rámci kontrolovaného výpočetního cvičení přesměrovali systém vyvinutý pro prospěšný farmaceutický výzkum k opačnému cíli. Za méně než šest hodin model vytvořil přibližně 40 000 kandidátních molekul, které splňovaly práh toxicity stanovený výzkumníky - včetně známých chemických bojových látek a dříve neuvedených struktur, u nichž model předpověděl vysokou toxicitu. Nic nebylo syntetizováno. Nebyla vytvořena žádná fyzická zbraň. Výsledek však přinesl varování: nástroj navržený k ochraně pacientů před toxickými léky lze s překvapivou snadností nasměrovat k toxicitě.

Tuto analýzu je nejlepší číst společně s články o civilní ochraně dýchacích cest před biologickými hrozbami a o AI, dronech a syntetické biologii jako hrozbě ZHN. Společně propojují obraz hrozeb s jeho praktickými důsledky a dopady na civilní připravenost.

Vědec, který svou kariéru zasvětil hledání léčiv

Dr. Sean Ekins je farmakolog, výpočetní toxikolog a zakladatel společnosti Collaborations Pharmaceuticals - firmy, která využívá strojové učení při vývoji léčiv, výzkumu vzácných onemocnění a infekčních chorob. Jeho profesní práce zahrnovala potenciální léčbu nemocí, jako je ebola, i vzácných dětských poruch. Právě toto zázemí činí experiment tak působivým. Nebezpečí nevzniklo proto, že by zlovolná laboratoř vytvořila očividně zlověstný program. Vzešlo z legitimní vědecké platformy vytvořené s cílem urychlit a zvýšit bezpečnost farmaceutického výzkumu. Tým strávil roky učením počítačů předpovídat, zda by molekula mohla být užitečná, zda by mohla dosáhnout biologického cíle a zda by mohla pacientovi uškodit. Na konferenci Spiez Convergence ve Švýcarsku - kde vědci, odborníci na kontrolu zbrojení a bezpečnostní představitelé zkoumali, jak by nové technologie mohly ovlivnit kontrolu chemických a biologických zbraní - přimělo pozvání Ekinse a jeho kolegy podívat se na vlastní software očima potenciálního zneuživatele. Jejich závěr: každý systém schopný optimalizovat prospěšnou vlastnost může být po změně cíle schopný optimalizovat také škodlivou vlastnost.

Bezpečnostní funkce byla zároveň mapou

Vývojáři léčiv potřebují modely toxicity, aby identifikovali nebezpečné molekuly ještě před zahájením nákladného laboratorního a klinického výzkumu. Dostatečně schopný model tedy nebezpečí pouze neoznačuje - učí se vzorce spojené s nebezpečím. Systém vycvičený k rozpoznávání toxických chemických struktur může vědcům pomoci se jim vyhnout. Stejné znalosti však mohou odhalit, kde se v chemickém prostoru může nacházet toxická oblast. Výzkumníci netvrdili, že jejich model vytvořil 40 000 chemických zbraní připravených k použití. Molekulární struktura v počítači není nasaditelná látka. Skutečné zneužití by stále vyžadovalo chemické znalosti, obstarání surovin, syntézu, čištění, manipulaci, testování a doručení - přičemž každý z těchto kroků vytváří překážky i příležitosti k odhalení. Tyto překážky však nejsou trvalými zákony přírody. Automatizace, smluvní syntéza, robotické laboratoře a lepší vědečtí asistenti mohou některé z nich postupně snižovat. Obava nespočívá v tom, že se jeden výstup AI okamžitě promění ve zbraň. Jde o to, že čas, odbornost a úsilí potřebné k nalezení nebezpečného kandidáta mohou dál klesat.

Biologie získala vlastní jazykové modely

V roce 2023 se Ekins spojil s odbornicí na biologickou bezpečnost Dr. Filippou Lentzos a švýcarskými specialisty na kontrolu zbrojení Maximilianem Brackmannem a Cédricem Invernizzim, aby prozkoumali to, čemu říkali „ChatGPT pro biologii“. Proteinové jazykové modely se učí vzorce z obrovských souborů aminokyselinových sekvencí - biologické abecedy, ze které se skládají proteiny. Systémy AI vycvičené na desítkách či stovkách milionů proteinových sekvencí mohou během několika sekund navrhovat nové sekvence. Výzkumníci takové modely využili k vytvoření proteinů, které byly později vyrobeny a prokázaly funkčnost. Prospěšné možnosti jsou mimořádné: proteiny navržené pomocí AI mohou pomoci vytvářet léky, vakcíny, enzymy a nástroje rozkládající znečištění. Autoři však varovali, že návrh proteinů obsahuje stejný potenciál převrácení dvojího užití jako vývoj léčiv - možná s ještě větší nejistotou.

Toxin, který nepozná žádný seznam sledovaných látek

Tradiční biologická obrana se částečně opírá o rozpoznávání - laboratoře hledají známé genetické sekvence, známé toxiny, známé chemické podpisy a známé vztahy mezi strukturou a funkcí. Autoři použili ricin jako koncepční příklad. Detekční systémy mohou vyhledávat rozpoznatelné sekvence nebo strukturální rysy spojené se známým toxinem. Budoucí systém pro návrh proteinů by mohl zachovat škodlivou biologickou funkci a zároveň změnit velkou část okolní sekvence nebo struktury. Výsledná molekula by mohla detekčním systémům vytvořeným k rozpoznávání toho, co již bylo katalogizováno, připadat neznámá. Známý toxin lze zařadit na kontrolní seznam. Nová molekula zatím nemusí mít ani jméno.

Dr. Filippa Lentzos na pomezí vědy a bezpečnosti

Dr. Filippa Lentzos působí jako odborná lektorka vědy a mezinárodní bezpečnosti na katedře válečných studií King's College London a zastává také funkce ve Stockholmském mezinárodním institutu pro výzkum míru a v James Martin Center for Nonproliferation Studies. Předsedá Technické poradní skupině Světové zdravotnické organizace pro odpovědné využívání biologických věd a výzkum dvojího užití a je zapsanou odbornicí mechanismu Organizace spojených národů používaného k vyšetřování údajných případů použití chemických nebo biologických zbraní. Její práce klade otázku, kterou vědecké instituce často odkládají: nejen zda lze tento výzkum provést - ale také jak by mohla být tato schopnost využita poté, co opustí ruce původního týmu. Software se kopíruje. Vědecké práce čte celý svět. Modely se upravují. Komerční služby zpřístupňují syntézu a testování lidem, kteří původní nástroje nevytvořili. Vědec může kontrolovat účel jednoho experimentu. Stroj generuje možnosti během několika sekund.

Co riziko AI znamená pro civilní připravenost

Obava z AI v oblasti biologické bezpečnosti nevyžaduje, aby rodiny rozuměly skládání proteinů nebo architekturám strojového učení. Vyžaduje pochopení jediné jednoduché skutečnosti: čas mezi vznikem vědecké schopnosti a jejím nebezpečným využitím se může zkracovat a počet lidí, kteří k této schopnosti získají přístup, může růst. Neznamená to, že útok bezprostředně hrozí. Znamená to, že argumenty pro připravenost sílí s každým postupným snížením technické překážky. Rodina, která se připraví dříve, než přijde varování, nemusí hádat, který systém AI, který patogen nebo které město bude zapojeno - potřebuje vybavení, které funguje pro každého člena rodiny, uložené na dostupném místě, a výcvik umožňující rychlé použití.

Jak sestavit praktickou rodinnou soupravu na ochranu dýchacích cest

Dospělí: izraelská maska Israeli 4A1 Black Diamond Simplex - skutečná izraelská celoobličejová maska civilní obrany s panoramatickým průzorem, hydratační trubicí a standardním připojením filtru 40 mm. Pro uživatele s vousy: izraelská kapuce Israeli Sapphire PAPR.

Děti ve věku 2-8 let: dětská kapuce MAMTAK / Quartz PAPR - napájená průhledná kapuce pro menší děti, které nedokážou spolehlivě používat běžnou těsně přiléhající masku.

Kojenci a batolata ve věku 0-2 let: ochranný systém Multipro pro kojence.

Děti ve věku 8-14 let: izraelská dětská plynová maska 10A1.

Filtry: izraelské filtry PA-12 a M80 Type 80 40mm CBRN/NBC. Stroj může generovat možnosti během několika sekund. Rodina stále potřebuje čas rozhodnout, co sedí dospělému, co funguje pro dítě, co může nosit vousatý uživatel a kde jsou uloženy baterie a filtry. Po zaznění poplachu už tento proces nelze automatizovat. Nejbezpečnější čas k jeho dokončení je v době, kdy se software stále používá k hledání léčiv.

Prohlédněte si izraelskou rodinnou soupravu CBRN nebo kompletní nabídku na CBRNMASKS.COM.

Chraňte svou rodinu

4A1 pro dospělé, Sapphire pro vousaté uživatele, MAMTAK / Quartz pro děti ve věku 2-8 let, Multipro pro kojence. Uzavřené filtry 40 mm pro každou masku. Izraelská rodinná souprava CBRN pro celou domácnost. CBRNMASKS.COM - izraelské vybavení civilní obrany, ve službě od roku 2009.

Primární zdroje

Analýzu a závěry týkající se připravenosti vytvořil David Magen - bývalý důstojník pro vyšetřování bojových incidentů, oddělení doktríny a výcviku, operační ředitelství IDF; bývalý štábní důstojník Národního úřadu pro mimořádné události, plánování kontinuity pro místní samosprávy v regionu Haifa. Zakladatel CBRNMASKS.COM od roku 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists a WHO nejsou spojeni s CBRNMASKS.COM a nepodpořili tuto společnost ani její produkty.

Zpět na blog