Avvertimento sulle armi biologiche dell’IA: quando la scoperta di farmaci impara a progettare veleni

Dichiarazione editoriale: questo articolo si basa principalmente su: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi e Sean Ekins, "Dual Use of Artificial-Intelligence-Powered Drug Discovery", Nature Machine Intelligence, marzo 2022; e Sean Ekins, Filippa Lentzos, Max Brackmann e Cédric Invernizzi, "There's a 'ChatGPT' for Biology. What Could Go Wrong?", Bulletin of the Atomic Scientists, marzo 2023. L'esperimento descritto ha generato candidati molecolari previsti dal computer - non ha sintetizzato, validato o utilizzato agenti chimici fisici. Questo articolo non sostiene che un attacco chimico o biologico specifico abilitato dall'IA sia imminente. I ricercatori citati non hanno approvato CBRNMASKS.COM né alcun prodotto descritto in questo articolo. L'analisi, le conclusioni sulla preparazione e le raccomandazioni sui prodotti sono esclusivamente di David Magen.

"La parte più spaventosa non è stata che l'IA abbia disobbedito ai suoi creatori. Ha fatto esattamente ciò che le avevano chiesto."

Il software era stato creato per contribuire a salvare vite. Il suo scopo era noto a chiunque lavorasse nella moderna scoperta di farmaci: analizzare più molecole potenziali di quante un team umano potrebbe mai esaminare, scartare i candidati pericolosi e individuare composti che potrebbero diventare medicinali. La tossicità era il nemico. Poi, i ricercatori che si preparavano a una conferenza internazionale sulla sicurezza chiesero cosa sarebbe successo se l'obiettivo fosse stato invertito.

Non hanno costruito un nuovo laboratorio per le armi. In un esercizio computazionale controllato, hanno reindirizzato verso l'obiettivo opposto un sistema sviluppato per la ricerca farmaceutica a beneficio della società. In meno di sei ore, il modello ha prodotto circa 40.000 molecole candidate che rispettavano la soglia di tossicità dei ricercatori - inclusi agenti di guerra chimica noti e strutture precedentemente non catalogate che il modello prevedeva essere altamente tossiche. Nulla è stato sintetizzato. Non è stata creata alcuna arma fisica. Ma lo screening aveva fornito l'avvertimento: uno strumento progettato per proteggere i pazienti dai farmaci tossici poteva essere indirizzato verso la tossicità con una facilità inquietante.

Questa analisi va letta insieme alla protezione respiratoria civile contro le minacce biologiche e all'IA, ai droni e alla biologia sintetica come minaccia di armi di distruzione di massa. Insieme, collegano il quadro della minaccia alle sue implicazioni operative e per la preparazione dei civili.

Lo scienziato che aveva trascorso la carriera alla ricerca di medicinali

Il dottor Sean Ekins è un farmacologo, tossicologo computazionale e fondatore di Collaborations Pharmaceuticals - un'azienda che utilizza l'apprendimento automatico per la scoperta di farmaci, le malattie rare e le malattie infettive. Il suo lavoro professionale ha incluso potenziali trattamenti per malattie come l'Ebola e rare patologie pediatriche. È proprio questo background a rendere potente l'esperimento. Il pericolo non è emerso perché un laboratorio malevolo ha creato un programma palesemente sinistro. È emerso da una piattaforma scientifica legittima, creata per rendere la ricerca farmaceutica più rapida e sicura. Il team aveva trascorso anni a insegnare ai computer a prevedere se una molecola potesse essere utile, se potesse raggiungere un bersaglio biologico e se potesse danneggiare il paziente. Alla conferenza Spiez Convergence in Svizzera - dove ricercatori, specialisti del controllo degli armamenti e funzionari della sicurezza hanno esaminato come le nuove tecnologie possano influire sul controllo delle armi chimiche e biologiche - l'invito ha costretto Ekins e i suoi colleghi a osservare il proprio software dagli occhi di un potenziale utilizzatore improprio. La loro conclusione: ogni sistema capace di ottimizzare una proprietà benefica può anche essere capace di ottimizzarne una dannosa quando cambia l'obiettivo.

La funzione di sicurezza era anche una mappa

Gli sviluppatori di farmaci hanno bisogno di modelli di tossicità per individuare le molecole pericolose prima che inizino costosi lavori di laboratorio e studi clinici. Ciò significa che un modello sufficientemente capace non si limita a classificare il pericolo - apprende i modelli associati al pericolo. Un sistema addestrato a riconoscere le strutture chimiche tossiche può aiutare gli scienziati ad allontanarsene. La stessa conoscenza può rivelare dove potrebbe trovarsi la regione tossica dello spazio chimico. I ricercatori non hanno affermato che il loro modello avesse prodotto 40.000 armi chimiche pronte all'uso. Una struttura molecolare su un computer non è un agente utilizzabile. Un abuso nel mondo reale richiederebbe comunque chimica, approvvigionamento, sintesi, purificazione, manipolazione, test e diffusione - e ciascuna di queste fasi crea ostacoli e opportunità di rilevamento. Tuttavia, tali ostacoli non sono leggi permanenti della natura. L'automazione, la sintesi su contratto, i laboratori robotici e assistenti scientifici migliori possono ridurne alcuni nel tempo. La preoccupazione non è che un singolo risultato dell'IA diventi istantaneamente un'arma. È che il tempo, le competenze e l'impegno di ricerca necessari per arrivare a un candidato pericoloso possano continuare a diminuire.

Poi la biologia ha acquisito i propri modelli linguistici

Nel 2023, Ekins si è unito alla studiosa di biosicurezza dottoressa Filippa Lentzos e agli specialisti svizzeri del controllo degli armamenti Maximilian Brackmann e Cédric Invernizzi per esaminare quello che hanno definito un "ChatGPT per la biologia". I modelli linguistici delle proteine apprendono i modelli presenti in enormi raccolte di sequenze di amminoacidi - l'alfabeto biologico con cui vengono costruite le proteine. I sistemi di IA addestrati su decine o centinaia di milioni di sequenze proteiche possono proporre nuove sequenze in pochi secondi. I ricercatori hanno utilizzato tali modelli per generare proteine che in seguito sono state prodotte e hanno dimostrato di funzionare. Le possibilità benefiche sono straordinarie: le proteine progettate dall'IA possono contribuire a creare medicinali, vaccini, enzimi e strumenti per degradare l'inquinamento. Ma gli autori hanno avvertito che la progettazione delle proteine contiene la stessa inversione a duplice uso della scoperta di farmaci - forse con un'incertezza ancora maggiore.

La tossina che nessuna lista di controllo riconosce

La biodefesa tradizionale dipende in parte dal riconoscimento - i laboratori cercano sequenze genetiche note, tossine note, firme chimiche note e relazioni note tra struttura e funzione. Gli autori hanno utilizzato la ricina come esempio concettuale. I sistemi di rilevamento possono cercare sequenze riconoscibili o caratteristiche strutturali collegate alla tossina nota. Un futuro sistema di progettazione delle proteine potrebbe mantenere una funzione biologica dannosa modificando gran parte della sequenza o della struttura circostante. La molecola risultante potrebbe apparire sconosciuta ai sistemi costruiti per riconoscere ciò che è già stato catalogato. Una tossina nota può essere inserita in un elenco di controllo. Una nuova molecola potrebbe non avere ancora un nome.

La dottoressa Filippa Lentzos al confine tra scienza e sicurezza

La dottoressa Filippa Lentzos è docente di Scienza e sicurezza internazionale presso il Department of War Studies del King's College London, con incarichi presso lo Stockholm International Peace Research Institute e il James Martin Center for Nonproliferation Studies. Presiede il Technical Advisory Group dell'Organizzazione Mondiale della Sanità sull'uso responsabile delle scienze della vita e della ricerca a duplice uso, ed è un'esperta inserita nell'elenco per il meccanismo delle Nazioni Unite utilizzato per indagare sul presunto uso di armi chimiche o biologiche. Il suo lavoro pone una domanda che le istituzioni scientifiche spesso rimandano: non solo si può condurre questa ricerca - ma come potrebbe essere utilizzata la capacità una volta uscita dalle mani del team originale? Il software viene copiato. Gli articoli di ricerca vengono letti in tutto il mondo. I modelli vengono adattati. I servizi commerciali rendono la sintesi e i test disponibili a persone che non hanno costruito gli strumenti sottostanti. Uno scienziato può controllare lo scopo di un singolo esperimento. La macchina genera possibilità in pochi secondi.

Cosa significa il rischio dell'IA per la preparazione dei civili

La preoccupazione per la biosicurezza legata all'IA non richiede che le famiglie comprendano il ripiegamento delle proteine o le architetture dell'apprendimento automatico. Richiede di comprendere un semplice fatto: il tempo tra una capacità scientifica e un'applicazione pericolosa potrebbe ridursi, mentre il numero di persone in grado di accedere a tale capacità potrebbe aumentare. Ciò non significa che un attacco sia imminente. Significa che l'argomento a favore della preparazione si rafforza a ogni riduzione incrementale della barriera tecnica. Una famiglia che si prepara prima dell'arrivo di un allarme non deve indovinare quale sistema di IA, quale patogeno o quale città - ha bisogno di attrezzature che funzionino per ogni membro della famiglia, conservate in un luogo accessibile e accompagnate da una formazione che consenta un utilizzo rapido.

Come creare un kit pratico di protezione respiratoria familiare

Adulti: la Israeli 4A1 Black Diamond Simplex - autentica maschera israeliana integrale di protezione civile con visiera panoramica, tubo per l'idratazione e raccordo standard per filtro da 40 mm. Per chi porta la barba: il cappuccio PAPR israeliano Sapphire.

Bambini, età 2-8 anni: il cappuccio PAPR per bambini MAMTAK / Quartz - cappuccio trasparente alimentato per bambini più piccoli che non sono in grado di utilizzare in modo affidabile una maschera convenzionale aderente.

Neonati e bambini piccoli, età 0-2 anni: il sistema di protezione per neonati Multipro.

Bambini, età 8-14 anni: la maschera antigas israeliana per bambini 10A1.

Filtri: filtri CBRN/NBC israeliani PA-12 e M80 Type 80 da 40 mm. La macchina può generare possibilità in pochi secondi. Una famiglia ha comunque bisogno di tempo per decidere cosa si adatta all'adulto, cosa funziona per il bambino, cosa può indossare la persona con la barba e dove conservare batterie e filtri. Questo lavoro non può essere automatizzato dopo l'allarme. Il momento più sicuro per completarlo è mentre il software viene ancora utilizzato per cercare cure.

Scopri l'Israeli CBRN Family Bundle o la gamma completa su CBRNMASKS.COM.

Proteggi la tua famiglia

4A1 per adulti, Sapphire per chi porta la barba, MAMTAK / Quartz per età 2-8 anni, Multipro per neonati. Filtri sigillati da 40 mm per ogni maschera. Israeli CBRN Family Bundle per tutta la famiglia. CBRNMASKS.COM - apparecchiature israeliane di protezione civile, in servizio dal 2009.

Fonti principali

Analisi e conclusioni sulla preparazione di David Magen - ex ufficiale investigativo di combattimento, Divisione Dottrina e Addestramento, Direzione Operativa delle IDF; ex ufficiale di stato maggiore, National Emergency Authority, pianificazione della continuità operativa per le autorità locali, regione di Haifa. Fondatore di CBRNMASKS.COM dal 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists e l'OMS non sono affiliati a CBRNMASKS.COM e non hanno approvato l'azienda né i suoi prodotti.

Torna al blog