Avertisment privind armele biologice create de IA: când descoperirea medicamentelor învață să proiecteze otrăvuri

Declarație editorială: acest articol se bazează în principal pe: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi și Sean Ekins, „Dual Use of Artificial-Intelligence-Powered Drug Discovery”, Nature Machine Intelligence, martie 2022; și Sean Ekins, Filippa Lentzos, Max Brackmann și Cédric Invernizzi, „There's a 'ChatGPT' for Biology. What Could Go Wrong?”, Bulletin of the Atomic Scientists, martie 2023. Experimentul discutat a generat candidați moleculari preziși de computer - nu a sintetizat, validat sau desfășurat agenți chimici fizici. Acest articol nu susține că un atac chimic sau biologic specific, bazat pe inteligență artificială, este iminent. Cercetătorii citați nu au susținut CBRNMASKS.COM sau vreun produs descris în acest articol. Analiza, concluziile privind pregătirea și recomandările de produse îi aparțin exclusiv lui David Magen.

„Cea mai înfricoșătoare parte nu a fost că inteligența artificială nu și-a ascultat creatorii. A făcut exact ceea ce i s-a cerut.”

Software-ul fusese creat pentru a contribui la salvarea vieților. Scopul său era familiar oricui lucrează în descoperirea modernă a medicamentelor: să caute mai multe molecule posibile decât ar putea examina vreodată o echipă umană, să respingă candidații periculoși și să identifice compuși care ar putea deveni medicamente. Toxicitatea era dușmanul. Apoi, cercetători care se pregăteau pentru o conferință internațională de securitate au întrebat ce s-ar întâmpla dacă obiectivul ar fi inversat.

Nu au construit un nou laborator de arme. În cadrul unui exercițiu computațional controlat, au redirecționat un sistem dezvoltat pentru cercetare farmaceutică benefică spre obiectivul opus. În mai puțin de șase ore, modelul a produs aproximativ 40.000 de molecule candidate care îndeplineau pragul de toxicitate stabilit de cercetători - inclusiv agenți cunoscuți de război chimic și structuri neînregistrate anterior, despre care modelul a prezis că sunt foarte toxice. Nimic nu a fost sintetizat. Nicio armă fizică nu a fost creată. Însă procesul de selecție a transmis avertismentul: un instrument conceput să protejeze pacienții de medicamente toxice putea fi orientat către toxicitate cu o ușurință tulburătoare.

Această analiză trebuie citită împreună cu protecția respiratorie civilă împotriva amenințărilor biologice și inteligența artificială, dronele și biologia sintetică drept amenințare reprezentată de armele de distrugere în masă. Împreună, acestea leagă tabloul amenințărilor de implicațiile sale operaționale și pentru pregătirea civilă.

Savantul care și-a dedicat cariera căutării medicamentelor

Dr. Sean Ekins este farmacolog, toxicolog computațional și fondator al Collaborations Pharmaceuticals - o companie care folosește învățarea automată pentru descoperirea medicamentelor, bolile rare și bolile infecțioase. Activitatea sa profesională a inclus posibile tratamente pentru boli precum Ebola și afecțiuni pediatrice rare. Acest context este cel care face experimentul atât de puternic. Pericolul nu a apărut deoarece un laborator rău intenționat a construit un program evident sinistru. A apărut dintr-o platformă științifică legitimă, creată pentru a face cercetarea farmaceutică mai rapidă și mai sigură. Echipa petrecuse ani învățând computerele să prezică dacă o moleculă ar putea fi utilă, dacă ar putea ajunge la o țintă biologică și dacă ar putea afecta pacientul. La conferința Spiez Convergence din Elveția - unde cercetători, specialiști în controlul armamentului și oficiali din domeniul securității au analizat modul în care noile tehnologii ar putea afecta controlul armelor chimice și biologice - invitația i-a obligat pe Ekins și colegii săi să-și privească propriul software prin ochii unui potențial utilizator abuziv. Concluzia lor: orice sistem capabil să optimizeze o proprietate benefică poate fi, de asemenea, capabil să optimizeze una dăunătoare atunci când obiectivul este schimbat.

Funcția de siguranță era și o hartă

Dezvoltatorii de medicamente au nevoie de modele de toxicitate pentru a identifica moleculele periculoase înainte de începerea activităților costisitoare de laborator și clinice. Asta înseamnă că un model suficient de capabil nu doar etichetează pericolul - el învață tiparele asociate pericolului. Un sistem antrenat să recunoască structuri chimice toxice îi poate ajuta pe oamenii de știință să se îndepărteze de acestea. Aceleași cunoștințe pot arăta unde s-ar putea afla regiunea toxică a spațiului chimic. Cercetătorii nu au susținut că modelul lor a produs 40.000 de arme chimice gata de utilizare. O structură moleculară aflată într-un computer nu este un agent utilizabil. Utilizarea abuzivă în lumea reală ar necesita în continuare chimie, achiziție, sinteză, purificare, manipulare, testare și livrare - fiecare dintre acestea creând bariere și oportunități de detectare. Totuși, aceste bariere nu sunt legi permanente ale naturii. Automatizarea, sinteza contractată, laboratoarele robotizate și asistenții științifici mai buni pot reduce unele dintre ele în timp. Îngrijorarea nu este că un rezultat generat de inteligența artificială devine instantaneu o armă. Ci că timpul, expertiza și efortul de căutare necesare pentru a ajunge la un candidat periculos ar putea continua să scadă.

Apoi, biologia și-a dobândit propriile modele lingvistice

În 2023, Ekins s-a alăturat cercetătoarei în biosecuritate Dr. Filippa Lentzos și specialiștilor elvețieni în controlul armamentului Maximilian Brackmann și Cédric Invernizzi pentru a analiza ceea ce au numit un „ChatGPT pentru biologie”. Modelele lingvistice pentru proteine învață tipare din colecții uriașe de secvențe de aminoacizi - alfabetul biologic din care sunt construite proteinele. Sistemele de inteligență artificială antrenate pe zeci sau sute de milioane de secvențe proteice pot propune secvențe noi în câteva secunde. Cercetătorii au folosit astfel de modele pentru a genera proteine care ulterior au fost fabricate și s-a demonstrat că funcționează. Posibilitățile benefice sunt extraordinare: proteinele concepute cu ajutorul inteligenței artificiale ar putea contribui la crearea de medicamente, vaccinuri, enzime și instrumente pentru descompunerea poluării. Însă autorii au avertizat că proiectarea proteinelor conține aceeași inversare cu utilizare duală ca descoperirea medicamentelor - posibil cu o incertitudine și mai mare.

Toxina pe care nicio listă de monitorizare nu o recunoaște

Bioapărarea tradițională se bazează parțial pe recunoaștere - laboratoarele caută secvențe genetice cunoscute, toxine cunoscute, semnături chimice cunoscute și relații cunoscute între structură și funcție. Autorii au folosit ricina ca exemplu conceptual. Sistemele de detectare pot căuta secvențe recognoscibile sau caracteristici structurale asociate toxinei cunoscute. Un viitor sistem de proiectare a proteinelor ar putea păstra o funcție biologică dăunătoare, schimbând în același timp o mare parte din secvența sau structura din jur. Molecula rezultată ar putea părea necunoscută sistemelor construite pentru a recunoaște ceea ce a fost deja catalogat. O toxină cunoscută poate fi inclusă pe o listă de control. O moleculă nouă poate să nu aibă încă un nume.

Dr. Filippa Lentzos la granița dintre știință și securitate

Dr. Filippa Lentzos este lector principal în știință și securitate internațională în cadrul Departamentului de Studii de Război al King's College London, având funcții și la Stockholm International Peace Research Institute și James Martin Center for Nonproliferation Studies. Ea prezidează Grupul consultativ tehnic al Organizației Mondiale a Sănătății privind utilizarea responsabilă a științelor vieții și cercetarea cu utilizare duală și este expertă înscrisă în lista mecanismului Organizației Națiunilor Unite folosit pentru investigarea presupusei utilizări a armelor chimice sau biologice. Activitatea sa pune o întrebare pe care instituțiile științifice o amână adesea: nu doar poate fi făcută această cercetare - ci și cum ar putea fi folosită capacitatea odată ce părăsește mâinile echipei inițiale? Software-ul este copiat. Lucrările de cercetare sunt citite la nivel global. Modelele sunt adaptate. Serviciile comerciale fac sinteza și testarea accesibile unor persoane care nu au construit instrumentele de bază. Un om de știință poate controla scopul unui singur experiment. Mașina generează posibilități în câteva secunde.

Ce înseamnă riscul reprezentat de inteligența artificială pentru pregătirea civilă

Îngrijorarea privind biosecuritatea și inteligența artificială nu le cere familiilor să înțeleagă plierea proteinelor sau arhitecturile de învățare automată. Ea necesită înțelegerea unui fapt simplu: intervalul dintre o capacitate științifică și o aplicație periculoasă s-ar putea scurta, iar numărul persoanelor care ar putea accesa acea capacitate ar putea crește. Asta nu înseamnă că un atac este iminent. Înseamnă că argumentul în favoarea pregătirii devine mai puternic cu fiecare reducere treptată a barierei tehnice. O familie care se pregătește înainte de sosirea unei avertizări nu trebuie să ghicească ce sistem de inteligență artificială, ce agent patogen sau ce oraș ar putea fi implicat - are nevoie de echipamente care funcționează pentru fiecare membru al familiei, depozitate într-un loc accesibil, precum și de instruire care permite utilizarea rapidă.

Construirea unui kit practic de protecție respiratorie pentru familie

Adulți: Israeli 4A1 Black Diamond Simplex - mască israeliană autentică, integrală, de protecție civilă, cu vizor panoramic, tub de hidratare și conexiune standard pentru filtru de 40 mm. Pentru utilizatorii cu barbă: cagula israeliană Sapphire PAPR.

Copii, între 2 și 8 ani: cagula PAPR MAMTAK / Quartz pentru copii - cagula transparentă alimentată electric pentru copiii mai mici care nu pot folosi în mod fiabil o mască convențională etanșă.

Sugari și copii mici, între 0 și 2 ani: sistemul de protecție pentru sugari Multipro.

Copii, între 8 și 14 ani: masca de gaze israeliană 10A1 pentru copii.

Filtre: filtre israeliene PA-12 și M80 Type 80 CBRN/NBC de 40 mm. Mașina poate genera posibilități în câteva secunde. O familie are în continuare nevoie de timp pentru a decide ce se potrivește adultului, ce funcționează pentru copil, ce poate purta utilizatorul cu barbă și unde sunt depozitate bateriile și filtrele. Această activitate nu poate fi automatizată după alarmă. Cel mai sigur moment pentru a o finaliza este cât timp software-ul este încă folosit pentru a căuta tratamente.

Descoperiți Pachetul familial israelian CBRN sau gama completă la CBRNMASKS.COM.

Protejați-vă familia

4A1 pentru adulți, Sapphire pentru bărboși, MAMTAK / Quartz pentru vârste între 2 și 8 ani, Multipro pentru sugari. Filtre etanșate de 40 mm pentru fiecare mască. Pachetul familial israelian CBRN pentru întreaga gospodărie. CBRNMASKS.COM - echipamente israeliene de protecție civilă, în serviciu din 2009.

Surse principale

Analiza și concluziile privind pregătirea îi aparțin lui David Magen - fost ofițer de investigații de luptă, Divizia de Doctrină și Instruire, Direcția de Operațiuni a IDF; fost ofițer de stat major, Autoritatea Națională pentru Situații de Urgență, planificarea continuității pentru autoritățile locale din regiunea Haifa. Fondator al CBRNMASKS.COM din 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists și OMS nu sunt afiliate CBRNMASKS.COM și nu au susținut compania sau produsele sale.

Înapoi la blog