Varning för AI-biovapen: När läkemedelsupptäckt lär sig att utforma gifter

Redaktionellt meddelande: denna artikel bygger huvudsakligen på: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi och Sean Ekins, ”Dual Use of Artificial-Intelligence-Powered Drug Discovery”, Nature Machine Intelligence, mars 2022; samt Sean Ekins, Filippa Lentzos, Max Brackmann och Cédric Invernizzi, ”There's a ’ChatGPT’ for Biology. What Could Go Wrong?”, Bulletin of the Atomic Scientists, mars 2023. Experimentet som diskuteras genererade datorförutsagda molekylkandidater – det syntetiserade, validerade eller använde inte fysiska kemiska stridsmedel. Artikeln hävdar inte att en specifik AI-aktiverad kemisk eller biologisk attack är nära förestående. De citerade forskarna har inte ställt sig bakom CBRNMASKS.COM eller någon produkt som beskrivs i denna artikel. Analysen, slutsatserna om beredskap och produktrekommendationerna kommer enbart från David Magen.

”Det mest skrämmande var inte att AI:n trotsade sina skapare. Den gjorde exakt det de bad den om.”

Programvaran hade utvecklats för att bidra till att rädda liv. Syftet var välbekant för alla som arbetar med modern läkemedelsutveckling: att söka igenom fler möjliga molekyler än ett mänskligt team någonsin skulle kunna undersöka, avvisa de farliga kandidaterna och identifiera föreningar som kunde bli läkemedel. Toxicitet var fienden. Sedan frågade forskare som förberedde en internationell säkerhetskonferens vad som skulle hända om målet vändes på ända.

De byggde inte ett nytt vapenlaboratorium. I en kontrollerad datorbaserad övning styrde de om ett system som hade utvecklats för välgörande läkemedelsforskning mot det motsatta målet. På mindre än sex timmar producerade modellen omkring 40 000 molekylkandidater som uppfyllde forskarnas toxicitetströskel – däribland kända kemiska stridsmedel och tidigare inte katalogiserade strukturer som modellen förutsade skulle vara mycket giftiga. Ingenting hade syntetiserats. Inget fysiskt vapen hade skapats. Men sökningen hade levererat varningen: ett verktyg som utformats för att skydda patienter mot giftiga läkemedel kunde med oroande enkelhet riktas mot toxicitet.

Denna analys bör läsas tillsammans med civilt andningsskydd mot biologiska hot och AI, drönare och syntetisk biologi som massförstörelsehot. Tillsammans kopplar de samman hotbilden med dess operativa konsekvenser och betydelse för civil beredskap.

Forskaren som hade ägnat sin karriär åt att söka efter läkemedel

Dr Sean Ekins är farmakolog, beräkningsbaserad toxikolog och grundare av Collaborations Pharmaceuticals – ett företag som använder maskininlärning för läkemedelsutveckling, sällsynta sjukdomar och infektionssjukdomar. Hans yrkesarbete har omfattat potentiella behandlingar för sjukdomar som ebola och sällsynta barnsjukdomar. Det är denna bakgrund som gör experimentet så kraftfullt. Faran uppstod inte för att ett illvilligt laboratorium byggde ett uppenbart ondskefullt program. Den uppstod ur en legitim vetenskaplig plattform som skapats för att göra läkemedelsforskningen snabbare och säkrare. Teamet hade ägnat år åt att lära datorer förutsäga om en molekyl kunde vara användbar, om den kunde nå ett biologiskt mål och om den kunde skada patienten. Vid Spiez Convergence-konferensen i Schweiz – där forskare, experter på vapenkontroll och säkerhetstjänstemän undersökte hur ny teknik kunde påverka kontrollen av kemiska och biologiska vapen – tvingade inbjudan Ekins och hans kollegor att betrakta sin egen programvara genom ögonen på en möjlig missbrukare. Deras insikt var följande: varje system som kan optimera en nyttig egenskap kan också kunna optimera en skadlig egenskap när målet ändras.

Säkerhetsfunktionen var också en karta

Läkemedelsutvecklare behöver toxicitetsmodeller för att identifiera farliga molekyler innan kostsamt laboratorie- och kliniskt arbete inleds. Det innebär att en tillräckligt avancerad modell gör mer än att märka ut fara – den lär sig mönster som förknippas med fara. Ett system som tränats för att känna igen giftiga kemiska strukturer kan hjälpa forskare att undvika dem. Samma kunskap kan visa var det toxiska området i det kemiska rummet kan finnas. Forskarna hävdade inte att deras modell hade framställt 40 000 färdiga kemiska vapen. En molekylstruktur på en dator är inte ett användbart stridsmedel. Missbruk i verkligheten skulle fortfarande kräva kemi, anskaffning, syntes, rening, hantering, testning och leverans – och varje steg skapar hinder och möjligheter till upptäckt. Men dessa hinder är inte permanenta naturlagar. Automatisering, kontraktssyntes, robotlaboratorier och bättre vetenskapliga assistenter kan minska vissa av dem med tiden. Oron gäller inte att ett enda AI-resultat omedelbart blir ett vapen. Det handlar om att den tid, expertis och sökinsats som krävs för att nå en farlig kandidat kan fortsätta att minska.

Sedan fick biologin sina egna språkmodeller

År 2023 samarbetade Ekins med biosecurityforskaren Dr Filippa Lentzos och de schweiziska vapenkontrollspecialisterna Maximilian Brackmann och Cédric Invernizzi för att undersöka det de kallade ”ett ChatGPT för biologi”. Proteinbaserade språkmodeller lär sig mönster i enorma samlingar av aminosyrasekvenser – det biologiska alfabet som proteiner byggs av. AI-system som tränats på tiotals eller hundratals miljoner proteinsekvenser kan föreslå nya sekvenser på några sekunder. Forskare har använt sådana modeller för att generera proteiner som senare tillverkades och visade sig fungera. De positiva möjligheterna är extraordinära: AI-designade proteiner kan bidra till att skapa läkemedel, vacciner, enzymer och verktyg som bryter ned föroreningar. Men författarna varnade för att proteindesign innehåller samma dubbla användningsmöjlighet som läkemedelsutveckling – möjligen med ännu större osäkerhet.

Giftet som ingen bevakningslista känner igen

Traditionellt biologiskt försvar bygger delvis på igenkänning – laboratorier letar efter kända genetiska sekvenser, kända toxiner, kända kemiska signaturer och kända samband mellan struktur och funktion. Författarna använde ricin som ett konceptuellt exempel. Detektionssystem kan söka efter igenkännliga sekvenser eller strukturella egenskaper som kopplas till det kända toxinet. Ett framtida system för proteindesign skulle kunna bevara en skadlig biologisk funktion samtidigt som stora delar av den omgivande sekvensen eller strukturen förändras. Den resulterande molekylen kan se obekant ut för system som har byggts för att känna igen sådant som redan katalogiserats. Ett känt toxin kan placeras på en kontrollista. En ny molekyl kanske ännu inte har något namn.

Dr Filippa Lentzos vid gränsen mellan vetenskap och säkerhet

Dr Filippa Lentzos är docent i vetenskap och internationell säkerhet vid Department of War Studies vid King's College London och har roller vid Stockholm International Peace Research Institute samt James Martin Center for Nonproliferation Studies. Hon leder Världshälsoorganisationens tekniska rådgivande grupp för ansvarsfull användning av livsvetenskaperna och forskning med dubbla användningsområden, och finns med bland experterna i den FN-mekanism som används för att utreda påstådd användning av kemiska eller biologiska vapen. Hennes arbete ställer en fråga som vetenskapliga institutioner ofta skjuter upp: inte bara kan denna forskning genomföras – utan hur kan kapaciteten användas när den lämnar det ursprungliga teamets händer? Programvara kopieras. Forskningsartiklar läses globalt. Modeller anpassas. Kommersiella tjänster gör syntes och testning tillgängliga för personer som inte byggde de bakomliggande verktygen. En forskare kan kontrollera syftet med ett enskilt experiment. Maskinen genererar möjligheter på några sekunder.

Vad AI-risk innebär för civil beredskap

AI-oron inom biologisk säkerhet kräver inte att familjer förstår proteinveckning eller maskininlärningsarkitekturer. Den kräver förståelse för ett enkelt faktum: tidsintervallet mellan en vetenskaplig förmåga och en farlig tillämpning kan bli kortare, samtidigt som antalet personer som kan få tillgång till förmågan kan öka. Det betyder inte att en attack är nära förestående. Det betyder att argumenten för beredskap blir starkare för varje steg som sänker den tekniska tröskeln. En familj som förbereder sig innan en varning kommer behöver inte gissa vilket AI-system, vilken patogen eller vilken stad det gäller – den behöver utrustning som fungerar för varje familjemedlem, förvarad där den kan nås, samt utbildning som möjliggör snabb användning.

Bygg ett praktiskt andningsskyddskit för familjen

Vuxna: Israeli 4A1 Black Diamond Simplex – äkta israelisk heltäckande civilförsvarsmask med panoramavisir, vätskeslang och standardanslutning för 40 mm-filter. För skäggbärare: Israeli Sapphire PAPR-huva.

Barn, 2–8 år: MAMTAK / Quartz PAPR-huva för barn – en motordriven transparent huva för yngre barn som inte pålitligt kan använda en konventionell tätslutande mask.

Spädbarn och småbarn, 0–2 år: Multipro skyddssystem för spädbarn.

Barn, 8–14 år: Israeli 10A1-gasmask för barn.

Filter: israeliska PA-12- och M80 Type 80 40 mm CBRN/NBC-filter. Maskinen kan generera möjligheter på några sekunder. En familj behöver fortfarande tid för att avgöra vad som passar den vuxna, vad som fungerar för barnet, vad skäggbäraren kan använda och var batterier och filter förvaras. Det arbetet kan inte automatiseras efter larmet. Den säkraste tiden att slutföra det är medan programvaran fortfarande används för att söka efter botemedel.

Utforska Israeli CBRN Family Bundle eller hela sortimentet på CBRNMASKS.COM.

Skydda din familj

4A1 för vuxna, Sapphire för skägg, MAMTAK / Quartz för 2–8 år, Multipro för spädbarn. Förseglade 40 mm-filter till varje mask. Israeli CBRN Family Bundle för hela hushållet. CBRNMASKS.COM – israelisk civilförsvarsutrustning, i tjänst sedan 2009.

Huvudkällor

Analys och slutsatser om beredskap av David Magen – tidigare utredningsofficer inom strid, avdelningen för doktrin och utbildning, IDF:s operativa direktorat; tidigare stabsofficer vid den nationella beredskapsmyndigheten, med ansvar för kontinuitetsplanering för lokala myndigheter i Haifa-regionen. Grundare av CBRNMASKS.COM sedan 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists och WHO är inte knutna till CBRNMASKS.COM och har inte ställt sig bakom företaget eller dess produkter.

Tillbaka till bloggen