Varning för biologiska AI-vapen: När läkemedelsforskning lär sig att designa gift

Redaktionell information: Den här artikeln bygger främst på: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi och Sean Ekins, ”Dual Use of Artificial-Intelligence-Powered Drug Discovery”, Nature Machine Intelligence, mars 2022; samt Sean Ekins, Filippa Lentzos, Max Brackmann och Cédric Invernizzi, ”There's a 'ChatGPT' for Biology. What Could Go Wrong?”, Bulletin of the Atomic Scientists, mars 2023. Experimentet som diskuteras genererade datorförutsagda molekylkandidater – det syntetiserade, validerade eller använde inte fysiska kemiska ämnen. Artikeln hävdar inte att en specifik AI-aktiverad kemisk eller biologisk attack är nära förestående. Forskarna som citeras har inte ställt sig bakom CBRNMASKS.COM eller någon produkt som beskrivs i artikeln. Analysen, slutsatserna om beredskap och produktrekommendationerna är David Magens egna.

”Det mest skrämmande var inte att AI:n trotsade sina skapare. Den gjorde precis vad de bad den om.”

Programvaran hade utvecklats för att bidra till att rädda liv. Syftet var välbekant för alla som arbetar med modern läkemedelsforskning: söka igenom fler möjliga molekyler än ett mänskligt team någonsin skulle kunna undersöka, sålla bort de farliga kandidaterna och identifiera ämnen som skulle kunna bli läkemedel. Toxicitet var fienden. Sedan frågade forskare som förberedde sig inför en internationell säkerhetskonferens vad som skulle hända om målet vändes upp och ned.

De byggde inget nytt vapenlaboratorium. I en kontrollerad datorbaserad övning styrde de om ett system som utvecklats för gynnsam läkemedelsforskning mot det motsatta målet. På mindre än sex timmar genererade modellen omkring 40 000 molekylkandidater som uppfyllde forskarnas gränsvärde för toxicitet – däribland kända kemiska stridsmedel och tidigare olistade strukturer som modellen förutsade skulle vara mycket giftiga. Ingenting hade syntetiserats. Inget fysiskt vapen hade skapats. Men sökningen hade levererat en varning: ett verktyg som utformats för att skydda patienter mot giftiga läkemedel kunde med oroande lätthet riktas mot toxicitet.

Den här analysen läses med fördel tillsammans med andningsskydd för civila mot biologiska hot och AI, drönare och syntetisk biologi som ett hot med massförstörelsevapen. Tillsammans knyter de samman hotbilden med dess operativa konsekvenser och betydelse för civil beredskap.

Forskaren som hade ägnat sin karriär åt att hitta läkemedel

Dr. Sean Ekins är farmakolog, beräkningsbaserad toxikolog och grundare av Collaborations Pharmaceuticals – ett företag som använder maskininlärning för läkemedelsutveckling, sällsynta sjukdomar och infektionssjukdomar. Hans yrkesmässiga arbete har bland annat omfattat potentiella behandlingar för sjukdomar som ebola och sällsynta pediatriska sjukdomar. Det är den bakgrunden som gör experimentet så kraftfullt. Faran uppstod inte för att ett illvilligt laboratorium byggde ett uppenbart ondskefullt program. Den uppstod ur en legitim vetenskaplig plattform som skapats för att göra läkemedelsforskningen snabbare och säkrare. Teamet hade ägnat år åt att lära datorer förutsäga om en molekyl kunde vara användbar, om den kunde nå ett biologiskt mål och om den kunde skada patienten. Vid konferensen Spiez Convergence i Schweiz – där forskare, vapenkontrollspecialister och säkerhetstjänstemän undersökte hur ny teknik kan påverka kontrollen av kemiska och biologiska vapen – fick Ekins och hans kollegor genom inbjudan betrakta sin egen programvara ur en potentiell missbrukares perspektiv. Deras insikt var att varje system som kan optimera en gynnsam egenskap också kan optimera en skadlig egenskap om målet ändras.

Säkerhetsfunktionen var också en karta

Läkemedelsutvecklare behöver toxicitetsmodeller för att identifiera farliga molekyler innan kostsamt laboratoriearbete och kliniska studier inleds. Det innebär att en tillräckligt kapabel modell inte bara märker ut faror – den lär sig mönster som förknippas med fara. Ett system som tränats att känna igen giftiga kemiska strukturer kan hjälpa forskare att undvika dem. Samma kunskap kan avslöja var det giftiga området i det kemiska möjlighetsrummet kan finnas. Forskarna hävdade inte att deras modell hade tagit fram 40 000 färdiga kemiska vapen. En molekylstruktur på en dator är inte ett användbart stridsmedel. Missbruk i verkligheten skulle fortfarande kräva kemi, anskaffning, syntes, rening, hantering, testning och spridning – och varje steg innebär hinder och möjligheter till upptäckt. Men de hindren är inga oföränderliga naturlagar. Automatisering, kontraktstillverkning, robotiserade laboratorier och bättre vetenskapliga assistenter kan med tiden minska en del av dem. Oron är inte att ett enda AI-resultat omedelbart blir ett vapen. Oron är att tiden, expertisen och sökinsatsen som krävs för att hitta en farlig kandidat kan fortsätta att minska.

Sedan fick biologin sina egna språkmodeller

År 2023 gick Ekins samman med biosecurityforskaren Dr. Filippa Lentzos och de schweiziska vapenkontrollspecialisterna Maximilian Brackmann och Cédric Invernizzi för att undersöka det de kallade en ”ChatGPT för biologi”. Språkmodeller för proteiner lär sig mönster i enorma samlingar av aminosyrasekvenser – det biologiska alfabet som proteiner byggs upp av. AI-system som tränats på tiotals eller hundratals miljoner proteinsekvenser kan föreslå nya sekvenser på några sekunder. Forskare har använt sådana modeller för att skapa proteiner som senare har tillverkats och visats fungera. Möjligheterna att göra gott är extraordinära: AI-designade proteiner kan bidra till att skapa läkemedel, vacciner, enzymer och verktyg som bryter ned föroreningar. Men författarna varnade för att proteindesign innebär samma dubbla användningsmöjligheter som läkemedelsutveckling – möjligen med ännu större osäkerhet.

Toxinet som ingen bevakningslista känner igen

Traditionellt biologiskt försvar är delvis beroende av igenkänning – laboratorier letar efter kända genetiska sekvenser, kända toxiner, kända kemiska signaturer och kända samband mellan struktur och funktion. Författarna använde ricin som ett principiellt exempel. Detektionssystem kan söka efter igenkännbara sekvenser eller strukturella egenskaper kopplade till det kända toxinet. Ett framtida system för proteindesign skulle kanske kunna bevara en skadlig biologisk funktion samtidigt som stora delar av den omgivande sekvensen eller strukturen ändras. Den resulterande molekylen skulle kunna se främmande ut för system som byggts för att känna igen sådant som redan har katalogiserats. Ett känt toxin kan föras upp på en kontrollista. En ny molekyl kanske ännu inte ens har ett namn.

Dr. Filippa Lentzos i gränslandet mellan vetenskap och säkerhet

Dr. Filippa Lentzos är Reader in Science and International Security vid Department of War Studies, King's College London, och har uppdrag vid Stockholm International Peace Research Institute och James Martin Center for Nonproliferation Studies. Hon är ordförande för Världshälsoorganisationens tekniska rådgivande grupp för ansvarsfull användning av biovetenskap och forskning med dubbla användningsområden, och finns med på FN:s expertlista för den mekanism som används för att utreda påstådd användning av kemiska eller biologiska vapen. Hennes arbete ställer en fråga som vetenskapliga institutioner ofta skjuter upp: inte bara kan den här forskningen utföras – utan också hur kan förmågan komma att användas när den lämnat det ursprungliga teamets händer? Programvara kopieras. Forskningsartiklar läses globalt. Modeller anpassas. Kommersiella tjänster gör syntes och testning tillgängliga för personer som inte byggt verktygen i grunden. En forskare kan styra syftet med ett enskilt experiment. Maskinen genererar möjligheter på några sekunder.

Vad AI-risk innebär för civil beredskap

Oron kring AI och biologisk säkerhet innebär inte att familjer behöver förstå proteinveckning eller maskininlärningsarkitekturer. Det krävs bara att man förstår en enkel sak: tiden mellan en vetenskaplig förmåga och en farlig tillämpning kan bli kortare, samtidigt som fler människor kan få tillgång till den förmågan. Det betyder inte att en attack är nära förestående. Det betyder att argumenten för beredskap blir starkare för varje steg som sänker den tekniska tröskeln. En familj som förbereder sig innan en varning kommer behöver inte gissa vilket AI-system, vilken smitta eller vilken stad det gäller – den behöver utrustning som fungerar för varje familjemedlem, förvarad där den snabbt kan nås, och kunskap som gör att den kan användas direkt.

Så bygger du ett praktiskt andningsskyddskit för familjen

Vuxna: Israeli 4A1 Black Diamond Simplex – en äkta israelisk helmask för civilförsvar med panoramavisir, drickslang och standardanslutning för 40 mm-filter. För personer med skägg: israeliska Sapphire PAPR-huvan.

Barn, 2–8 år: MAMTAK / Quartz PAPR-huva för barn – en motordriven, genomskinlig huva för yngre barn som inte på ett tillförlitligt sätt kan använda en traditionell tätsittande mask.

Spädbarn och småbarn, 0–2 år: Multipro skyddssystem för spädbarn.

Barn, 8–14 år: israelisk 10A1-gasmask för barn.

Filter: Israeliska PA-12- och M80 Type 80 40 mm CBRN/NBC-filter. Maskinen kan generera möjligheter på några sekunder. En familj behöver fortfarande tid för att avgöra vad som passar den vuxna, vad som fungerar för barnet, vad personen med skägg kan bära och var batterierna och filtren förvaras. Det arbetet kan inte automatiseras när larmet väl har gått. Den säkraste tiden att göra klart det är medan programvaran fortfarande används för att söka efter botemedel.

Upptäck israeliska CBRN-familjepaketet eller hela sortimentet på CBRNMASKS.COM.

Skydda din familj

4A1 för vuxna, Sapphire för personer med skägg, MAMTAK / Quartz för barn 2–8 år, Multipro för spädbarn. Förseglade 40 mm-filter till varje mask. Israeliskt CBRN-familjepaket för hela hushållet. CBRNMASKS.COM – israelisk civilförsvarsutrustning, i bruk sedan 2009.

Primärkällor

• Fabio Urbina, Filippa Lentzos, Cédric Invernizzi, Sean Ekins – ”Dual Use of Artificial-Intelligence-Powered Drug Discovery”, Nature Machine Intelligence, mars 2022
• Sean Ekins, Filippa Lentzos, Max Brackmann, Cédric Invernizzi – ”There's a 'ChatGPT' for Biology. What Could Go Wrong?”, Bulletin of the Atomic Scientists, mars 2023
• WHO – Ansvarsfull användning av biovetenskap och forskning med dubbla användningsområden
• UK AI Security Institute – Trender inom banbrytande AI 2025

Analys och slutsatser om beredskap av David Magen – tidigare utredningsofficer för stridsincidenter vid IDF:s operationsdirektorat, doktrin- och utbildningsavdelningen; tidigare stabsofficer vid den nationella beredskapsmyndigheten, med ansvar för kontinuitetsplanering för lokala myndigheter i Haifaområdet. Grundare av CBRNMASKS.COM sedan 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists och WHO är inte knutna till CBRNMASKS.COM och har inte ställt sig bakom företaget eller dess produkter.