Advarsel om biologiske våben fra AI: Når lægemiddeludvikling lærer at designe gift

Redaktionel oplysning: Denne artikel bygger primært på: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi og Sean Ekins, "Dual Use of Artificial-Intelligence-Powered Drug Discovery", Nature Machine Intelligence, marts 2022; og Sean Ekins, Filippa Lentzos, Max Brackmann og Cédric Invernizzi, "There's a 'ChatGPT' for Biology. What Could Go Wrong?", Bulletin of the Atomic Scientists, marts 2023. Eksperimentet, der omtales, frembragte computerforudsagte molekylære kandidater — det syntetiserede, validerede eller anvendte ikke fysiske kemiske agenser. Artiklen hævder ikke, at et konkret AI-aktiveret kemisk eller biologisk angreb er nært forestående. De citerede forskere har ikke støttet CBRNMASKS.COM eller nogen af de produkter, der beskrives i denne artikel. Analysen, konklusionerne om beredskab og produktanbefalingerne er alene David Magens.

"Det mest skræmmende var ikke, at AI'en trodsede sine skabere. Den gjorde præcis, hvad de bad den om."

Softwaren var udviklet for at hjælpe med at redde liv. Formålet var velkendt for alle, der arbejder med moderne lægemiddeludvikling: at søge blandt flere mulige molekyler, end et menneskeligt team nogensinde kunne undersøge, sortere de farlige kandidater fra og finde stoffer, der kunne blive til medicin. Giftighed var fjenden. Så spurgte forskere, der forberedte sig på en international sikkerhedskonference, hvad der ville ske, hvis man vendte målet om.

De byggede ikke et nyt våbenlaboratorium. I en kontrolleret computerøvelse rettede de et system, der var udviklet til gavnlig lægemiddelforskning, mod det modsatte mål. På under seks timer producerede modellen cirka 40.000 kandidatmolekyler, der opfyldte forskernes grænseværdi for giftighed — herunder kendte kemiske krigsmidler og strukturer, der ikke tidligere var opført, men som modellen forudsagde ville være meget giftige. Intet var blevet syntetiseret. Der var ikke skabt noget fysisk våben. Men screeningen leverede advarslen: Et værktøj, der var udviklet til at beskytte patienter mod giftige lægemidler, kunne med foruroligende lethed rettes mod giftighed.

Denne analyse bør læses sammen med åndedrætsbeskyttelse for civile mod biologiske trusler og AI, droner og syntetisk biologi som en trussel fra masseødelæggelsesvåben. Tilsammen forbinder de trusselsbilledet med de praktiske konsekvenser og beredskabet for civile.

Forskeren, der havde brugt sin karriere på at lede efter lægemidler

Dr. Sean Ekins er farmakolog, beregningsbaseret toksikolog og grundlægger af Collaborations Pharmaceuticals — en virksomhed, der bruger maskinlæring til udvikling af lægemidler samt forskning i sjældne sygdomme og infektionssygdomme. Hans professionelle arbejde har omfattet potentielle behandlinger af sygdomme som Ebola og sjældne børnesygdomme. Det er denne baggrund, der gør eksperimentet så stærkt. Faren opstod ikke, fordi et ondsindet laboratorium byggede et åbenlyst uhyggeligt program. Den opstod fra en legitim videnskabelig platform, der var skabt for at gøre lægemiddelforskning hurtigere og mere sikker. Teamet havde brugt årevis på at lære computere at forudsige, om et molekyle kunne være nyttigt, om det kunne nå et biologisk mål, og om det kunne skade patienten. På Spiez Convergence-konferencen i Schweiz — hvor forskere, eksperter i våbenkontrol og sikkerhedsembedsmænd undersøgte, hvordan nye teknologier kunne påvirke kontrollen med kemiske og biologiske våben — tvang invitationen Ekins og hans kolleger til at betragte deres egen software med en potentiel misbrugers øjne. Deres erkendelse var, at ethvert system, der kan optimere en gavnlig egenskab, også kan være i stand til at optimere en skadelig egenskab, når målet ændres.

Sikkerhedsfunktionen var også et kort

Lægemiddeludviklere har brug for toksicitetsmodeller til at identificere farlige molekyler, før dyrt laboratorie- og klinisk arbejde begynder. Det betyder, at en tilstrækkeligt avanceret model gør mere end blot at udpege fare — den lærer mønstre, der forbindes med fare. Et system, der er trænet til at genkende giftige kemiske strukturer, kan hjælpe forskere med at undgå dem. Den samme viden kan afsløre, hvor det giftige område af det kemiske mulighedsrum kan befinde sig. Forskerne hævdede ikke, at deres model havde produceret 40.000 kemiske våben, der var klar til brug. En molekylær struktur på en computer er ikke et anvendeligt kampmiddel. Misbrug i den virkelige verden ville stadig kræve kemi, indkøb, syntese, oprensning, håndtering, afprøvning og levering — og hvert led skaber barrierer og muligheder for opdagelse. Men disse barrierer er ikke uforanderlige naturlove. Automatisering, syntese på kontrakt, robotlaboratorier og bedre videnskabelige assistenter kan med tiden sænke nogle af dem. Bekymringen er ikke, at ét AI-resultat straks bliver til et våben. Bekymringen er, at den tid, ekspertise og søgeindsats, der kræves for at finde en farlig kandidat, kan blive ved med at falde.

Så fik biologien sine egne sprogmodeller

I 2023 gik Ekins sammen med biosikkerhedsforskeren Dr. Filippa Lentzos og de schweiziske våbenkontroleksperter Maximilian Brackmann og Cédric Invernizzi for at undersøge det, de kaldte en "ChatGPT for biologi". Sprogmodeller for proteiner lærer mønstre på tværs af enorme samlinger af aminosyresekvenser — det biologiske alfabet, som proteiner er opbygget af. AI-systemer, der er trænet på titusinder eller hundredvis af millioner proteinsekvenser, kan foreslå nye sekvenser på få sekunder. Forskere har brugt sådanne modeller til at generere proteiner, der senere blev fremstillet og vist sig at fungere. De gavnlige muligheder er bemærkelsesværdige: AI-designede proteiner kan hjælpe med at skabe lægemidler, vacciner, enzymer og værktøjer til at nedbryde forurening. Men forfatterne advarede om, at proteindesign rummer den samme omvending af dobbelt anvendelse som lægemiddeludvikling — muligvis med endnu større usikkerhed.

Toksinet, som ingen overvågningsliste genkender

Traditionelt biologisk forsvar bygger delvist på genkendelse — laboratorier leder efter kendte genetiske sekvenser, kendte toksiner, kendte kemiske signaturer og kendte sammenhænge mellem struktur og funktion. Forfatterne brugte ricin som et begrebsmæssigt eksempel. Detektionssystemer leder muligvis efter genkendelige sekvenser eller strukturelle træk, der forbindes med det kendte toksin. Et fremtidigt system til proteindesign kunne bevare en skadelig biologisk funktion, samtidig med at store dele af den omgivende sekvens eller struktur ændres. Det resulterende molekyle kunne se ukendt ud for systemer, der er bygget til at genkende det, der allerede er blevet katalogiseret. Et kendt toksin kan føjes til en kontrolliste. Et nyt molekyle har måske endnu ikke noget navn.

Dr. Filippa Lentzos i grænselandet mellem videnskab og sikkerhed

Dr. Filippa Lentzos er lektor i videnskab og international sikkerhed ved Department of War Studies på King's College London og har tilknytning til Stockholm International Peace Research Institute og James Martin Center for Nonproliferation Studies. Hun er formand for Verdenssundhedsorganisationens tekniske rådgivningsgruppe om ansvarlig brug af biovidenskaberne og forskning med dobbelt anvendelse samt udpeget ekspert i FN's mekanisme til undersøgelse af påstået brug af kemiske eller biologiske våben. Hendes arbejde rejser et spørgsmål, som videnskabelige institutioner ofte udskyder: ikke kun kan denne forskning udføres — men hvordan kan denne kapacitet blive brugt, når den forlader det oprindelige teams hænder? Software kopieres. Forskningsartikler læses verden over. Modeller tilpasses. Kommercielle tjenester gør syntese og afprøvning tilgængelig for folk, der ikke har udviklet de underliggende værktøjer. En forsker kan kontrollere formålet med ét eksperiment. Maskinen genererer muligheder på få sekunder.

Hvad AI-risiko betyder for civilt beredskab

Bekymringen for biosikkerheden ved AI kræver ikke, at familier forstår proteinfoldning eller maskinlæringsarkitekturer. Den kræver forståelse af én enkel kendsgerning: Tiden mellem en videnskabelig kapacitet og en farlig anvendelse kan blive kortere, og antallet af mennesker, der kan få adgang til den kapacitet, kan vokse. Det betyder ikke, at et angreb er nært forestående. Det betyder, at argumentet for beredskab bliver stærkere, hver gang de tekniske barrierer sænkes en smule. En familie, der forbereder sig, før en advarsel kommer, behøver ikke gætte på, hvilket AI-system, hvilket patogen eller hvilken by det drejer sig om — den har brug for udstyr, der virker for alle familiemedlemmer, opbevaret et sted, hvor det er let at få fat i, og træning, der gør hurtig brug mulig.

Sammensætning af et praktisk sæt til åndedrætsbeskyttelse for familien

Voksne: Den israelske 4A1 Black Diamond Simplex — en ægte israelsk helmaske til civilforsvar med panoramavisir, drikkeslange og standardtilslutning til 40mm-filter. Til personer med skæg: den israelske Sapphire PAPR-hætte.

Børn i alderen 2-8 år: MAMTAK / Quartz PAPR-hætte til børn — en gennemsigtig hætte med lufttilførsel til yngre børn, der ikke pålideligt kan bruge en konventionel tætsluttende maske.

Spædbørn og småbørn i alderen 0-2 år: Multipro-beskyttelsessystem til spædbørn.

Børn i alderen 8-14 år: Den israelske 10A1-gasmaske til børn.

Filtre: Israelske PA-12- og M80 Type 80 40mm CBRN/NBC-filtre. Maskinen kan generere muligheder på få sekunder. En familie har stadig brug for tid til at finde ud af, hvad der passer til den voksne, hvad der fungerer for barnet, hvad den skæggede bruger kan have på, og hvor batterierne og filtrene opbevares. Det arbejde kan ikke automatiseres, efter alarmen er gået. Det sikreste tidspunkt at gøre det færdigt på er, mens softwaren stadig bruges til at lede efter behandlinger.

Se den israelske CBRN-familiepakke eller hele sortimentet hos CBRNMASKS.COM.

Beskyt din familie

4A1 til voksne, Sapphire til skæg, MAMTAK / Quartz til 2-8-årige, Multipro til spædbørn. Forseglede 40mm-filtre til alle masker. Israelsk CBRN-familiepakke til hele husstanden. CBRNMASKS.COM — israelsk civilforsvarsudstyr, i brug siden 2009.

Primære kilder

• Fabio Urbina, Filippa Lentzos, Cédric Invernizzi, Sean Ekins — "Dual Use of Artificial-Intelligence-Powered Drug Discovery", Nature Machine Intelligence, marts 2022
• Sean Ekins, Filippa Lentzos, Max Brackmann, Cédric Invernizzi — "There's a 'ChatGPT' for Biology. What Could Go Wrong?", Bulletin of the Atomic Scientists, marts 2023
• WHO — Ansvarlig brug af biovidenskaberne og forskning med dobbelt anvendelse
• UK AI Security Institute — Tendenser inden for avanceret AI 2025

Analyse og konklusioner om beredskab ved David Magen — tidligere efterforskningsofficer i kampstyrkerne, doktrin- og træningsdivisionen under IDF's operationsdirektorat; tidligere stabsofficer ved den nationale beredskabsmyndighed med ansvar for kontinuitetsplanlægning for lokale myndigheder i Haifa-regionen. Grundlægger af CBRNMASKS.COM siden 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists og WHO er ikke tilknyttet CBRNMASKS.COM og har ikke støttet virksomheden eller dens produkter.