Advarsel om AI-biovåben: Når lægemiddelopdagelse lærer at designe gift

Redaktionel oplysning: Denne artikel er primært baseret på: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi og Sean Ekins, "Dual Use of Artificial-Intelligence-Powered Drug Discovery", Nature Machine Intelligence, marts 2022; samt Sean Ekins, Filippa Lentzos, Max Brackmann og Cédric Invernizzi, "There's a 'ChatGPT' for Biology. What Could Go Wrong?", Bulletin of the Atomic Scientists, marts 2023. Det omtalte eksperiment genererede computerforudsagte molekylære kandidater — det syntetiserede, validerede eller anvendte ikke fysiske kemiske agenser. Denne artikel hævder ikke, at et specifikt AI-understøttet kemisk eller biologisk angreb er nært forestående. De citerede forskere har ikke anbefalet CBRNMASKS.COM eller produkter, der beskrives i denne artikel. Analyse, konklusioner om beredskab og produktanbefalinger er udelukkende udarbejdet af David Magen.

"Det mest skræmmende var ikke, at AI'en adlød sine skabere. Den gjorde præcis, hvad de bad den om."

Softwaren var blevet udviklet for at hjælpe med at redde liv. Formålet var velkendt for alle, der arbejder med moderne lægemiddeludvikling: at søge gennem flere mulige molekyler, end et menneskeligt team nogensinde kunne undersøge, afvise de farlige kandidater og identificere forbindelser, der kunne blive til lægemidler. Toksicitet var fjenden. Derefter spurgte forskere, der forberedte sig til en international sikkerhedskonference, hvad der ville ske, hvis målet blev vendt om.

De byggede ikke et nyt våbenlaboratorium. I en kontrolleret computermodeløvelse omdirigerede de et system, der var udviklet til gavnlig farmaceutisk forskning, mod det modsatte mål. På mindre end seks timer producerede modellen cirka 40.000 kandidat-molekyler, der opfyldte forskernes toksicitetstærskel — herunder kendte kemiske krigsførelsesagenser og tidligere ikke-opførte strukturer, som modellen forudsagde ville være meget giftige. Intet blev syntetiseret. Der var ikke blevet skabt noget fysisk våben. Men screeningen havde leveret advarslen: Et værktøj, der var designet til at beskytte patienter mod giftige lægemidler, kunne med foruroligende lethed rettes mod toksicitet.

Denne analyse bør læses sammen med civil åndedrætsbeskyttelse mod biologiske trusler og AI, droner og syntetisk biologi som en WMD-trussel. Tilsammen forbinder de trusselsbilledet med dets praktiske konsekvenser og betydning for civilt beredskab.

Forskeren, der havde brugt sin karriere på at finde lægemidler

Dr. Sean Ekins er farmakolog, beregningsmæssig toksikolog og grundlægger af Collaborations Pharmaceuticals — en virksomhed, der bruger maskinlæring til udvikling af lægemidler, forskning i sjældne sygdomme og infektionssygdomme. Hans professionelle arbejde har blandt andet omfattet potentielle behandlinger for sygdomme som Ebola og sjældne pædiatriske lidelser. Det er denne baggrund, der gør eksperimentet så stærkt. Faren opstod ikke, fordi et ondsindet laboratorium byggede et åbenlyst skummelt program. Den opstod fra en legitim videnskabelig platform, der var skabt for at gøre farmaceutisk forskning hurtigere og sikrere. Teamet havde brugt år på at lære computere at forudsige, om et molekyle kunne være nyttigt, om det kunne nå et biologisk mål, og om det kunne skade patienten. Ved Spiez Convergence-konferencen i Schweiz — hvor forskere, eksperter i våbenkontrol og sikkerhedsmyndigheder undersøgte, hvordan nye teknologier kunne påvirke kontrollen med kemiske og biologiske våben — tvang invitationen Ekins og hans kolleger til at betragte deres egen software gennem øjnene på en potentiel misbruger. Deres erkendelse var, at ethvert system, der kan optimere en gavnlig egenskab, også kan være i stand til at optimere en skadelig egenskab, når målet ændres.

Sikkerhedsfunktionen var også et kort

Lægemiddeludviklere har brug for toksicitetsmodeller for at identificere farlige molekyler, før dyrt laboratorie- og klinisk arbejde begynder. Det betyder, at en tilstrækkeligt avanceret model gør mere end blot at klassificere fare — den lærer mønstre, der forbindes med fare. Et system, der er trænet til at genkende giftige kemiske strukturer, kan hjælpe forskere med at bevæge sig væk fra dem. Den samme viden kan afsløre, hvor det toksiske område i det kemiske mulighedsrum kan ligge. Forskerne hævdede ikke, at deres model havde produceret 40.000 kemiske våben, der var klar til brug. En molekylær struktur på en computer er ikke en anvendelig agens. Misbrug i den virkelige verden ville stadig kræve kemi, indkøb, syntese, oprensning, håndtering, afprøvning og levering — og hvert trin skaber barrierer samt muligheder for opdagelse. Men disse barrierer er ikke permanente naturlove. Automatisering, kontraktsyntese, robotlaboratorier og bedre videnskabelige assistenter kan med tiden reducere nogle af dem. Bekymringen er ikke, at ét AI-output øjeblikkeligt bliver til et våben. Det er, at den tid, ekspertise og søgeindsats, der kræves for at nå frem til en farlig kandidat, fortsat kan falde.

Derefter fik biologien sine egne sprogmodeller

I 2023 gik Ekins sammen med biosecurity-forskeren dr. Filippa Lentzos og de schweiziske våbenkontroleksperter Maximilian Brackmann og Cédric Invernizzi for at undersøge det, de kaldte en "ChatGPT for biologi". Protein-sprogmodeller lærer mønstre på tværs af enorme samlinger af aminosyresekvenser — det biologiske alfabet, som proteiner er opbygget af. AI-systemer, der er trænet på titusinder eller hundredvis af millioner af proteinsekvenser, kan foreslå nye sekvenser på få sekunder. Forskere har brugt sådanne modeller til at generere proteiner, som senere blev fremstillet og vist sig at fungere. De gavnlige muligheder er ekstraordinære: AI-designede proteiner kan bidrage til at skabe lægemidler, vacciner, enzymer og værktøjer, der nedbryder forurening. Men forfatterne advarede om, at proteindesign indeholder den samme dual-use-vending som lægemiddeludvikling — muligvis med endnu større usikkerhed.

Toksinet, som ingen overvågningsliste genkender

Traditionelt biologisk forsvar afhænger delvist af genkendelse — laboratorier leder efter kendte genetiske sekvenser, kendte toksiner, kendte kemiske signaturer og kendte sammenhænge mellem struktur og funktion. Forfatterne brugte ricin som et begrebsmæssigt eksempel. Detektionssystemer kan søge efter genkendelige sekvenser eller strukturelle træk, der forbindes med det kendte toksin. Et fremtidigt proteindesignsystem kan muligvis bevare en skadelig biologisk funktion, samtidig med at meget af den omgivende sekvens eller struktur ændres. Det resulterende molekyle kan se ukendt ud for systemer, der er bygget til at genkende det, der allerede er katalogiseret. Et kendt toksin kan opføres på en kontrolliste. Et nyt molekyle har måske endnu ikke noget navn.

Dr. Filippa Lentzos ved grænsen mellem videnskab og sikkerhed

Dr. Filippa Lentzos er lektor i videnskab og international sikkerhed ved Department of War Studies på King's College London og har roller ved Stockholm International Peace Research Institute og James Martin Center for Nonproliferation Studies. Hun er formand for Verdenssundhedsorganisationens tekniske rådgivningsgruppe om ansvarlig brug af biovidenskaberne og dual-use-forskning og er registreret som ekspert i den FN-mekanisme, der bruges til at undersøge påstået brug af kemiske eller biologiske våben. Hendes arbejde stiller et spørgsmål, som videnskabelige institutioner ofte udskyder: ikke kun kan denne forskning udføres — men hvordan kan kapaciteten blive brugt, når den forlader det oprindelige teams hænder? Software kopieres. Forskningsartikler læses globalt. Modeller tilpasses. Kommercielle tjenester gør syntese og afprøvning tilgængelig for mennesker, der ikke byggede de underliggende værktøjer. En forsker kan kontrollere formålet med ét eksperiment. Maskinen genererer muligheder på få sekunder.

Hvad AI-risiko betyder for civilt beredskab

Bekymringen for AI og biosikkerhed kræver ikke, at familier forstår proteinfoldning eller maskinlæringsarkitekturer. Den kræver forståelse af én enkel kendsgerning: Tidsrummet mellem en videnskabelig kapacitet og en farlig anvendelse kan blive kortere, og antallet af mennesker, der kan få adgang til denne kapacitet, kan vokse. Det betyder ikke, at et angreb er nært forestående. Det betyder, at argumentet for beredskab bliver stærkere for hver gradvis reduktion af den tekniske barriere. En familie, der forbereder sig, før en advarsel kommer, behøver ikke gætte på, hvilket AI-system, hvilket patogen eller hvilken by det drejer sig om — den har brug for udstyr, der fungerer for hvert familiemedlem, opbevaret et sted, hvor det kan nås, samt træning, der muliggør hurtig brug.

Sådan opbygger du et praktisk åndedrætsbeskyttelsessæt til familien

Voksne: Israeli 4A1 Black Diamond Simplex — ægte israelsk civilforsvarsmaske med fuld ansigtsdækning, panoramavisir, hydratiseringsslange og standardtilslutning til 40 mm-filter. Til brugere med skæg: Israeli Sapphire PAPR-hætte.

Børn, 2–8 år: MAMTAK / Quartz PAPR-hætte til børn — en elektrisk, gennemsigtig hætte til mindre børn, der ikke pålideligt kan bruge en konventionel tætsluttende maske.

Spædbørn og småbørn, 0–2 år: Multipro-beskyttelsessystem til spædbørn.

Børn, 8–14 år: Israeli 10A1-gasmaske til børn.

Filtre: Israelske PA-12- og M80 Type 80 40 mm CBRN/NBC-filtre. Maskinen kan generere muligheder på få sekunder. En familie har stadig brug for tid til at afgøre, hvad der passer til den voksne, hvad der fungerer for barnet, hvad brugeren med skæg kan bære, og hvor batterier og filtre opbevares. Det arbejde kan ikke automatiseres, efter alarmen er gået. Det sikreste tidspunkt at få det gjort på er, mens softwaren stadig bruges til at søge efter helbredelser.

Se Israeli CBRN Family Bundle eller hele sortimentet på CBRNMASKS.COM.

Beskyt din familie

4A1 til voksne, Sapphire til skæg, MAMTAK / Quartz til 2–8 år, Multipro til spædbørn. Forseglede 40 mm-filtre til hver maske. Israeli CBRN Family Bundle til hele husstanden. CBRNMASKS.COM — israelsk civilforsvarsudstyr, i drift siden 2009.

Primære kilder

Analyse og konklusioner om beredskab af David Magen — tidligere efterforskningsleder i kampsituationer, Doctrine and Training Division, IDF Operations Directorate; tidligere stabsofficer ved National Emergency Authority med ansvar for kontinuitetsplanlægning for lokale myndigheder i Haifa-regionen. Grundlægger af CBRNMASKS.COM siden 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists og WHO er ikke tilknyttet CBRNMASKS.COM og har ikke anbefalet virksomheden eller dens produkter.

Tilbage til bloggen