Advarsel om biologiske våpen med KI: Når legemiddeloppdagelse lærer å utforme gift

Redaksjonell merknad: Denne artikkelen er hovedsakelig basert på: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi og Sean Ekins, «Dual Use of Artificial-Intelligence-Powered Drug Discovery», Nature Machine Intelligence, mars 2022; og Sean Ekins, Filippa Lentzos, Max Brackmann og Cédric Invernizzi, «There's a 'ChatGPT' for Biology. What Could Go Wrong?», Bulletin of the Atomic Scientists, mars 2023. Eksperimentet som omtales, genererte datamaskinberegnede molekylkandidater - det syntetiserte, validerte eller utplasserte ikke fysiske kjemiske agens. Denne artikkelen hevder ikke at et spesifikt KI-basert kjemisk eller biologisk angrep er nært forestående. Forskerne som er sitert, har ikke anbefalt CBRNMASKS.COM eller noe produkt som beskrives i denne artikkelen. Analyse, beredskapskonklusjoner og produktanbefalinger er utarbeidet av David Magen alene.

«Det mest skremmende var ikke at KI-en trosset skaperne sine. Den gjorde nøyaktig det de ba den om.»

Programvaren var utviklet for å bidra til å redde liv. Formålet var velkjent for alle som arbeider med moderne legemiddelutvikling: å søke gjennom flere mulige molekyler enn et menneskelig team noensinne kunne undersøke, forkaste de farlige kandidatene og identifisere forbindelser som kunne bli til legemidler. Giftighet var fienden. Så spurte forskere som forberedte en internasjonal sikkerhetskonferanse, hva som ville skje dersom målet ble snudd på hodet.

De bygde ikke et nytt våpenlaboratorium. I en kontrollert beregningsøvelse rettet de et system utviklet for nyttig farmasøytisk forskning mot det motsatte målet. På mindre enn seks timer produserte modellen omtrent 40 000 molekylkandidater som oppfylte forskernes giftighetsterskel - inkludert kjente kjemiske stridsmidler og tidligere ikke-oppførte strukturer som modellen forutså ville være svært giftige. Ingenting ble syntetisert. Ingen fysisk våpen ble skapt. Men screeningen leverte advarselen: et verktøy utviklet for å beskytte pasienter mot giftige legemidler kunne med foruroligende enkelhet rettes mot giftighet.

Denne analysen bør leses sammen med åndedrettsvern for sivile mot biologiske trusler og KI, droner og syntetisk biologi som en masseødeleggelsestrussel. Til sammen knytter de trusselbildet til dets operative konsekvenser og betydning for sivil beredskap.

Forskeren som hadde brukt karrieren på å finne legemidler

Dr. Sean Ekins er farmakolog, beregningsbasert toksikolog og grunnlegger av Collaborations Pharmaceuticals - et selskap som bruker maskinlæring til legemiddelutvikling, sjeldne sykdommer og infeksjonssykdommer. Det faglige arbeidet hans har blant annet omfattet mulige behandlinger for sykdommer som ebola og sjeldne barnesykdommer. Det er denne bakgrunnen som gjør eksperimentet så kraftfullt. Faren oppsto ikke fordi et ondsinnet laboratorium bygde et åpenbart skummelt program. Den oppsto fra en legitim vitenskapelig plattform som var utviklet for å gjøre farmasøytisk forskning raskere og sikrere. Teamet hadde brukt flere år på å lære datamaskiner å forutsi om et molekyl kunne være nyttig, om det kunne nå et biologisk mål, og om det kunne skade pasienten. På Spiez Convergence-konferansen i Sveits - der forskere, eksperter på rustningskontroll og sikkerhetsmyndigheter undersøkte hvordan ny teknologi kunne påvirke kontrollen med kjemiske og biologiske våpen - tvang invitasjonen Ekins og kollegene hans til å se sin egen programvare gjennom øynene til en mulig misbruker. Erkjennelsen deres var at ethvert system som kan optimalisere en nyttig egenskap, også kan være i stand til å optimalisere en skadelig egenskap når målet endres.

Sikkerhetsfunksjonen var også et kart

Legemiddelutviklere trenger toksisitetsmodeller for å identifisere farlige molekyler før kostbart laboratorie- og klinisk arbeid begynner. Det betyr at en tilstrekkelig avansert modell gjør mer enn å merke fare - den lærer mønstre som forbindes med fare. Et system som er trent til å gjenkjenne giftige kjemiske strukturer, kan hjelpe forskere med å styre unna dem. Den samme kunnskapen kan vise hvor det giftige området i det kjemiske mulighetsrommet kan ligge. Forskerne hevdet ikke at modellen deres hadde produsert 40 000 kjemiske våpen klare til bruk. En molekylstruktur på en datamaskin er ikke et utplasserbart agens. Misbruk i den virkelige verden ville fortsatt kreve kjemi, innkjøp, syntese, rensing, håndtering, testing og levering - og hvert av disse trinnene skaper hindringer og muligheter for oppdagelse. Men disse hindringene er ikke evige naturlovmessigheter. Automatisering, kontraktsyntese, robotlaboratorier og bedre vitenskapelige assistenter kan redusere noen av dem over tid. Bekymringen er ikke at ett KI-resultat umiddelbart blir til et våpen. Det er at tiden, ekspertisen og søkeinnsatsen som kreves for å nå en farlig kandidat, kan fortsette å synke.

Så fikk biologien sine egne språkmodeller

I 2023 slo Ekins seg sammen med bio­sikkerhetsforskeren Dr. Filippa Lentzos og de sveitsiske rustningskontrollekspertene Maximilian Brackmann og Cédric Invernizzi for å undersøke det de kalte en «ChatGPT for biologi». Protein­språkmodeller lærer mønstre på tvers av enorme samlinger av aminosyresekvenser - det biologiske alfabetet som proteiner bygges av. KI-systemer som er trent på titalls eller hundrevis av millioner proteinsekvenser, kan foreslå nye sekvenser på sekunder. Forskere har brukt slike modeller til å generere proteiner som senere ble produsert og vist seg å fungere. De nyttige mulighetene er ekstraordinære: KI-designede proteiner kan bidra til å utvikle legemidler, vaksiner, enzymer og verktøy som bryter ned forurensning. Men forfatterne advarte om at proteindesign inneholder den samme muligheten for å snu nytte til skade som legemiddelutvikling - muligens med enda større usikkerhet.

Giftstoffet som ingen overvåkningsliste gjenkjenner

Tradisjonelt biologisk forsvar er delvis avhengig av gjenkjennelse - laboratorier leter etter kjente genetiske sekvenser, kjente giftstoffer, kjente kjemiske signaturer og kjente sammenhenger mellom struktur og funksjon. Forfatterne brukte ricin som et konseptuelt eksempel. Påvisningssystemer kan lete etter gjenkjennelige sekvenser eller strukturelle trekk som er knyttet til det kjente giftstoffet. Et fremtidig proteindesignsystem kan bevare en skadelig biologisk funksjon samtidig som mye av den omkringliggende sekvensen eller strukturen endres. Det resulterende molekylet kan se ukjent ut for systemer som er bygget for å gjenkjenne det som allerede er katalogisert. Et kjent giftstoff kan føres opp på en kontrolliste. Et nytt molekyl har kanskje ikke noe navn ennå.

Dr. Filippa Lentzos i grenseområdet mellom vitenskap og sikkerhet

Dr. Filippa Lentzos er Reader in Science and International Security ved Department of War Studies ved King's College London, og har roller ved Stockholm International Peace Research Institute og James Martin Center for Nonproliferation Studies. Hun leder Verdens helseorganisasjons tekniske rådgivningsgruppe for ansvarlig bruk av biovitenskap og forskning med tosidig bruk, og står på ekspertlisten for FN-mekanismen som brukes til å undersøke påstått bruk av kjemiske eller biologiske våpen. Arbeidet hennes stiller et spørsmål som vitenskapelige institusjoner ofte utsetter: ikke bare kan denne forskningen gjennomføres - men hvordan kan kapasiteten bli brukt når den forlater det opprinnelige teamets hender? Programvare kopieres. Forskningsartikler leses over hele verden. Modeller tilpasses. Kommersielle tjenester gjør syntese og testing tilgjengelig for personer som ikke bygde de underliggende verktøyene. En forsker kan kontrollere formålet med ett eksperiment. Maskinen genererer muligheter på sekunder.

Hva KI-risiko betyr for sivil beredskap

KI-bekymringen innen biosikkerhet krever ikke at familier forstår proteinfolding eller arkitekturer for maskinlæring. Den krever forståelse av ett enkelt faktum: Tidslinjen fra en vitenskapelig kapasitet til en farlig anvendelse kan bli kortere, og antallet personer som kan få tilgang til denne kapasiteten, kan øke. Det betyr ikke at et angrep er nært forestående. Det betyr at beredskapsargumentet blir sterkere for hver gradvis reduksjon av den tekniske terskelen. En familie som forbereder seg før en advarsel kommer, trenger ikke å gjette hvilket KI-system, hvilket patogen eller hvilken by - den trenger utstyr som fungerer for hvert familiemedlem, oppbevart slik at det er tilgjengelig, med opplæring som gjør rask bruk mulig.

Slik bygger du et praktisk sett for åndedrettsvern til familien

Voksne: Israeli 4A1 Black Diamond Simplex - ekte israelsk helmaske for sivilforsvaret med panoramavisir, drikkeslange og standard 40mm-filtertilkobling. For brukere med skjegg: Israeli Sapphire PAPR-hette.

Barn, 2-8 år: MAMTAK / Quartz PAPR-hette for barn - en gjennomsiktig, motordrevet hette for yngre barn som ikke pålitelig kan bruke en konvensjonell tettsittende maske.

Spedbarn og småbarn, 0-2 år: Multipro-beskyttelsessystem for spedbarn.

Barn, 8-14 år: Israeli 10A1-gassmaske for barn.

Filtre: Israelske PA-12- og M80 Type 80 40mm CBRN/NBC-filtre. Maskinen kan generere muligheter på sekunder. En familie trenger fortsatt tid til å avgjøre hva som passer den voksne, hva som fungerer for barnet, hva den skjeggete brukeren kan ha på seg, og hvor batteriene og filtrene oppbevares. Dette arbeidet kan ikke automatiseres etter alarmen. Det tryggeste tidspunktet å fullføre det på er mens programvaren fortsatt brukes til å lete etter kurer.

Se Israeli CBRN Family Bundle eller hele utvalget på CBRNMASKS.COM.

Beskytt familien din

4A1 for voksne, Sapphire for skjegg, MAMTAK / Quartz for 2-8 år, Multipro for spedbarn. Forseglede 40mm-filtre til hver maske. Israeli CBRN Family Bundle for hele husstanden. CBRNMASKS.COM - israelsk sivilforsvarsutstyr, i tjeneste siden 2009.

Primærkilder

Analyse og beredskapskonklusjoner av David Magen - tidligere etterforskningsoffiser i strid, Doctrine and Training Division, IDF Operations Directorate; tidligere stabsoffiser i National Emergency Authority, med ansvar for kontinuitetsplanlegging for lokale myndigheter i Haifa-regionen. Grunnlegger av CBRNMASKS.COM siden 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists og WHO er ikke tilknyttet CBRNMASKS.COM og har ikke anbefalt selskapet eller produktene.

Tilbake til bloggen