Tekoälyn bioturvallisuusvaroitus: kun lääkekehitys oppii suunnittelemaan myrkkyjä

Toimituksellinen ilmoitus: tämä artikkeli perustuu ensisijaisesti seuraaviin lähteisiin: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi ja Sean Ekins, ”Dual Use of Artificial-Intelligence-Powered Drug Discovery”, Nature Machine Intelligence, maaliskuu 2022; sekä Sean Ekins, Filippa Lentzos, Max Brackmann ja Cédric Invernizzi, ”There's a 'ChatGPT' for Biology. What Could Go Wrong?”, Bulletin of the Atomic Scientists, maaliskuu 2023. Käsitellyssä kokeessa tuotettiin tietokoneen ennustamia molekyyliehdokkaita — fyysisiä kemiallisia aineita ei syntetisoitu, validoitu eikä otettu käyttöön. Tämä artikkeli ei väitä, että tietty tekoälyavusteinen kemiallinen tai biologinen hyökkäys olisi välitön uhka. Artikkelissa mainitut tutkijat eivät ole suositelleet CBRNMASKS.COM-sivustoa tai mitään tässä artikkelissa kuvattua tuotetta. Analyysistä, varautumista koskevista johtopäätöksistä ja tuotesuosituksista vastaa yksin David Magen.

”Pelottavinta ei ollut se, että tekoäly olisi totellut luojiaan vastaan. Se teki täsmälleen sen, mitä siltä pyydettiin.”

Ohjelmisto oli rakennettu auttamaan ihmishenkien pelastamisessa. Sen tarkoitus oli tuttu kaikille nykyaikaisen lääkekehityksen parissa työskenteleville: käydä läpi enemmän mahdollisia molekyylejä kuin ihmisryhmä voisi koskaan tutkia, hylätä vaaralliset ehdokkaat ja tunnistaa yhdisteitä, joista voisi tulla lääkkeitä. Myrkyllisyys oli vihollinen. Sitten kansainvälistä turvallisuuskonferenssia valmistelleet tutkijat kysyivät, mitä tapahtuisi, jos tavoite käännettäisiin päinvastaiseksi.

He eivät rakentaneet uutta aselaboratoriota. Valvotussa laskennallisessa harjoituksessa he ohjasivat hyödylliseen lääkekehitystutkimukseen kehitetyn järjestelmän vastakkaiseen tavoitteeseen. Alle kuudessa tunnissa malli tuotti noin 40 000 molekyyliehdokasta, jotka täyttivät tutkijoiden asettaman myrkyllisyyskynnyksen — mukaan lukien tunnettuja kemiallisen sodankäynnin aineita sekä aiemmin luetteloimattomia rakenteita, jotka mallin ennusteen mukaan olivat erittäin myrkyllisiä. Mitään ei syntetisoitu. Fyysistä asetta ei luotu. Seula kuitenkin välitti varoituksen: potilaiden suojaamiseen myrkyllisiltä lääkkeiltä suunnattu työkalu voitiin kohdistaa myrkyllisyyteen hälyttävän helposti.

Tätä analyysiä on parasta lukea yhdessä seuraavien aiheiden kanssa: siviilien hengityksensuojaus biologisia uhkia vastaan sekä tekoäly, lennokit ja synteettinen biologia joukkotuhoaseiden uhkana. Yhdessä ne yhdistävät uhkakuvan sen operatiivisiin vaikutuksiin ja siviilien varautumiseen.

Tiedemies, joka oli omistanut uransa lääkkeiden etsimiselle

Tohtori Sean Ekins on farmakologi, laskennallinen toksikologi ja Collaborations Pharmaceuticals -yrityksen perustaja. Yritys hyödyntää koneoppimista lääkekehityksessä, harvinaissairauksien tutkimuksessa ja infektiotautien hoidossa. Hänen ammatilliseen työhönsä on kuulunut mahdollisten hoitojen etsiminen muun muassa Ebolaan ja harvinaisiin lasten sairauksiin. Tämä tausta tekee kokeesta merkittävän. Vaara ei syntynyt siksi, että pahantahtoinen laboratorio olisi rakentanut ilmeisen uhkaavan ohjelman. Se syntyi laillisesta tieteellisestä alustasta, jonka tarkoituksena oli tehdä lääkekehityksestä nopeampaa ja turvallisempaa. Tiimi oli vuosien ajan opettanut tietokoneita ennustamaan, voisiko molekyylistä olla hyötyä, saavuttaisiko se biologisen kohteen ja voisiko se vahingoittaa potilasta. Sveitsissä järjestetyssä Spiez Convergence -konferenssissa — jossa tutkijat, asevalvonnan asiantuntijat ja turvallisuusviranomaiset tarkastelivat uusien teknologioiden vaikutuksia kemiallisten ja biologisten aseiden valvontaan — Ekins ja hänen kollegansa joutuivat tarkastelemaan omaa ohjelmistoaan mahdollisen väärinkäyttäjän silmin. Heidän johtopäätöksensä oli, että jokainen järjestelmä, joka pystyy optimoimaan hyödyllistä ominaisuutta, voi tavoitteen muuttuessa pystyä optimoimaan myös haitallista ominaisuutta.

Turvallisuustoiminto oli samalla kartta

Lääkekehittäjät tarvitsevat toksisuusmalleja tunnistaakseen vaaralliset molekyylit ennen kalliin laboratorio- ja kliinisen työn aloittamista. Tämä tarkoittaa, että riittävän kyvykäs malli ei ainoastaan merkitse vaaraa — se oppii vaaran kanssa yhteydessä olevia malleja. Myrkylliset kemialliset rakenteet tunnistamaan opetettu järjestelmä voi auttaa tutkijoita välttämään niitä. Sama tieto voi paljastaa, missä myrkyllinen alue kemiallisessa avaruudessa saattaa sijaita. Tutkijat eivät väittäneet, että heidän mallinsa olisi tuottanut 40 000 käyttövalmista kemiallista asetta. Tietokoneella oleva molekyylirakenne ei ole käyttöön otettava aine. Todellinen väärinkäyttö edellyttäisi edelleen kemiaa, hankintaa, synteesiä, puhdistamista, käsittelyä, testausta ja levitystä — ja jokainen näistä vaiheista luo esteitä sekä mahdollisuuksia havaitsemiseen. Nämä esteet eivät kuitenkaan ole pysyviä luonnonlakeja. Automaatio, tilaussynteesi, robottiteknologiaan perustuvat laboratoriot ja paremmat tieteelliset avustajat voivat ajan myötä madaltaa joitakin niistä. Huolenaihe ei ole se, että yhdestä tekoälyn tuotoksesta tulisi välittömästi ase. Huolenaihe on se, että vaarallisen ehdokkaan saavuttamiseen tarvittava aika, asiantuntemus ja etsintätyö voivat jatkuvasti vähentyä.

Sitten biologia sai omat kielimallinsa

Vuonna 2023 Ekins liittyi bioturvallisuustutkija tohtori Filippa Lentzosin sekä sveitsiläisten asevalvonnan asiantuntijoiden Maximilian Brackmannin ja Cédric Invernizzin kanssa tarkastelemaan sitä, mitä he kutsuivat ”biologian ChatGPT:ksi”. Proteiinikielimallit oppivat kaavoja valtavista aminohapposekvenssien kokoelmista — biologisesta aakkostosta, josta proteiinit rakentuvat. Kymmenien tai satojen miljoonien proteiinisekvenssien avulla opetetut tekoälyjärjestelmät voivat ehdottaa uusia sekvenssejä sekunneissa. Tutkijat ovat käyttäneet tällaisia malleja proteiinien tuottamiseen, ja niitä on myöhemmin valmistettu ja osoitettu toimiviksi. Hyödyt voivat olla valtavat: tekoälyn suunnittelemat proteiinit voivat auttaa lääkkeiden, rokotteiden ja entsyymien kehittämisessä sekä saastumista hajottavien työkalujen luomisessa. Kirjoittajat kuitenkin varoittivat, että proteiinien suunnitteluun liittyy sama kaksikäyttöisyyden käänne kuin lääkekehitykseen — mahdollisesti vielä suuremmalla epävarmuudella.

Myrkky, jota mikään tarkkailulista ei tunnista

Perinteinen biopuolustus perustuu osittain tunnistamiseen — laboratoriot etsivät tunnettuja geneettisiä sekvenssejä, tunnettuja myrkkyjä, tunnettuja kemiallisia tunnusmerkkejä sekä tunnettuja rakenteen ja toiminnan välisiä yhteyksiä. Kirjoittajat käyttivät risiiniä käsitteellisenä esimerkkinä. Tunnistusjärjestelmät saattavat etsiä tunnettuun myrkkyyn liittyviä tunnistettavia sekvenssejä tai rakenteellisia piirteitä. Tuleva proteiinien suunnittelujärjestelmä voisi säilyttää haitallisen biologisen toiminnan ja muuttaa samalla suuren osan ympäröivästä sekvenssistä tai rakenteesta. Tuloksena oleva molekyyli voisi näyttää vieraalta järjestelmille, jotka on rakennettu tunnistamaan jo luetteloituja aineita. Tunnettu myrkky voidaan lisätä valvontalistalle. Uudella molekyylillä ei ehkä vielä ole nimeä.

Tohtori Filippa Lentzos tieteen ja turvallisuuden rajalla

Tohtori Filippa Lentzos on tieteen ja kansainvälisen turvallisuuden apulaisprofessori King’s Collegen Lontoon sotatieteiden laitoksella. Hän toimii myös Tukholman kansainvälisessä rauhantutkimusinstituutissa ja James Martin Center for Nonproliferation Studies -keskuksessa. Hän johtaa Maailman terveysjärjestön teknistä neuvoa-antavaa ryhmää, joka käsittelee biotieteiden ja kaksikäyttöisen tutkimuksen vastuullista käyttöä, ja toimii Yhdistyneiden kansakuntien kemiallisten tai biologisten aseiden epäiltyä käyttöä tutkivan mekanismin asiantuntijarekisterissä. Hänen työnsä esittää kysymyksen, jota tiedelaitokset usein lykkäävät: ei ainoastaan voidaanko tämä tutkimus tehdä — vaan miten kykyä voidaan käyttää sen jälkeen, kun se poistuu alkuperäisen tiimin käsistä? Ohjelmistoja kopioidaan. Tutkimusartikkeleita luetaan kaikkialla maailmassa. Malleja muokataan. Kaupalliset palvelut tarjoavat synteesiä ja testausta ihmisille, jotka eivät rakentaneet taustalla olevia työkaluja. Tiedemies voi hallita yhden kokeen tarkoitusta. Kone tuottaa mahdollisuuksia sekunneissa.

Mitä tekoälyriski tarkoittaa siviilien varautumiselle

Tekoälyyn liittyvä bioturvallisuushuoli ei edellytä, että perheet ymmärtävät proteiinien laskostumista tai koneoppimisen arkkitehtuureja. On ymmärrettävä yksi yksinkertainen tosiasia: tieteellisen kyvykkyyden ja vaarallisen sovelluksen välinen aika voi lyhentyä, ja niiden ihmisten määrä, jotka voivat käyttää tätä kyvykkyyttä, voi kasvaa. Tämä ei tarkoita, että hyökkäys olisi välitön uhka. Se tarkoittaa, että varautumisen perusteet vahvistuvat jokaisen teknistä kynnystä hieman madaltavan edistysaskeleen myötä. Ennen varoitusta varautuvan perheen ei tarvitse arvata, mikä tekoälyjärjestelmä, taudinaiheuttaja tai kaupunki on kyseessä — se tarvitsee välineet, jotka toimivat jokaiselle perheenjäsenelle ja joita säilytetään helposti saatavilla, sekä koulutuksen, joka mahdollistaa nopean käytön.

Käytännöllisen perheen hengityksensuojauspaketin kokoaminen

Aikuiset: Israelin 4A1 Black Diamond Simplex — aito israelilainen kokokasvoinen siviilipuolustusnaamari, jossa on panoraamavisiiri, juomaputki ja vakiomuotoinen 40 mm:n suodatinliitäntä. Parrakkaille käyttäjille: Israelin Sapphire PAPR -huppu.

Lapset, 2–8-vuotiaat: MAMTAK / Quartz -lasten PAPR-huppu — moottoroitu läpinäkyvä huppu nuoremmille lapsille, jotka eivät pysty luotettavasti käyttämään tavanomaista tiivistä naamaria.

Vauvat ja taaperot, 0–2-vuotiaat: Multipro-vauvojen suojausjärjestelmä.

Lapset, 8–14-vuotiaat: israelilainen 10A1-lasten kaasunaamari.

Suodattimet: israelilaiset PA-12- ja M80 Type 80 -tyypin 40 mm:n CBRN/NBC-suodattimet. Kone voi tuottaa mahdollisuuksia sekunneissa. Perheen on silti käytettävä aikaa sen päättämiseen, mikä sopii aikuiselle, mikä toimii lapselle, mitä parrakas käyttäjä voi käyttää ja missä paristoja sekä suodattimia säilytetään. Tätä työtä ei voi automatisoida hälytyksen jälkeen. Turvallisinta se on tehdä silloin, kun ohjelmistoa käytetään vielä parannuskeinojen etsimiseen.

Tutustu israelilaiseen CBRN-perhepakettiin tai koko valikoimaan osoitteessa CBRNMASKS.COM.

Suojaa perheesi

4A1 aikuisille, Sapphire parrakkaille, MAMTAK / Quartz 2–8-vuotiaille ja Multipro vauvoille. Suljetut 40 mm:n suodattimet jokaiseen naamariin. Israelilainen CBRN-perhepaketti koko taloudelle. CBRNMASKS.COM — israelilaisia siviilipuolustusvälineitä vuodesta 2009.

Ensisijaiset lähteet

Analyysistä ja varautumista koskevista johtopäätöksistä vastaa David Magen — entinen taistelututkintaupseeri, IDF:n operatiivisen osaston doktriini- ja koulutusjaosto; entinen esikuntaupseeri kansallisessa hätätilaviranomaisessa, jossa hän vastasi Haifan alueen paikallisviranomaisten jatkuvuussuunnittelusta. CBRNMASKS.COM-sivuston perustaja vuodesta 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists ja WHO eivät ole sidoksissa CBRNMASKS.COM-sivustoon eivätkä ole suositelleet yritystä tai sen tuotteita.

Takaisin blogiin