Waarschuwing voor biologische wapens met AI: wanneer geneesmiddelenonderzoek leert gif te ontwerpen

Redactionele toelichting: dit artikel is voornamelijk gebaseerd op: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi en Sean Ekins, „Dual Use of Artificial-Intelligence-Powered Drug Discovery”, Nature Machine Intelligence, maart 2022; en Sean Ekins, Filippa Lentzos, Max Brackmann en Cédric Invernizzi, „There's a 'ChatGPT' for Biology. What Could Go Wrong?”, Bulletin of the Atomic Scientists, maart 2023. Het besproken experiment genereerde door computers voorspelde moleculaire kandidaten — het heeft geen fysieke chemische agentia gesynthetiseerd, gevalideerd of ingezet. Dit artikel beweert niet dat een specifieke door AI mogelijk gemaakte chemische of biologische aanval op handen is. De aangehaalde onderzoekers hebben CBRNMASKS.COM of enig in dit artikel beschreven product niet onderschreven. De analyse, conclusies over paraatheid en productaanbevelingen zijn uitsluitend van David Magen.

„Het meest beangstigende was niet dat de AI haar makers ongehoorzaam was. Ze deed precies wat hun was gevraagd.”

De software was ontwikkeld om levens te helpen redden. Het doel ervan was herkenbaar voor iedereen die in de moderne geneesmiddelenontwikkeling werkt: meer mogelijke moleculen onderzoeken dan een menselijk team ooit zou kunnen bekijken, gevaarlijke kandidaten afwijzen en verbindingen identificeren die medicijnen zouden kunnen worden. Toxiciteit was de vijand. Vervolgens vroegen onderzoekers die zich voorbereidden op een internationale veiligheidsconferentie wat er zou gebeuren als het doel werd omgekeerd.

Ze bouwden geen nieuw wapenlaboratorium. In een gecontroleerde computationele oefening stuurden ze een systeem dat was ontwikkeld voor nuttig farmaceutisch onderzoek in de tegenovergestelde richting. In minder dan zes uur produceerde het model ongeveer 40.000 kandidaat-moleculen die voldeden aan de toxiciteitsdrempel van de onderzoekers — waaronder bekende chemische oorlogsmiddelen en voorheen niet geregistreerde structuren waarvan het model voorspelde dat ze zeer giftig waren. Er werd niets gesynthetiseerd. Er was geen fysiek wapen gecreëerd. Maar de screening leverde wel een waarschuwing op: een hulpmiddel dat was ontworpen om patiënten tegen giftige medicijnen te beschermen, kon met verontrustend gemak op toxiciteit worden gericht.

Deze analyse kan het best worden gelezen naast civiele ademhalingsbescherming tegen biologische bedreigingen en AI, drones en synthetische biologie als dreiging van massavernietigingswapens. Samen verbinden ze het dreigingsbeeld met de operationele gevolgen en de implicaties voor civiele paraatheid.

De wetenschapper die zijn carrière had gewijd aan het zoeken naar medicijnen

Dr. Sean Ekins is farmacoloog, computationeel toxicoloog en oprichter van Collaborations Pharmaceuticals — een bedrijf dat machine learning gebruikt voor geneesmiddelenontwikkeling, zeldzame ziekten en infectieziekten. Zijn professionele werk omvatte potentiële behandelingen voor ziekten zoals ebola en zeldzame pediatrische aandoeningen. Die achtergrond maakt het experiment krachtig. Het gevaar ontstond niet doordat een kwaadaardig laboratorium een duidelijk sinister programma had gebouwd. Het ontstond uit een legitiem wetenschappelijk platform dat was ontwikkeld om farmaceutisch onderzoek sneller en veiliger te maken. Het team had jarenlang computers geleerd te voorspellen of een molecuul nuttig kon zijn, of het een biologisch doelwit kon bereiken en of het de patiënt schade kon berokkenen. Tijdens de Spiez Convergence-conferentie in Zwitserland — waar onderzoekers, specialisten op het gebied van wapenbeheersing en veiligheidsfunctionarissen onderzochten hoe nieuwe technologieën de controle op chemische en biologische wapens konden beïnvloeden — dwong de uitnodiging Ekins en zijn collega’s om hun eigen software door de ogen van een potentiële misbruiker te bekijken. Hun conclusie: elk systeem dat een gunstige eigenschap kan optimaliseren, kan mogelijk ook een schadelijke eigenschap optimaliseren wanneer het doel wordt veranderd.

De veiligheidsfunctie was ook een kaart

Geneesmiddelenontwikkelaars hebben toxiciteitsmodellen nodig om gevaarlijke moleculen te identificeren voordat duur laboratorium- en klinisch onderzoek begint. Dat betekent dat een voldoende krachtig model meer doet dan gevaar labelen — het leert patronen die met gevaar samenhangen. Een systeem dat is getraind om giftige chemische structuren te herkennen, kan wetenschappers helpen ervan weg te blijven. Diezelfde kennis kan onthullen waar het giftige gebied van de chemische ruimte zich mogelijk bevindt. De onderzoekers beweerden niet dat hun model 40.000 gebruiksklare chemische wapens had geproduceerd. Een moleculaire structuur op een computer is geen inzetbaar middel. Misbruik in de echte wereld zou nog steeds chemie, inkoop, synthese, zuivering, hantering, testen en verspreiding vereisen — en elk daarvan vormt een barrière én een mogelijkheid tot detectie. Toch zijn die barrières geen permanente natuurwetten. Automatisering, contractsynthese, robotlaboratoria en betere wetenschappelijke assistenten kunnen sommige ervan na verloop van tijd verlagen. De zorg is niet dat één AI-uitvoer onmiddellijk een wapen wordt. Het is dat de tijd, expertise en zoekinspanning die nodig zijn om een gevaarlijke kandidaat te bereiken, verder kunnen afnemen.

Toen biologie haar eigen taalmodellen kreeg

In 2023 sloot Ekins zich aan bij biosecurityonderzoeker Dr. Filippa Lentzos en de Zwitserse specialisten op het gebied van wapenbeheersing Maximilian Brackmann en Cédric Invernizzi om te onderzoeken wat zij een „ChatGPT voor biologie” noemden. Eiwittaalmodellen leren patronen uit enorme verzamelingen aminozuursequenties — het biologische alfabet waaruit eiwitten zijn opgebouwd. AI-systemen die zijn getraind op tientallen of honderden miljoenen eiwitsequenties kunnen binnen enkele seconden nieuwe sequenties voorstellen. Onderzoekers hebben zulke modellen gebruikt om eiwitten te genereren die later werden geproduceerd en waarvan werd aangetoond dat ze functioneerden. De nuttige mogelijkheden zijn buitengewoon: door AI ontworpen eiwitten kunnen helpen bij het maken van medicijnen, vaccins, enzymen en hulpmiddelen die vervuiling afbreken. Maar de auteurs waarschuwden dat eiwitontwerp dezelfde omkering van dubbel gebruik kent als geneesmiddelenontwikkeling — mogelijk met nog grotere onzekerheid.

Het toxine dat op geen enkele waarschuwingslijst voorkomt

Traditionele biodefensie steunt gedeeltelijk op herkenning — laboratoria zoeken naar bekende genetische sequenties, bekende toxines, bekende chemische kenmerken en bekende verbanden tussen structuur en functie. De auteurs gebruikten ricine als conceptueel voorbeeld. Detectiesystemen zoeken mogelijk naar herkenbare sequenties of structurele kenmerken die met het bekende toxine verband houden. Een toekomstig systeem voor eiwitontwerp zou een schadelijke biologische functie kunnen behouden en tegelijkertijd een groot deel van de omliggende sequentie of structuur kunnen veranderen. Het resulterende molecuul kan er onbekend uitzien voor systemen die zijn gebouwd om te herkennen wat al is gecatalogiseerd. Een bekend toxine kan op een controlelijst worden geplaatst. Een nieuw molecuul heeft misschien nog geen naam.

Dr. Filippa Lentzos op de grens tussen wetenschap en veiligheid

Dr. Filippa Lentzos is Reader in Science and International Security aan de afdeling War Studies van King’s College London, en bekleedt functies bij het Stockholm International Peace Research Institute en het James Martin Center for Nonproliferation Studies. Ze is voorzitter van de Technical Advisory Group van de Wereldgezondheidsorganisatie voor verantwoord gebruik van de levenswetenschappen en onderzoek met dubbel gebruik, en is geregistreerd deskundige voor het mechanisme van de Verenigde Naties dat wordt gebruikt om vermeend gebruik van chemische of biologische wapens te onderzoeken. Haar werk stelt een vraag die wetenschappelijke instellingen vaak uitstellen: niet alleen kan dit onderzoek worden uitgevoerd — maar hoe kan de mogelijkheid worden gebruikt zodra die de oorspronkelijke onderzoeksgroep verlaat? Software wordt gekopieerd. Onderzoeksartikelen worden wereldwijd gelezen. Modellen worden aangepast. Commerciële diensten maken synthese en testen beschikbaar voor mensen die de onderliggende hulpmiddelen niet hebben gebouwd. Een wetenschapper kan het doel van één experiment beheersen. De machine genereert binnen enkele seconden mogelijkheden.

Wat AI-risico betekent voor civiele paraatheid

De biosecurityzorg rond AI vereist niet dat gezinnen eiwitvouwing of machine-learningarchitecturen begrijpen. Het vereist inzicht in één eenvoudig feit: de tijd tussen een wetenschappelijke mogelijkheid en een gevaarlijke toepassing kan korter worden, terwijl het aantal mensen dat toegang tot die mogelijkheid heeft, kan groeien. Dat betekent niet dat een aanval op handen is. Het betekent dat het argument voor paraatheid sterker wordt bij elke stapsgewijze verlaging van de technische drempel. Een gezin dat zich voorbereidt voordat er een waarschuwing komt, hoeft niet te raden welk AI-systeem, welke ziekteverwekker of welke stad erbij betrokken zal zijn — het heeft uitrusting nodig die voor elk gezinslid werkt, op een bereikbare plaats wordt bewaard en waarvoor training beschikbaar is zodat die snel kan worden gebruikt.

Een praktische set voor ademhalingsbescherming van het gezin samenstellen

Volwassenen: de Israëlische 4A1 Black Diamond Simplex — een echt Israëlisch volgelaatsmasker voor civiele bescherming, met panoramisch vizier, drinkslang en standaard 40mm-filteraansluiting. Voor gebruikers met een baard: de Israëlische Sapphire PAPR-kap.

Kinderen, 2–8 jaar: de MAMTAK / Quartz PAPR-kap voor kinderen — een aangedreven transparante kap voor jongere kinderen die niet betrouwbaar een conventioneel nauwsluitend masker kunnen gebruiken.

Baby’s en peuters, 0–2 jaar: het Multipro-beschermingssysteem voor baby’s.

Kinderen, 8–14 jaar: het Israëlische 10A1-gasmasker voor kinderen.

Filters: Israëlische PA-12- en M80 Type 80 40mm-CBRN/NBC-filters. De machine kan binnen enkele seconden mogelijkheden genereren. Een gezin heeft nog steeds tijd nodig om te bepalen wat bij de volwassene past, wat voor het kind werkt, wat de gebruiker met een baard kan dragen en waar de batterijen en filters worden bewaard. Dat werk kan na het alarm niet worden geautomatiseerd. Het veiligste moment om het af te ronden is terwijl de software nog wordt gebruikt om geneesmiddelen te zoeken.

Bekijk de Israëlische CBRN-gezinsbundel of het volledige assortiment op CBRNMASKS.COM.

Bescherm uw gezin

4A1 voor volwassenen, Sapphire voor baarddragers, MAMTAK / Quartz voor 2–8 jaar, Multipro voor baby’s. Verzegelde 40mm-filters voor elk masker. Israëlische CBRN-gezinsbundel voor het hele huishouden. CBRNMASKS.COM — Israëlische uitrusting voor civiele bescherming, in gebruik sinds 2009.

Primaire bronnen

Analyse en conclusies over paraatheid door David Magen — voormalig officier voor gevechtsonderzoek, afdeling Doctrine en Training, Operationeel Directoraat van de IDF; voormalig stafofficier bij de Nationale Noodautoriteit, verantwoordelijk voor continuïteitsplanning voor lokale overheden in de regio Haifa. Oprichter van CBRNMASKS.COM sinds 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists en de WHO zijn niet verbonden aan CBRNMASKS.COM en hebben het bedrijf of zijn producten niet onderschreven.

Terug naar blog