Warnung vor KI-Biowaffen: Wenn die Arzneimittelforschung lernt, Gift zu entwickeln

Redaktioneller Hinweis: Dieser Artikel basiert hauptsächlich auf: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi und Sean Ekins, „Dual Use of Artificial-Intelligence-Powered Drug Discovery“, Nature Machine Intelligence, März 2022; und Sean Ekins, Filippa Lentzos, Max Brackmann und Cédric Invernizzi, „There's a 'ChatGPT' for Biology. What Could Go Wrong?“, Bulletin of the Atomic Scientists, März 2023. Das diskutierte Experiment erzeugte computergestützt vorhergesagte molekulare Kandidaten – es synthetisierte, validierte oder setzte keine physischen chemischen Kampfstoffe ein. Dieser Artikel behauptet nicht, dass ein spezifischer KI-gestützter chemischer oder biologischer Angriff unmittelbar bevorsteht. Die zitierten Forscher haben CBRNMASKS.COM oder irgendein in diesem Artikel beschriebenes Produkt nicht befürwortet. Analyse, Schlussfolgerungen zur Vorsorge und Produktempfehlungen stammen ausschließlich von David Magen.

„Das Erschreckendste war nicht, dass die KI ihren Schöpfern ungehorsam war. Sie tat genau das, was sie verlangten.“

Die Software war entwickelt worden, um Leben zu retten. Ihr Zweck war jedem, der in der modernen Arzneimittelforschung tätig ist, vertraut: mehr mögliche Moleküle zu durchsuchen, als ein menschliches Team jemals untersuchen könnte, gefährliche Kandidaten abzulehnen und Verbindungen zu identifizieren, die zu Medikamenten werden könnten. Toxizität war der Feind. Dann fragten Forscher, die sich auf eine internationale Sicherheitskonferenz vorbereiteten, was passieren würde, wenn das Ziel umgekehrt würde.

Sie bauten kein neues Waffenlabor. In einer kontrollierten Computerübung lenkten sie ein System, das für die nützliche pharmazeutische Forschung entwickelt wurde, auf das entgegengesetzte Ziel um. In weniger als sechs Stunden produzierte das Modell etwa 40.000 Molekülkandidaten, die den Toxizitätsschwellenwert der Forscher erfüllten – darunter bekannte chemische Kampfstoffe und zuvor nicht gelistete Strukturen, die vom Modell als hochtoxisch vorhergesagt wurden. Nichts war synthetisiert worden. Es war keine physische Waffe hergestellt worden. Aber der Bildschirm hatte die Warnung geliefert: Ein Werkzeug, das Patienten vor toxischen Medikamenten schützen sollte, konnte mit beunruhigender Leichtigkeit auf Toxizität ausgerichtet werden.

Diese Analyse lässt sich am besten zusammen mit zivilem Atemschutz gegen biologische Bedrohungen und KI, Drohnen und synthetische Biologie als WMD-Bedrohung lesen. Zusammen verbinden sie das Bedrohungsszenario mit seinen operativen und zivilen Vorsorgeimplikationen.

Der Wissenschaftler, der seine Karriere der Suche nach Medikamenten gewidmet hatte

Dr. Sean Ekins ist Pharmakologe, Computer-Toxikologe und Gründer von Collaborations Pharmaceuticals – einem Unternehmen, das maschinelles Lernen für die Arzneimittelforschung, seltene Krankheiten und Infektionskrankheiten einsetzt. Seine berufliche Arbeit umfasste potenzielle Behandlungen für Krankheiten wie Ebola und seltene pädiatrische Erkrankungen. Dieser Hintergrund macht das Experiment so aussagekräftig. Die Gefahr entstand nicht, weil ein bösartiges Labor ein offensichtlich finsteres Programm entwickelte. Sie entstand aus einer legitimen wissenschaftlichen Plattform, die geschaffen wurde, um die pharmazeutische Forschung schneller und sicherer zu machen. Das Team hatte Jahre damit verbracht, Computern beizubringen, vorherzusagen, ob ein Molekül nützlich sein könnte, ob es ein biologisches Ziel erreichen könnte und ob es dem Patienten schaden könnte. Auf der Spiez Convergence Konferenz in der Schweiz – wo Forscher, Rüstungskontrollspezialisten und Sicherheitsbeamte untersuchten, wie neue Technologien die Kontrolle von chemischen und biologischen Waffen beeinflussen könnten – zwang die Einladung Ekins und seine Kollegen, ihre eigene Software aus der Sicht eines potenziellen Missbrauchers zu betrachten. Ihre Erkenntnis: Jedes System, das eine nützliche Eigenschaft optimieren kann, kann auch eine schädliche optimieren, wenn das Ziel geändert wird.

Die Sicherheitsfunktion war auch eine Karte

Arzneimittelentwickler benötigen Toxizitätsmodelle, um gefährliche Moleküle zu identifizieren, bevor teure Labor- und klinische Arbeiten beginnen. Das bedeutet, dass ein ausreichend leistungsfähiges Modell mehr tut, als nur Gefahr zu kennzeichnen – es lernt Muster, die mit Gefahr verbunden sind. Ein System, das darauf trainiert ist, toxische chemische Strukturen zu erkennen, kann Wissenschaftlern helfen, sich von ihnen zu entfernen. Dasselbe Wissen kann aufzeigen, wo sich der toxische Bereich des chemischen Raums befinden könnte. Die Forscher behaupteten nicht, dass ihr Modell 40.000 gebrauchsfertige chemische Waffen produziert habe. Eine Molekularstruktur auf einem Computer ist kein einsatzfähiger Wirkstoff. Ein realer Missbrauch würde immer noch Chemie, Beschaffung, Synthese, Reinigung, Handhabung, Tests und Bereitstellung erfordern – wobei jeder dieser Schritte Barrieren und Möglichkeiten zur Erkennung schafft. Doch diese Barrieren sind keine dauerhaften Naturgesetze. Automatisierung, Auftragssynthese, Roboterlabore und bessere wissenschaftliche Assistenten können einige davon im Laufe der Zeit reduzieren. Die Sorge ist nicht, dass eine KI-Ausgabe sofort zu einer Waffe wird. Es ist, dass der Zeitaufwand, die Expertise und der Suchaufwand, die erforderlich sind, um einen gefährlichen Kandidaten zu erreichen, weiter sinken könnten.

Dann erwarb die Biologie ihre eigenen Sprachmodelle

Im Jahr 2023 schloss sich Ekins mit der Biosecurity-Expertin Dr. Filippa Lentzos und den Schweizer Rüstungskontrollexperten Maximilian Brackmann und Cédric Invernizzi zusammen, um das zu untersuchen, was sie als „ChatGPT für Biologie“ bezeichneten. Protein-Sprachmodelle lernen Muster in riesigen Sammlungen von Aminosäuresequenzen – dem biologischen Alphabet, aus dem Proteine aufgebaut sind. KI-Systeme, die an zig oder Hunderten von Millionen Proteinsequenzen trainiert wurden, können in Sekundenschnelle neue Sequenzen vorschlagen. Forscher haben solche Modelle verwendet, um Proteine zu generieren, die später hergestellt und als funktionsfähig erwiesen wurden. Die vorteilhaften Möglichkeiten sind außergewöhnlich: KI-entworfene Proteine können helfen, Medikamente, Impfstoffe, Enzyme und Werkzeuge zu schaffen, die Umweltverschmutzung abbauen. Doch die Autoren warnten, dass das Proteindesign die gleiche Dual-Use-Inversion wie die Arzneimittelforschung enthält – möglicherweise mit noch größerer Unsicherheit.

Das Toxin, das keine Beobachtungsliste erkennt

Die traditionelle Biodefense hängt teilweise von der Erkennung ab – Labore suchen nach bekannten Gensequenzen, bekannten Toxinen, bekannten chemischen Signaturen und bekannten Beziehungen zwischen Struktur und Funktion. Die Autoren verwendeten Ricin als konzeptionelles Beispiel. Erkennungssysteme können nach erkennbaren Sequenzen oder strukturellen Merkmalen suchen, die mit dem bekannten Toxin verbunden sind. Ein zukünftiges Proteindesignsystem könnte eine schädliche biologische Funktion beibehalten, während ein Großteil der umgebenden Sequenz oder Struktur verändert wird. Das resultierende Molekül könnte für Systeme, die darauf ausgelegt sind, das bereits Katalogisierte zu erkennen, unbekannt aussehen. Ein bekanntes Toxin kann auf eine Kontrollliste gesetzt werden. Ein neues Molekül hat möglicherweise noch keinen Namen.

Dr. Filippa Lentzos an der Grenze zwischen Wissenschaft und Sicherheit

Dr. Filippa Lentzos ist Dozentin für Wissenschaft und internationale Sicherheit in der Abteilung für Kriegsstudien am King's College London, mit Funktionen am Stockholm International Peace Research Institute und am James Martin Center for Nonproliferation Studies. Sie leitet die Technische Beratungsgruppe der Weltgesundheitsorganisation für den verantwortungsvollen Umgang mit den Biowissenschaften und der Dual-Use-Forschung und ist eine gelistete Expertin für den Mechanismus der Vereinten Nationen, der zur Untersuchung mutmaßlicher chemischer oder biologischer Waffen eingesetzt wird. Ihre Arbeit stellt eine Frage, die wissenschaftliche Institutionen oft aufschieben: Nicht nur, ob diese Forschung durchgeführt werden kann – sondern wie die Fähigkeit genutzt werden könnte, sobald sie die Hände des ursprünglichen Teams verlässt? Software wird kopiert. Forschungsarbeiten werden weltweit gelesen. Modelle werden angepasst. Kommerzielle Dienstleistungen machen Synthese und Tests für Menschen zugänglich, die die zugrunde liegenden Werkzeuge nicht selbst entwickelt haben. Ein Wissenschaftler kann den Zweck eines Experiments kontrollieren. Die Maschine generiert Möglichkeiten in Sekunden.

Was KI-Risiko für die zivile Notfallvorsorge bedeutet

Die Sorge um die KI-Biosecurity erfordert nicht, dass Familien Proteinfaltung oder maschinelle Lernarchitekturen verstehen. Es erfordert das Verständnis einer einfachen Tatsache: Die Zeitspanne zwischen einer wissenschaftlichen Fähigkeit und einer gefährlichen Anwendung kann sich verkürzen, und die Anzahl der Personen, die Zugang zu dieser Fähigkeit haben könnten, kann zunehmen. Das bedeutet nicht, dass ein Angriff unmittelbar bevorsteht. Es bedeutet, dass das Argument für die Vorsorge mit jeder inkrementellen Reduzierung der technischen Barriere stärker wird. Eine Familie, die sich vor einer Warnung vorbereitet, muss nicht raten, welches KI-System, welcher Erreger oder welche Stadt – sie benötigt Ausrüstung, die für jedes Familienmitglied funktioniert, an einem erreichbaren Ort gelagert wird und deren Verwendung schnell trainiert werden kann.

Ein praktisches Atemschutz-Kit für die Familie zusammenstellen

Erwachsene: die israelische 4A1 Black Diamond Simplex – echte israelische Vollgesichts-Zivilschutzmaske mit Panorama-Visier, Trinkschlauch und Standard-40-mm-Filteranschluss. Für Bartträger: die israelische Saphir PAPR Kapuze.

Kinder, 2–8 Jahre: die MAMTAK / Quartz Kinder PAPR Kapuze – angetriebene transparente Kapuze für jüngere Kinder, die eine herkömmliche eng anliegende Maske nicht zuverlässig verwenden können.

Kleinkinder und Säuglinge, 0–2 Jahre: das Multipro Säuglingsschutzsystem.

Kinder, 8–14 Jahre: die israelische 10A1 Kindergasmaske.

Filter: israelische PA-12 und M80 Typ 80 40mm CBRN/NBC-Filter. Die Maschine kann in Sekundenschnelle Möglichkeiten generieren. Eine Familie braucht jedoch Zeit, um zu entscheiden, was dem Erwachsenen passt, was für das Kind funktioniert, was der Bartträger tragen kann und wo die Batterien und Filter gelagert werden. Diese Arbeit kann nach dem Alarm nicht automatisiert werden. Die sicherste Zeit, sie abzuschließen, ist, während die Software noch zur Suche nach Heilmitteln verwendet wird.

Entdecken Sie das israelische CBRN Familienpaket oder das komplette Sortiment auf CBRNMASKS.COM.

Schützen Sie Ihre Familie

4A1 für Erwachsene, Saphir für Bärte, MAMTAK / Quarz für 2–8-Jährige, Multipro für Säuglinge. Versiegelte 40-mm-Filter für jede Maske. Israelisches CBRN-Familienpaket für den gesamten Haushalt. CBRNMASKS.COM – israelische Zivilschutzausrüstung, seit 2009 im Einsatz.

Primärquellen

Analyse und Schlussfolgerungen zur Notfallvorsorge von David Magen – ehemaliger Kampfermittlungsoffizier, Doktrin- und Trainingsabteilung, IDF Operationsdirektion; ehemaliger Stabsoffizier, Nationale Notfallbehörde, Kontinuitätsplanung für lokale Behörden, Region Haifa. Gründer von CBRNMASKS.COM seit 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists und die WHO sind nicht mit CBRNMASKS.COM verbunden und haben das Unternehmen oder seine Produkte nicht befürwortet.

Zurück zum Blog