Warnung vor KI-Biowaffen: Wenn die Arzneimittelforschung lernt, Gift zu entwickeln

Redaktioneller Hinweis: Dieser Artikel basiert hauptsächlich auf: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi und Sean Ekins, „Dual Use of Artificial-Intelligence-Powered Drug Discovery“, Nature Machine Intelligence, März 2022; sowie Sean Ekins, Filippa Lentzos, Max Brackmann und Cédric Invernizzi, „There's a ‚ChatGPT‘ for Biology. What Could Go Wrong?“, Bulletin of the Atomic Scientists, März 2023. Das besprochene Experiment erzeugte computergestützte Vorhersagen molekularer Kandidaten - es synthetisierte, validierte oder setzte keine physischen chemischen Kampfstoffe ein. Dieser Artikel behauptet nicht, dass ein spezifischer durch KI ermöglichter chemischer oder biologischer Angriff unmittelbar bevorsteht. Die zitierten Forscher haben CBRNMASKS.COM oder ein in diesem Artikel beschriebenes Produkt nicht unterstützt. Die Analysen, Schlussfolgerungen zur Vorsorge und Produktempfehlungen stammen ausschließlich von David Magen.

„Das Beängstigendste war nicht, dass die KI ihren Entwicklern nicht gehorchte. Sie tat genau, worum sie gebeten wurde.“

Die Software war entwickelt worden, um Leben zu retten. Ihr Zweck war jedem vertraut, der in der modernen Arzneimittelforschung arbeitet: mehr mögliche Moleküle zu durchsuchen, als ein menschliches Team jemals untersuchen könnte, gefährliche Kandidaten auszusondern und Verbindungen zu identifizieren, aus denen Medikamente werden könnten. Toxizität war der Feind. Dann fragten Forscher, die sich auf eine internationale Sicherheitskonferenz vorbereiteten, was geschehen würde, wenn man das Ziel umkehrte.

Sie bauten kein neues Waffenlabor. In einer kontrollierten computergestützten Übung lenkten sie ein für die nützliche pharmazeutische Forschung entwickeltes System auf das entgegengesetzte Ziel. In weniger als sechs Stunden erzeugte das Modell ungefähr 40.000 Kandidatenmoleküle, die den Toxizitätsschwellenwert der Forscher erfüllten - darunter bekannte chemische Kampfstoffe und zuvor nicht aufgeführte Strukturen, die das Modell als hochgiftig vorhersagte. Nichts wurde synthetisiert. Keine physische Waffe wurde geschaffen. Doch die Suche lieferte die Warnung: Ein Werkzeug, das Patienten vor giftigen Arzneimitteln schützen soll, kann mit beunruhigender Leichtigkeit auf Toxizität ausgerichtet werden.

Diese Analyse sollte zusammen mit dem Beitrag über zivilen Atemschutz gegen biologische Bedrohungen und dem Beitrag über KI, Drohnen und synthetische Biologie als CBRN-Waffen-Bedrohung gelesen werden. Zusammen verbinden sie das Bedrohungsbild mit seinen praktischen und zivilen Auswirkungen auf die Vorsorge.

Der Wissenschaftler, der seine Karriere mit der Suche nach Medikamenten verbracht hatte

Dr. Sean Ekins ist Pharmakologe, computergestützter Toxikologe und Gründer von Collaborations Pharmaceuticals - einem Unternehmen, das maschinelles Lernen für die Arzneimittelforschung sowie für seltene und Infektionskrankheiten einsetzt. Zu seiner beruflichen Arbeit gehörten mögliche Behandlungen für Krankheiten wie Ebola und seltene pädiatrische Erkrankungen. Gerade dieser Hintergrund macht das Experiment so eindrucksvoll. Die Gefahr entstand nicht, weil ein böswilliges Labor ein offensichtlich finsteres Programm entwickelt hatte. Sie entstand aus einer legitimen wissenschaftlichen Plattform, die geschaffen wurde, um die pharmazeutische Forschung schneller und sicherer zu machen. Das Team hatte Jahre damit verbracht, Computern beizubringen vorherzusagen, ob ein Molekül nützlich sein könnte, ob es ein biologisches Ziel erreichen würde und ob es dem Patienten schaden könnte. Auf der Spiez Convergence Conference in der Schweiz - auf der Forscher, Experten für Rüstungskontrolle und Sicherheitsbeamte untersuchten, wie neue Technologien die Kontrolle chemischer und biologischer Waffen beeinflussen könnten - zwang die Einladung Ekins und seine Kollegen, ihre eigene Software aus der Perspektive eines potenziellen Missbrauchers zu betrachten. Ihre Erkenntnis: Jedes System, das eine nützliche Eigenschaft optimieren kann, kann möglicherweise auch eine schädliche Eigenschaft optimieren, wenn das Ziel geändert wird.

Die Sicherheitsfunktion war zugleich eine Landkarte

Arzneimittelentwickler benötigen Toxizitätsmodelle, um gefährliche Moleküle zu erkennen, bevor teure Labor- und klinische Arbeiten beginnen. Das bedeutet, dass ein leistungsfähiges Modell mehr tut, als Gefahr zu kennzeichnen - es lernt Muster, die mit Gefahr verbunden sind. Ein System, das darauf trainiert wurde, toxische chemische Strukturen zu erkennen, kann Wissenschaftlern helfen, sich von ihnen wegzubewegen. Dasselbe Wissen kann zeigen, wo der toxische Bereich des chemischen Möglichkeitsraums liegen könnte. Die Forscher behaupteten nicht, dass ihr Modell 40.000 sofort einsetzbare chemische Waffen erzeugt habe. Eine Molekülstruktur auf einem Computer ist kein einsatzfähiger Kampfstoff. Ein realer Missbrauch würde weiterhin Chemie, Beschaffung, Synthese, Reinigung, Handhabung, Tests und Verbringung erfordern - und jeder dieser Schritte schafft Hindernisse und Möglichkeiten zur Entdeckung. Doch diese Hindernisse sind keine dauerhaften Naturgesetze. Automatisierung, Auftragsynthese, robotergestützte Labore und bessere wissenschaftliche Assistenten können einige von ihnen mit der Zeit verringern. Die Sorge besteht nicht darin, dass eine einzelne KI-Ausgabe sofort zu einer Waffe wird. Es geht darum, dass der Zeitaufwand, das Fachwissen und der Suchaufwand, die erforderlich sind, um einen gefährlichen Kandidaten zu erreichen, weiter sinken könnten.

Dann bekam auch die Biologie ihre eigenen Sprachmodelle

Im Jahr 2023 untersuchte Ekins gemeinsam mit der Biosecurity-Forscherin Dr. Filippa Lentzos und den Schweizer Rüstungskontrollexperten Maximilian Brackmann und Cédric Invernizzi, was sie als „ChatGPT für die Biologie“ bezeichneten. Proteinsprachmodelle lernen Muster aus riesigen Sammlungen von Aminosäuresequenzen - dem biologischen Alphabet, aus dem Proteine aufgebaut sind. KI-Systeme, die mit zig oder hunderten Millionen Proteinsequenzen trainiert wurden, können innerhalb von Sekunden neue Sequenzen vorschlagen. Forscher haben solche Modelle eingesetzt, um Proteine zu erzeugen, die später hergestellt wurden und nachweislich funktionierten. Die nützlichen Möglichkeiten sind außergewöhnlich: KI-entworfene Proteine könnten bei der Entwicklung von Medikamenten, Impfstoffen, Enzymen und Werkzeugen helfen, die Schadstoffe abbauen. Die Autoren warnten jedoch, dass Proteindesign dieselbe Umkehrung des Dual-Use-Problems wie die Arzneimittelforschung enthält - möglicherweise mit noch größerer Unsicherheit.

Das Toxin, das keine Beobachtungsliste erkennt

Die traditionelle biologische Abwehr beruht teilweise auf Erkennung - Labore suchen nach bekannten Gensequenzen, bekannten Toxinen, bekannten chemischen Signaturen und bekannten Zusammenhängen zwischen Struktur und Funktion. Die Autoren verwendeten Ricin als konzeptionelles Beispiel. Erkennungssysteme suchen möglicherweise nach erkennbaren Sequenzen oder strukturellen Merkmalen, die mit dem bekannten Toxin verbunden sind. Ein künftiges Proteindesignsystem könnte eine schädliche biologische Funktion bewahren und gleichzeitig große Teile der umgebenden Sequenz oder Struktur verändern. Das resultierende Molekül könnte für Systeme, die darauf ausgelegt sind, bereits katalogisierte Merkmale zu erkennen, unvertraut aussehen. Ein bekanntes Toxin kann auf eine Kontrollliste gesetzt werden. Ein neues Molekül hat möglicherweise noch keinen Namen.

Dr. Filippa Lentzos an der Grenze zwischen Wissenschaft und Sicherheit

Dr. Filippa Lentzos ist Readerin für Wissenschaft und internationale Sicherheit am Department of War Studies des King's College London und hat Funktionen am Stockholm International Peace Research Institute sowie am James Martin Center for Nonproliferation Studies inne. Sie leitet die Technische Beratungsgruppe der Weltgesundheitsorganisation zur verantwortungsvollen Nutzung der Biowissenschaften und der Dual-Use-Forschung und ist als Expertin für den Mechanismus der Vereinten Nationen registriert, der zur Untersuchung mutmaßlicher Einsätze chemischer oder biologischer Waffen dient. Ihre Arbeit stellt eine Frage, die wissenschaftliche Institutionen häufig aufschieben: nicht nur kann diese Forschung durchgeführt werden - sondern wie könnte diese Fähigkeit genutzt werden, sobald sie die Hände des ursprünglichen Teams verlässt? Software wird kopiert. Forschungsarbeiten werden weltweit gelesen. Modelle werden angepasst. Kommerzielle Dienstleistungen machen Synthese und Tests für Menschen verfügbar, die die zugrunde liegenden Werkzeuge nicht entwickelt haben. Ein Wissenschaftler kann den Zweck eines einzelnen Experiments kontrollieren. Die Maschine erzeugt innerhalb von Sekunden Möglichkeiten.

Was das KI-Risiko für die zivile Vorsorge bedeutet

Die KI-bezogene Sorge um die biologische Sicherheit erfordert nicht, dass Familien Proteinfaltung oder Architekturen des maschinellen Lernens verstehen. Sie erfordert das Verständnis einer einfachen Tatsache: Die Zeitspanne zwischen einer wissenschaftlichen Fähigkeit und einer gefährlichen Anwendung könnte kürzer werden, und die Zahl der Menschen, die Zugang zu dieser Fähigkeit haben könnten, könnte wachsen. Das bedeutet nicht, dass ein Angriff unmittelbar bevorsteht. Es bedeutet, dass das Argument für Vorsorge mit jeder schrittweisen Verringerung der technischen Hürde stärker wird. Eine Familie, die sich vorbereitet, bevor eine Warnung eintrifft, muss nicht erraten, welches KI-System, welcher Krankheitserreger oder welche Stadt betroffen sein wird - sie benötigt Ausrüstung, die für jedes Familienmitglied funktioniert und griffbereit gelagert wird, sowie Schulungen, die eine schnelle Nutzung ermöglichen.

Ein praktisches Atemschutzset für die Familie zusammenstellen

Erwachsene: die Israeli 4A1 Black Diamond Simplex - echte israelische Vollgesichts-Zivilschutzmaske mit Panoramavisier, Trinkschlauch und standardmäßigem 40-mm-Filteranschluss. Für Bartträger: die Israeli Sapphire PAPR-Haube.

Kinder, 2-8 Jahre: die MAMTAK / Quartz PAPR-Haube für Kinder - angetriebene transparente Haube für jüngere Kinder, die eine herkömmliche eng anliegende Maske nicht zuverlässig verwenden können.

Säuglinge und Kleinkinder, 0-2 Jahre: das Multipro-Schutzsystem für Säuglinge.

Kinder, 8-14 Jahre: die israelische 10A1-Kindergasmaske.

Filter: israelische PA-12- und M80 Type 80 40-mm-CBRN/ABC-Filter. Die Maschine kann innerhalb von Sekunden Möglichkeiten erzeugen. Eine Familie benötigt weiterhin Zeit, um zu entscheiden, was dem Erwachsenen passt, was für das Kind geeignet ist, was der Bartträger tragen kann und wo Batterien und Filter gelagert werden. Diese Arbeit kann nach dem Alarm nicht automatisiert werden. Am sichersten ist es, sie abzuschließen, solange die Software noch zur Suche nach Heilmitteln eingesetzt wird.

Entdecken Sie das Israelische CBRN-Familienpaket oder das vollständige Sortiment bei CBRNMASKS.COM.

Schützen Sie Ihre Familie

4A1 für Erwachsene, Sapphire für Bartträger, MAMTAK / Quartz für 2-8 Jahre, Multipro für Säuglinge. Versiegelte 40-mm-Filter für jede Maske. Israelisches CBRN-Familienpaket für den gesamten Haushalt. CBRNMASKS.COM - israelische Zivilschutzausrüstung, seit 2009 im Einsatz.

Primärquellen

Analysen und Schlussfolgerungen zur Vorsorge von David Magen - ehemaliger Ermittler für Kampfeinsätze, Abteilung für Doktrin und Ausbildung, Einsatzdirektorat der IDF; ehemaliger Stabsoffizier der Nationalen Notfallbehörde, Kontinuitätsplanung für Kommunalverwaltungen in der Region Haifa. Gründer von CBRNMASKS.COM seit 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists und die WHO sind nicht mit CBRNMASKS.COM verbunden und haben das Unternehmen oder seine Produkte nicht unterstützt.

Zurück zum Blog