Alerte concernant les armes biologiques IA : quand la découverte de médicaments apprend à concevoir des poisons

Déclaration éditoriale : cet article s’appuie principalement sur : Fabio Urbina, Filippa Lentzos, Cédric Invernizzi et Sean Ekins, « Dual Use of Artificial-Intelligence-Powered Drug Discovery », Nature Machine Intelligence, mars 2022 ; et Sean Ekins, Filippa Lentzos, Max Brackmann et Cédric Invernizzi, « There's a 'ChatGPT' for Biology. What Could Go Wrong? », Bulletin of the Atomic Scientists, mars 2023. L’expérience décrite a généré des candidats moléculaires prédits par ordinateur - elle n’a pas synthétisé, validé ni déployé d’agents chimiques physiques. Cet article n’affirme pas qu’une attaque chimique ou biologique spécifique rendue possible par l’IA est imminente. Les chercheurs cités n’ont pas recommandé CBRNMASKS.COM ni aucun produit décrit dans cet article. L’analyse, les conclusions en matière de préparation et les recommandations de produits sont de David Magen uniquement.

« Le plus effrayant n’était pas que l’IA désobéisse à ses créateurs. Elle a fait exactement ce qu’ils lui avaient demandé. »

Le logiciel avait été conçu pour contribuer à sauver des vies. Son objectif était familier à quiconque travaille dans la découverte moderne de médicaments : rechercher davantage de molécules potentielles qu’une équipe humaine ne pourrait jamais examiner, écarter les candidats dangereux et identifier des composés susceptibles de devenir des médicaments. La toxicité était l’ennemie. Puis des chercheurs qui se préparaient à une conférence internationale sur la sécurité ont demandé ce qui se passerait si l’objectif était inversé.

Ils n’ont pas construit un nouveau laboratoire d’armement. Dans le cadre d’un exercice informatique contrôlé, ils ont réorienté un système développé pour la recherche pharmaceutique bénéfique vers l’objectif opposé. En moins de six heures, le modèle a produit environ 40 000 molécules candidates répondant au seuil de toxicité fixé par les chercheurs - notamment des agents de guerre chimique connus et des structures auparavant non répertoriées que le modèle prédisait comme hautement toxiques. Rien n’a été synthétisé. Aucune arme physique n’a été créée. Mais le criblage avait délivré un avertissement : un outil conçu pour protéger les patients contre les médicaments toxiques pouvait être orienté vers la toxicité avec une facilité troublante.

Cette analyse doit être lue parallèlement à la protection respiratoire civile contre les menaces biologiques et à l’IA, aux drones et à la biologie synthétique en tant que menace d’ADM. Ensemble, ces articles relient l’évaluation de la menace à ses implications opérationnelles et à la préparation des civils.

Le scientifique qui avait consacré sa carrière à la recherche de médicaments

Le Dr Sean Ekins est pharmacologue, toxicologue computationnel et fondateur de Collaborations Pharmaceuticals - une entreprise qui utilise l’apprentissage automatique pour la découverte de médicaments, les maladies rares et les maladies infectieuses. Ses travaux professionnels ont notamment porté sur des traitements potentiels contre des maladies telles qu’Ebola et des troubles pédiatriques rares. C’est ce parcours qui rend l’expérience si marquante. Le danger n’est pas apparu parce qu’un laboratoire malveillant avait conçu un programme manifestement sinistre. Il est apparu à partir d’une plateforme scientifique légitime créée pour rendre la recherche pharmaceutique plus rapide et plus sûre. L’équipe avait consacré des années à apprendre aux ordinateurs à prédire si une molécule pouvait être utile, si elle pouvait atteindre une cible biologique et si elle pouvait nuire au patient. Lors de la conférence Spiez Convergence en Suisse - où des chercheurs, des spécialistes de la maîtrise des armements et des responsables de la sécurité ont étudié la manière dont les nouvelles technologies pourraient affecter le contrôle des armes chimiques et biologiques - l’invitation a contraint Ekins et ses collègues à regarder leur propre logiciel à travers les yeux d’un utilisateur potentiel malveillant. Leur constat : tout système capable d’optimiser une propriété bénéfique peut également être capable d’optimiser une propriété nuisible lorsque l’objectif est modifié.

La fonction de sécurité était aussi une carte

Les développeurs de médicaments ont besoin de modèles de toxicité pour identifier les molécules dangereuses avant le début de travaux coûteux en laboratoire et d’essais cliniques. Cela signifie qu’un modèle suffisamment performant ne se contente pas d’étiqueter le danger - il apprend les schémas associés au danger. Un système entraîné à reconnaître les structures chimiques toxiques peut aider les scientifiques à s’en éloigner. Ces mêmes connaissances peuvent révéler où se situe la zone toxique de l’espace chimique. Les chercheurs n’ont pas affirmé que leur modèle avait produit 40 000 armes chimiques prêtes à l’emploi. Une structure moléculaire présente sur un ordinateur n’est pas un agent déployable. Une utilisation malveillante dans le monde réel nécessiterait toujours la chimie, l’approvisionnement, la synthèse, la purification, la manipulation, les essais et la mise en œuvre - chacune de ces étapes créant des obstacles et des possibilités de détection. Pourtant, ces obstacles ne sont pas des lois immuables de la nature. L’automatisation, la synthèse sous contrat, les laboratoires robotisés et de meilleurs assistants scientifiques peuvent réduire certains d’entre eux avec le temps. La préoccupation n’est pas qu’une sortie d’IA devienne instantanément une arme. C’est que le temps, l’expertise et les efforts de recherche nécessaires pour parvenir à un candidat dangereux puissent continuer à diminuer.

Puis la biologie a acquis ses propres modèles de langage

En 2023, Ekins s’est associé à la spécialiste de la biosécurité, la Dre Filippa Lentzos, ainsi qu’aux spécialistes suisses de la maîtrise des armements Maximilian Brackmann et Cédric Invernizzi, pour examiner ce qu’ils ont appelé un « ChatGPT pour la biologie ». Les modèles de langage des protéines apprennent des schémas à partir d’immenses collections de séquences d’acides aminés - l’alphabet biologique à partir duquel les protéines sont constituées. Les systèmes d’IA entraînés sur des dizaines ou des centaines de millions de séquences protéiques peuvent proposer de nouvelles séquences en quelques secondes. Des chercheurs ont utilisé de tels modèles pour générer des protéines qui ont ensuite été fabriquées et dont le fonctionnement a été démontré. Les possibilités bénéfiques sont extraordinaires : les protéines conçues par l’IA pourraient contribuer à créer des médicaments, des vaccins, des enzymes et des outils capables de décomposer la pollution. Mais les auteurs ont averti que la conception des protéines comporte la même inversion à double usage que la découverte de médicaments - peut-être avec une incertitude encore plus grande.

La toxine qu’aucune liste de surveillance ne reconnaît

La biodéfense traditionnelle repose en partie sur la reconnaissance - les laboratoires recherchent des séquences génétiques connues, des toxines connues, des signatures chimiques connues et des relations connues entre la structure et la fonction. Les auteurs ont utilisé la ricine comme exemple conceptuel. Les systèmes de détection peuvent rechercher des séquences reconnaissables ou des caractéristiques structurelles associées à la toxine connue. Un futur système de conception de protéines pourrait préserver une fonction biologique nocive tout en modifiant une grande partie de la séquence ou de la structure environnante. La molécule obtenue pourrait sembler inconnue aux systèmes conçus pour reconnaître ce qui a déjà été catalogué. Une toxine connue peut être inscrite sur une liste de contrôle. Une nouvelle molécule n’a peut-être pas encore de nom.

La Dre Filippa Lentzos à la frontière entre science et sécurité

La Dre Filippa Lentzos est maîtresse de conférences en science et sécurité internationale au Department of War Studies du King’s College London, et exerce des fonctions au Stockholm International Peace Research Institute et au James Martin Center for Nonproliferation Studies. Elle préside le groupe consultatif technique de l’Organisation mondiale de la Santé sur l’utilisation responsable des sciences de la vie et la recherche à double usage, et figure sur la liste d’experts du mécanisme des Nations unies utilisé pour enquêter sur les allégations d’emploi d’armes chimiques ou biologiques. Ses travaux posent une question que les institutions scientifiques repoussent souvent : cette recherche peut-elle être menée, certes - mais comment cette capacité pourrait-elle être utilisée une fois qu’elle aura quitté les mains de l’équipe d’origine ? Les logiciels sont copiés. Les articles de recherche sont lus à l’international. Les modèles sont adaptés. Les services commerciaux rendent la synthèse et les essais accessibles à des personnes qui n’ont pas créé les outils sous-jacents. Un scientifique peut contrôler l’objectif d’une expérience. La machine génère des possibilités en quelques secondes.

Ce que le risque lié à l’IA signifie pour la préparation des civils

La préoccupation de biosécurité liée à l’IA n’exige pas des familles qu’elles comprennent le repliement des protéines ou les architectures d’apprentissage automatique. Elle exige de comprendre un fait simple : le délai entre une capacité scientifique et une application dangereuse pourrait se raccourcir, tandis que le nombre de personnes susceptibles d’accéder à cette capacité pourrait augmenter. Cela ne signifie pas qu’une attaque est imminente. Cela signifie que l’argument en faveur de la préparation se renforce à chaque réduction progressive de la barrière technique. Une famille qui se prépare avant l’arrivée d’un avertissement n’a pas besoin de deviner quel système d’IA, quel agent pathogène ou quelle ville sera concerné - elle a besoin d’un équipement qui fonctionne pour chaque membre de la famille, rangé dans un endroit accessible, ainsi que d’une formation permettant une utilisation rapide.

Constituer un kit familial pratique de protection respiratoire

Adultes : le 4A1 israélien Black Diamond Simplex - masque intégral israélien authentique de défense civile avec visière panoramique, tube d’hydratation et raccord standard pour filtre de 40 mm. Pour les porteurs de barbe : la cagoule PAPR israélienne Sapphire.

Enfants de 2 à 8 ans : la cagoule PAPR pour enfant MAMTAK / Quartz - cagoule transparente assistée pour les jeunes enfants qui ne peuvent pas utiliser de manière fiable un masque classique ajusté.

Nourrissons et tout-petits de 0 à 2 ans : le système de protection pour nourrisson Multipro.

Enfants de 8 à 14 ans : le masque à gaz israélien 10A1 pour enfant.

Filtres : filtres NRBC israéliens PA-12 et M80 Type 80 de 40 mm. La machine peut générer des possibilités en quelques secondes. Une famille a toujours besoin de temps pour déterminer ce qui convient à l’adulte, ce qui fonctionne pour l’enfant, ce que l’utilisateur barbu peut porter et où sont rangés les piles et les filtres. Ce travail ne peut pas être automatisé après l’alarme. Le moment le plus sûr pour le faire est tant que le logiciel est encore utilisé pour rechercher des traitements.

Découvrez le kit familial NRBC israélien ou la gamme complète sur CBRNMASKS.COM.

Protégez votre famille

4A1 pour les adultes, Sapphire pour les barbus, MAMTAK / Quartz de 2 à 8 ans, Multipro pour les nourrissons. Filtres scellés de 40 mm pour chaque masque. Kit familial NRBC israélien pour l’ensemble du foyer. CBRNMASKS.COM - équipement de défense civile israélien, en service depuis 2009.

Sources principales

Analyse et conclusions en matière de préparation par David Magen - ancien officier chargé des enquêtes de combat, Division de la doctrine et de l’instruction, Direction des opérations de Tsahal ; ancien officier d’état-major de l’Autorité nationale des situations d’urgence, chargé de la planification de la continuité pour les autorités locales de la région de Haïfa. Fondateur de CBRNMASKS.COM depuis 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists et l’OMS ne sont pas affiliés à CBRNMASKS.COM et n’ont pas recommandé l’entreprise ni ses produits.

Retour au blog