Avertissement sur les armes biologiques IA : quand la découverte de médicaments apprend à concevoir des poisons

Divulgation éditoriale : cet article est principalement basé sur : Fabio Urbina, Filippa Lentzos, Cédric Invernizzi et Sean Ekins, « Double usage de la découverte de médicaments assistée par intelligence artificielle », Nature Machine Intelligence, mars 2022 ; et Sean Ekins, Filippa Lentzos, Max Brackmann et Cédric Invernizzi, « Il existe un ‘ChatGPT’ pour la biologie. Que pourrait-il mal se passer ? », Bulletin of the Atomic Scientists, mars 2023. L’expérience discutée a généré des candidats moléculaires prédits par ordinateur — elle n’a pas synthétisé, validé ni déployé d’agents chimiques physiques. Cet article ne prétend pas qu’une attaque chimique ou biologique spécifique assistée par IA soit imminente. Les chercheurs cités n’ont pas approuvé CBRNMASKS.COM ni aucun produit décrit dans cet article. L’analyse, les conclusions sur la préparation et les recommandations de produits sont uniquement celles de David Magen.

« La partie la plus effrayante n’était pas que l’IA ait désobéi à ses créateurs. Elle a fait exactement ce qu’ils lui avaient demandé. »

Le logiciel avait été conçu pour sauver des vies. Son objectif était familier à quiconque travaille dans la découverte moderne de médicaments : explorer plus de molécules possibles qu’une équipe humaine ne pourrait jamais examiner, rejeter les candidats dangereux et identifier des composés susceptibles de devenir des médicaments. La toxicité était l’ennemi. Puis des chercheurs préparant une conférence internationale sur la sécurité ont demandé ce qui se passerait si l’objectif était inversé.

Ils n’ont pas créé un nouveau laboratoire d’armes. Dans un exercice informatique contrôlé, ils ont réorienté un système développé pour la recherche pharmaceutique bénéfique vers l’objectif opposé. En moins de six heures, le modèle a produit environ 40 000 molécules candidates répondant au seuil de toxicité des chercheurs — y compris des agents chimiques de guerre connus et des structures non répertoriées auparavant, prédites par le modèle comme très toxiques. Rien n’avait été synthétisé. Aucune arme physique n’avait été créée. Mais l’écran avait délivré l’avertissement : un outil conçu pour protéger les patients des médicaments toxiques pouvait être orienté vers la toxicité avec une facilité inquiétante.

Cette analyse se lit idéalement avec la protection respiratoire civile contre les menaces biologiques et l’IA, les drones et la biologie synthétique comme menace ADM. Ensemble, ils relient le tableau des menaces à ses implications opérationnelles et de préparation civile.

Le scientifique qui a consacré sa carrière à la recherche de médicaments

Le Dr Sean Ekins est pharmacologue, toxicologue computationnel et fondateur de Collaborations Pharmaceuticals — une entreprise qui utilise l’apprentissage automatique pour la découverte de médicaments, les maladies rares et les maladies infectieuses. Son travail professionnel a inclus des traitements potentiels pour des maladies telles qu’Ebola et des troubles pédiatriques rares. Ce parcours rend l’expérience puissante. Le danger n’est pas apparu parce qu’un laboratoire malveillant a créé un programme manifestement sinistre. Il est apparu à partir d’une plateforme scientifique légitime créée pour accélérer et sécuriser la recherche pharmaceutique. L’équipe avait passé des années à apprendre aux ordinateurs à prédire si une molécule pourrait être utile, si elle pourrait atteindre une cible biologique et si elle pourrait nuire au patient. Lors de la conférence Spiez Convergence en Suisse — où chercheurs, spécialistes du contrôle des armements et responsables de la sécurité examinaient comment les nouvelles technologies pouvaient affecter le contrôle des armes chimiques et biologiques — l’invitation a forcé Ekins et ses collègues à voir leur propre logiciel à travers les yeux d’un utilisateur malintentionné potentiel. Leur constat : tout système capable d’optimiser une propriété bénéfique peut aussi optimiser une propriété nuisible lorsque l’objectif change.

La fonction de sécurité était aussi une carte

Les développeurs de médicaments ont besoin de modèles de toxicité pour identifier les molécules dangereuses avant que des travaux coûteux en laboratoire et en clinique ne commencent. Cela signifie qu’un modèle suffisamment performant fait plus que signaler le danger — il apprend les motifs associés au danger. Un système entraîné à reconnaître les structures chimiques toxiques peut aider les scientifiques à s’en éloigner. La même connaissance peut révéler où se situe la région toxique de l’espace chimique. Les chercheurs n’ont pas affirmé que leur modèle avait produit 40 000 armes chimiques prêtes à l’emploi. Une structure moléculaire sur un ordinateur n’est pas un agent déployable. Un mauvais usage dans le monde réel nécessiterait encore chimie, approvisionnement, synthèse, purification, manipulation, tests et livraison — chacun créant des barrières et des opportunités de détection. Pourtant, ces barrières ne sont pas des lois naturelles permanentes. L’automatisation, la synthèse sous contrat, les laboratoires robotisés et de meilleurs assistants scientifiques peuvent réduire certaines d’entre elles avec le temps. Le souci n’est pas qu’une sortie d’IA devienne instantanément une arme. C’est que le temps, l’expertise et l’effort de recherche nécessaires pour atteindre un candidat dangereux pourraient continuer à diminuer.

Puis la biologie a acquis ses propres modèles de langage

En 2023, Ekins a rejoint la spécialiste de la biosécurité Dr Filippa Lentzos et les spécialistes suisses du contrôle des armements Maximilian Brackmann et Cédric Invernizzi pour examiner ce qu’ils ont appelé un « ChatGPT pour la biologie ». Les modèles de langage protéique apprennent des motifs à travers d’énormes collections de séquences d’acides aminés — l’alphabet biologique à partir duquel les protéines sont construites. Les systèmes d’IA entraînés sur des dizaines ou centaines de millions de séquences protéiques peuvent proposer de nouvelles séquences en quelques secondes. Des chercheurs ont utilisé ces modèles pour générer des protéines qui ont ensuite été fabriquées et démontrées fonctionnelles. Les possibilités bénéfiques sont extraordinaires : les protéines conçues par IA peuvent aider à créer des médicaments, vaccins, enzymes et outils pour décomposer la pollution. Mais les auteurs ont averti que la conception protéique contient la même inversion à double usage que la découverte de médicaments — peut-être avec une incertitude encore plus grande.

La toxine qu’aucune liste de surveillance ne reconnaît

La défense biologique traditionnelle dépend en partie de la reconnaissance — les laboratoires recherchent des séquences génétiques connues, des toxines connues, des signatures chimiques connues et des relations connues entre structure et fonction. Les auteurs ont utilisé la ricine comme exemple conceptuel. Les systèmes de détection peuvent rechercher des séquences ou des caractéristiques structurelles reconnaissables liées à la toxine connue. Un futur système de conception protéique pourrait préserver une fonction biologique nuisible tout en modifiant une grande partie de la séquence ou de la structure environnante. La molécule résultante pourrait sembler inconnue aux systèmes conçus pour reconnaître ce qui a déjà été catalogué. Une toxine connue peut être placée sur une liste de contrôle. Une nouvelle molécule peut ne pas encore avoir de nom.

Dr Filippa Lentzos à la frontière entre science et sécurité

Le Dr Filippa Lentzos est maître de conférences en science et sécurité internationale au Département d’études sur la guerre du King’s College de Londres, avec des rôles à l’Institut international de recherche sur la paix de Stockholm et au James Martin Center for Nonproliferation Studies. Elle préside le groupe consultatif technique de l’Organisation mondiale de la santé sur l’utilisation responsable des sciences de la vie et la recherche à double usage, et est experte inscrite sur la liste du mécanisme des Nations Unies utilisé pour enquêter sur les allégations d’utilisation d’armes chimiques ou biologiques. Son travail pose une question que les institutions scientifiques repoussent souvent : non seulement cette recherche peut-elle être réalisée — mais comment cette capacité pourrait-elle être utilisée une fois sortie des mains de l’équipe originale ? Les logiciels sont copiés. Les articles de recherche sont lus dans le monde entier. Les modèles sont adaptés. Les services commerciaux rendent la synthèse et les tests accessibles à des personnes qui n’ont pas construit les outils sous-jacents. Un scientifique peut contrôler le but d’une expérience. La machine génère des possibilités en quelques secondes.

Ce que le risque lié à l’IA signifie pour la préparation civile

La préoccupation de biosécurité liée à l’IA ne demande pas aux familles de comprendre le repliement des protéines ou les architectures d’apprentissage automatique. Elle demande de comprendre un fait simple : le délai entre une capacité scientifique et une application dangereuse peut se raccourcir, et le nombre de personnes pouvant accéder à cette capacité peut augmenter. Cela ne signifie pas qu’une attaque est imminente. Cela signifie que l’argument en faveur de la préparation devient plus fort à chaque réduction progressive de la barrière technique. Une famille qui se prépare avant qu’un avertissement n’arrive n’a pas besoin de deviner quel système d’IA, quel pathogène ou quelle ville — elle a besoin d’un équipement qui fonctionne pour chaque membre de la famille, stocké à portée de main, avec une formation permettant une utilisation rapide.

Constituer un kit pratique de protection respiratoire familiale

Adultes : le Israélien 4A1 Black Diamond Simplex — masque civil israélien authentique à pleine face avec visière panoramique, tube d’hydratation et connexion standard de filtre 40 mm. Pour les utilisateurs barbus : la cagoule PAPR Sapphire israélienne.

Enfants, 2 à 8 ans : la cagoule PAPR enfant MAMTAK / Quartz — cagoule transparente motorisée pour les jeunes enfants qui ne peuvent pas utiliser de manière fiable un masque conventionnel à ajustement serré.

Bébés et tout-petits, 0 à 2 ans : le système de protection infantile Multipro.

Enfants, 8 à 14 ans : le masque à gaz enfant israélien 10A1.

Filtres : filtres israéliens PA-12 et M80 Type 80 40 mm CBRN/NBC. La machine peut générer des possibilités en quelques secondes. Une famille a toujours besoin de temps pour décider ce qui convient à l’adulte, ce qui fonctionne pour l’enfant, ce que l’utilisateur barbu peut porter, et où sont stockées les batteries et les filtres. Ce travail ne peut pas être automatisé après l’alarme. Le moment le plus sûr pour le réaliser est tant que le logiciel est encore utilisé pour chercher des remèdes.

Découvrez le Pack familial israélien CBRN ou la gamme complète sur CBRNMASKS.COM.

Protégez votre famille

4A1 pour adultes, Sapphire pour barbes, MAMTAK / Quartz pour 2-8 ans, Multipro pour nourrissons. Filtres scellés 40 mm pour chaque masque. Pack familial israélien CBRN pour tout le foyer. CBRNMASKS.COM — équipement civil israélien, en service depuis 2009.

Sources principales

Analyse et conclusions sur la préparation par David Magen — ancien officier d’enquête de combat, Division Doctrine et Formation, Direction des opérations des FDI ; ancien officier d’état-major, Autorité nationale d’urgence, planification de la continuité pour les autorités locales, région de Haïfa. Fondateur de CBRNMASKS.COM depuis 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists et l’OMS ne sont pas affiliés à CBRNMASKS.COM et n’ont pas approuvé la société ni ses produits.

Retour au blog