Advertencia sobre armas biológicas de IA: cuando el descubrimiento de fármacos aprende a diseñar venenos

Divulgación editorial: este artículo se basa principalmente en: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi y Sean Ekins, «Dual Use of Artificial-Intelligence-Powered Drug Discovery», Nature Machine Intelligence, marzo de 2022; y Sean Ekins, Filippa Lentzos, Max Brackmann y Cédric Invernizzi, «There's a 'ChatGPT' for Biology. What Could Go Wrong?», Bulletin of the Atomic Scientists, marzo de 2023. El experimento analizado generó candidatos moleculares predichos por computadora; no sintetizó, validó ni desplegó agentes químicos físicos. Este artículo no afirma que sea inminente un ataque químico o biológico específico habilitado por IA. Los investigadores citados no respaldaron CBRNMASKS.COM ni ningún producto descrito en este artículo. El análisis, las conclusiones sobre preparación y las recomendaciones de productos son exclusivamente de David Magen.

«Lo más aterrador no fue que la IA desobedeciera a sus creadores. Hizo exactamente lo que le pidieron.»

El software se había creado para ayudar a salvar vidas. Su propósito resultaba familiar para cualquiera que trabajara en el descubrimiento moderno de fármacos: buscar entre más moléculas posibles de las que un equipo humano podría examinar jamás, descartar los candidatos peligrosos e identificar compuestos que pudieran convertirse en medicamentos. La toxicidad era el enemigo. Entonces, unos investigadores que se preparaban para una conferencia internacional de seguridad preguntaron qué ocurriría si se invirtiera el objetivo.

No construyeron un nuevo laboratorio de armas. En un ejercicio computacional controlado, reorientaron un sistema desarrollado para la investigación farmacéutica beneficiosa hacia el objetivo opuesto. En menos de seis horas, el modelo produjo aproximadamente 40.000 moléculas candidatas que cumplían el umbral de toxicidad de los investigadores, incluidos agentes de guerra química conocidos y estructuras no catalogadas previamente que el modelo predijo que eran altamente tóxicas. No se sintetizó nada. No se creó ningún arma física. Pero el análisis había transmitido la advertencia: una herramienta diseñada para proteger a los pacientes de los fármacos tóxicos podía orientarse hacia la toxicidad con una facilidad inquietante.

Este análisis se entiende mejor junto con la protección respiratoria civil contra amenazas biológicas y la IA, los drones y la biología sintética como amenaza de ADM. En conjunto, relacionan el panorama de amenazas con sus implicaciones operativas y de preparación civil.

El científico que había dedicado su carrera a buscar medicamentos

El Dr. Sean Ekins es farmacólogo, toxicólogo computacional y fundador de Collaborations Pharmaceuticals, una empresa que utiliza aprendizaje automático para el descubrimiento de fármacos, las enfermedades raras y las enfermedades infecciosas. Su trabajo profesional ha incluido posibles tratamientos para enfermedades como el ébola y trastornos pediátricos poco frecuentes. Ese contexto es lo que hace tan poderoso el experimento. El peligro no surgió porque un laboratorio malicioso construyera un programa obviamente siniestro. Surgió de una plataforma científica legítima creada para hacer que la investigación farmacéutica fuera más rápida y segura. El equipo había dedicado años a enseñar a las computadoras a predecir si una molécula podía ser útil, si podía alcanzar una diana biológica y si podía perjudicar al paciente. En la conferencia Spiez Convergence, celebrada en Suiza, donde investigadores, especialistas en control de armamentos y funcionarios de seguridad examinaron cómo las nuevas tecnologías podían afectar al control de las armas químicas y biológicas, la invitación obligó a Ekins y sus colegas a observar su propio software desde la perspectiva de un posible usuario indebido. Su conclusión fue que todo sistema capaz de optimizar una propiedad beneficiosa también puede ser capaz de optimizar una perjudicial cuando se cambia el objetivo.

La función de seguridad también era un mapa

Los desarrolladores de fármacos necesitan modelos de toxicidad para identificar moléculas peligrosas antes de iniciar trabajos de laboratorio y clínicos costosos. Esto significa que un modelo suficientemente capaz no solo etiqueta el peligro, sino que aprende patrones asociados con él. Un sistema entrenado para reconocer estructuras químicas tóxicas puede ayudar a los científicos a evitarlas. Ese mismo conocimiento puede revelar dónde podría encontrarse la región tóxica del espacio químico. Los investigadores no afirmaron que su modelo hubiera producido 40.000 armas químicas listas para usar. Una estructura molecular en una computadora no es un agente desplegable. El uso indebido en el mundo real aún requeriría química, adquisición, síntesis, purificación, manipulación, pruebas y suministro, y cada una de estas etapas crea obstáculos y oportunidades de detección. Sin embargo, esos obstáculos no son leyes permanentes de la naturaleza. La automatización, la síntesis por encargo, los laboratorios robóticos y asistentes científicos más avanzados pueden reducir algunos de ellos con el tiempo. La preocupación no es que un resultado de IA se convierta instantáneamente en un arma. Es que el tiempo, los conocimientos y el esfuerzo de búsqueda necesarios para llegar a un candidato peligroso puedan seguir disminuyendo.

Después, la biología obtuvo sus propios modelos lingüísticos

En 2023, Ekins se unió a la especialista en bioseguridad Dra. Filippa Lentzos y a los especialistas suizos en control de armamentos Maximilian Brackmann y Cédric Invernizzi para examinar lo que denominaron un «ChatGPT para la biología». Los modelos lingüísticos de proteínas aprenden patrones en enormes colecciones de secuencias de aminoácidos, el alfabeto biológico a partir del cual se construyen las proteínas. Los sistemas de IA entrenados con decenas o cientos de millones de secuencias proteicas pueden proponer nuevas secuencias en cuestión de segundos. Los investigadores han utilizado estos modelos para generar proteínas que posteriormente se fabricaron y demostraron funcionar. Las posibilidades beneficiosas son extraordinarias: las proteínas diseñadas por IA pueden ayudar a crear medicamentos, vacunas, enzimas y herramientas que descompongan la contaminación. Pero los autores advirtieron que el diseño de proteínas contiene la misma inversión de doble uso que el descubrimiento de fármacos, posiblemente con una incertidumbre aún mayor.

La toxina que ninguna lista de vigilancia reconoce

La biodefensa tradicional depende en parte del reconocimiento: los laboratorios buscan secuencias genéticas conocidas, toxinas conocidas, firmas químicas conocidas y relaciones conocidas entre estructura y función. Los autores utilizaron la ricina como ejemplo conceptual. Los sistemas de detección pueden buscar secuencias reconocibles o características estructurales vinculadas a la toxina conocida. Un futuro sistema de diseño de proteínas podría conservar una función biológica perjudicial mientras cambia gran parte de la secuencia o estructura circundante. La molécula resultante podría parecer desconocida para sistemas construidos para reconocer lo que ya ha sido catalogado. Una toxina conocida puede incluirse en una lista de control. Una molécula nueva quizá aún no tenga nombre.

La Dra. Filippa Lentzos en la frontera entre la ciencia y la seguridad

La Dra. Filippa Lentzos es profesora asociada de Ciencia y Seguridad Internacional en el Departamento de Estudios de la Guerra del King's College de Londres, y ocupa cargos en el Instituto Internacional de Estocolmo para la Investigación de la Paz y el James Martin Center for Nonproliferation Studies. Preside el Grupo Asesor Técnico de la Organización Mundial de la Salud sobre el Uso Responsable de las Ciencias de la Vida y la Investigación de Doble Uso, y es experta incluida en la lista del mecanismo de las Naciones Unidas utilizado para investigar presuntos usos de armas químicas o biológicas. Su trabajo plantea una pregunta que las instituciones científicas suelen posponer: no solo ¿puede realizarse esta investigación?, sino también ¿cómo podría utilizarse esa capacidad una vez que salga de las manos del equipo original? El software se copia. Los artículos de investigación se leen en todo el mundo. Los modelos se adaptan. Los servicios comerciales ponen la síntesis y las pruebas a disposición de personas que no construyeron las herramientas subyacentes. Un científico puede controlar el propósito de un experimento. La máquina genera posibilidades en cuestión de segundos.

Qué significa el riesgo de la IA para la preparación civil

La preocupación por la bioseguridad de la IA no exige que las familias entiendan el plegamiento de proteínas ni las arquitecturas de aprendizaje automático. Exige comprender un hecho sencillo: el plazo entre una capacidad científica y una aplicación peligrosa puede estar acortándose, y el número de personas que podrían acceder a esa capacidad puede estar aumentando. Esto no significa que un ataque sea inminente. Significa que el argumento a favor de la preparación se fortalece con cada reducción gradual de la barrera técnica. Una familia que se prepara antes de que llegue una advertencia no necesita adivinar qué sistema de IA, qué patógeno o qué ciudad estarán implicados; necesita equipos que funcionen para cada miembro de la familia, almacenados en un lugar accesible y con una capacitación que permita utilizarlos rápidamente.

Cómo preparar un kit práctico de protección respiratoria familiar

Adultos: la Israeli 4A1 Black Diamond Simplex, una auténtica máscara israelí de defensa civil de rostro completo, con visor panorámico, tubo de hidratación y conexión de filtro estándar de 40 mm. Para usuarios con barba: la capucha PAPR israelí Sapphire.

Niños, de 2 a 8 años: la capucha PAPR infantil MAMTAK / Quartz, una capucha transparente motorizada para niños pequeños que no pueden utilizar de forma fiable una máscara convencional de ajuste hermético.

Bebés y niños pequeños, de 0 a 2 años: el sistema de protección infantil Multipro.

Niños, de 8 a 14 años: la máscara antigás infantil israelí 10A1.

Filtros: filtros israelíes PA-12 y M80 Tipo 80 CBRN/NBC de 40 mm. La máquina puede generar posibilidades en cuestión de segundos. Una familia aún necesita tiempo para decidir qué se ajusta al adulto, qué funciona para el niño, qué puede llevar el usuario con barba y dónde se guardan las baterías y los filtros. Ese trabajo no puede automatizarse después de la alarma. El momento más seguro para completarlo es mientras el software todavía se utiliza para buscar curas.

Explora el paquete familiar CBRN israelí o la gama completa en CBRNMASKS.COM.

Protege a tu familia

4A1 para adultos, Sapphire para personas con barba, MAMTAK / Quartz para niños de 2 a 8 años y Multipro para bebés. Filtros sellados de 40 mm para cada máscara. Paquete familiar CBRN israelí para todo el hogar. CBRNMASKS.COM: equipos de defensa civil israelíes, en servicio desde 2009.

Fuentes principales

Análisis y conclusiones sobre preparación a cargo de David Magen - exoficial de Investigación de Combate, División de Doctrina y Entrenamiento, Dirección de Operaciones de las FDI; exoficial de Estado Mayor de la Autoridad Nacional de Emergencias, planificación de la continuidad para autoridades locales de la región de Haifa. Fundador de CBRNMASKS.COM desde 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists y la OMS no están afiliados a CBRNMASKS.COM ni han respaldado la empresa o sus productos.

Volver al blog