Aviso sobre armas biológicas de IA: quando a descoberta de medicamentos aprende a conceber venenos

Declaração editorial: este artigo baseia-se principalmente em: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi e Sean Ekins, «Dual Use of Artificial-Intelligence-Powered Drug Discovery», Nature Machine Intelligence, março de 2022; e Sean Ekins, Filippa Lentzos, Max Brackmann e Cédric Invernizzi, «There's a 'ChatGPT' for Biology. What Could Go Wrong?», Bulletin of the Atomic Scientists, março de 2023. A experiência discutida gerou candidatos moleculares previstos por computador - não sintetizou, validou nem utilizou agentes químicos físicos. Este artigo não afirma que esteja iminente um ataque químico ou biológico específico facilitado por IA. Os investigadores citados não recomendaram a CBRNMASKS.COM nem qualquer produto descrito neste artigo. A análise, as conclusões sobre preparação e as recomendações de produtos são da exclusiva responsabilidade de David Magen.

«A parte mais assustadora não foi a IA ter desobedecido aos seus criadores. Fez exatamente aquilo que lhe pediram.»

O software tinha sido desenvolvido para ajudar a salvar vidas. O seu objetivo era familiar a qualquer pessoa que trabalhe na descoberta moderna de medicamentos: procurar mais moléculas possíveis do que uma equipa humana poderia alguma vez analisar, rejeitar os candidatos perigosos e identificar compostos que pudessem tornar-se medicamentos. A toxicidade era o inimigo. Depois, investigadores que se preparavam para uma conferência internacional de segurança perguntaram o que aconteceria se o objetivo fosse invertido.

Não construíram um novo laboratório de armas. Num exercício computacional controlado, redirecionaram um sistema desenvolvido para investigação farmacêutica benéfica para o objetivo oposto. Em menos de seis horas, o modelo produziu aproximadamente 40 000 moléculas candidatas que cumpriam o limiar de toxicidade definido pelos investigadores - incluindo agentes de guerra química conhecidos e estruturas anteriormente não registadas que o modelo previa serem altamente tóxicas. Nada foi sintetizado. Nenhuma arma física foi criada. Mas a pesquisa apresentou um aviso: uma ferramenta concebida para proteger os doentes contra medicamentos tóxicos podia ser orientada para a toxicidade com uma facilidade perturbadora.

Esta análise deve ser lida juntamente com a proteção respiratória civil contra ameaças biológicas e a IA, os drones e a biologia sintética enquanto ameaça de ADM. Em conjunto, ligam o cenário de ameaça às suas implicações operacionais e de preparação civil.

O cientista que passou a carreira a procurar medicamentos

O Dr. Sean Ekins é farmacologista, toxicologista computacional e fundador da Collaborations Pharmaceuticals - uma empresa que utiliza aprendizagem automática na descoberta de medicamentos, no estudo de doenças raras e de doenças infeciosas. O seu trabalho profissional incluiu potenciais tratamentos para doenças como o Ébola e doenças pediátricas raras. É esse percurso que torna a experiência tão significativa. O perigo não surgiu porque um laboratório malicioso tivesse criado um programa obviamente sinistro. Surgiu de uma plataforma científica legítima, criada para tornar a investigação farmacêutica mais rápida e segura. A equipa passou anos a ensinar computadores a prever se uma molécula poderia ser útil, se conseguiria atingir um alvo biológico e se poderia prejudicar o doente. Na conferência Spiez Convergence, na Suíça - onde investigadores, especialistas em controlo de armamento e responsáveis de segurança analisaram como as novas tecnologias poderiam afetar o controlo de armas químicas e biológicas - o convite obrigou Ekins e os seus colegas a observarem o seu próprio software pelos olhos de um potencial utilizador indevido. A conclusão foi clara: qualquer sistema capaz de otimizar uma propriedade benéfica pode também ser capaz de otimizar uma propriedade nociva quando o objetivo é alterado.

A função de segurança era também um mapa

Os criadores de medicamentos precisam de modelos de toxicidade para identificar moléculas perigosas antes do início de trabalhos laboratoriais e clínicos dispendiosos. Isso significa que um modelo suficientemente capaz faz mais do que assinalar o perigo - aprende padrões associados ao perigo. Um sistema treinado para reconhecer estruturas químicas tóxicas pode ajudar os cientistas a afastarem-se delas. O mesmo conhecimento pode revelar onde se encontra a região tóxica do espaço químico. Os investigadores não afirmaram que o seu modelo tinha produzido 40 000 armas químicas prontas a utilizar. Uma estrutura molecular num computador não é um agente utilizável. O uso indevido no mundo real continuaria a exigir química, aquisição, síntese, purificação, manuseamento, testes e lançamento - cada uma destas etapas cria obstáculos e oportunidades de deteção. No entanto, esses obstáculos não são leis permanentes da natureza. A automatização, a síntese contratada, os laboratórios robotizados e assistentes científicos melhores podem reduzir alguns deles ao longo do tempo. A preocupação não é que um resultado de IA se transforme instantaneamente numa arma. É que o tempo, o conhecimento especializado e o esforço de pesquisa necessários para chegar a um candidato perigoso possam continuar a diminuir.

Depois, a biologia adquiriu os seus próprios modelos linguísticos

Em 2023, Ekins juntou-se à especialista em biossegurança Dra. Filippa Lentzos e aos especialistas suíços em controlo de armamento Maximilian Brackmann e Cédric Invernizzi para analisarem aquilo a que chamaram um «ChatGPT para a biologia». Os modelos linguísticos de proteínas aprendem padrões em enormes coleções de sequências de aminoácidos - o alfabeto biológico a partir do qual as proteínas são construídas. Os sistemas de IA treinados com dezenas ou centenas de milhões de sequências de proteínas podem propor novas sequências em segundos. Os investigadores utilizaram estes modelos para gerar proteínas que foram posteriormente fabricadas e demonstraram funcionar. As possibilidades benéficas são extraordinárias: as proteínas concebidas por IA podem ajudar a criar medicamentos, vacinas, enzimas e ferramentas que decomponham a poluição. Mas os autores alertaram que a conceção de proteínas contém a mesma inversão de uso dual que a descoberta de medicamentos - possivelmente com uma incerteza ainda maior.

A toxina que nenhuma lista de vigilância reconhece

A biodefesa tradicional depende, em parte, do reconhecimento - os laboratórios procuram sequências genéticas conhecidas, toxinas conhecidas, assinaturas químicas conhecidas e relações conhecidas entre estrutura e função. Os autores utilizaram a ricina como exemplo conceptual. Os sistemas de deteção podem procurar sequências reconhecíveis ou características estruturais associadas à toxina conhecida. Um futuro sistema de conceção de proteínas poderá preservar uma função biológica nociva, alterando simultaneamente grande parte da sequência ou estrutura envolvente. A molécula resultante poderá parecer desconhecida aos sistemas concebidos para reconhecer aquilo que já foi catalogado. Uma toxina conhecida pode ser incluída numa lista de controlo. Uma molécula nova pode ainda nem ter nome.

A Dra. Filippa Lentzos na fronteira entre a ciência e a segurança

A Dra. Filippa Lentzos é Professora Associada de Ciência e Segurança Internacional no Department of War Studies do King's College London, desempenhando também funções no Stockholm International Peace Research Institute e no James Martin Center for Nonproliferation Studies. Preside ao Grupo Consultivo Técnico da Organização Mundial da Saúde sobre a Utilização Responsável das Ciências da Vida e a Investigação de Uso Dual, e integra a lista de peritos do mecanismo das Nações Unidas utilizado para investigar alegações de uso de armas químicas ou biológicas. O seu trabalho coloca uma questão que as instituições científicas frequentemente adiam: não apenas pode esta investigação ser realizada - mas como poderá a capacidade ser utilizada quando deixar as mãos da equipa original? O software é copiado. Os artigos científicos são lidos em todo o mundo. Os modelos são adaptados. Os serviços comerciais disponibilizam síntese e testes a pessoas que não construíram as ferramentas subjacentes. Um cientista pode controlar o objetivo de uma experiência. A máquina gera possibilidades em segundos.

O que o risco da IA significa para a preparação civil

A preocupação de biossegurança relacionada com a IA não exige que as famílias compreendam o enovelamento das proteínas ou as arquiteturas de aprendizagem automática. Exige compreender um facto simples: o período entre uma capacidade científica e uma aplicação perigosa pode estar a encurtar-se, e o número de pessoas que poderiam ter acesso a essa capacidade pode estar a aumentar. Isso não significa que um ataque esteja iminente. Significa que o argumento a favor da preparação se torna mais forte a cada redução incremental da barreira técnica. Uma família que se prepara antes de surgir um aviso não precisa de adivinhar qual será o sistema de IA, o agente patogénico ou a cidade - precisa de equipamento que funcione para todos os membros da família, guardado num local acessível, e de formação que permita uma utilização rápida.

Constituir um kit prático de proteção respiratória familiar

Adultos: a Israeli 4A1 Black Diamond Simplex - máscara israelita genuína de proteção civil integral, com visor panorâmico, tubo de hidratação e ligação normalizada para filtro de 40 mm. Para utilizadores com barba: o capuz PAPR israelita Sapphire.

Crianças dos 2 aos 8 anos: o capuz PAPR infantil MAMTAK / Quartz - capuz transparente motorizado para crianças mais novas que não conseguem utilizar de forma fiável uma máscara convencional justa.

Bebés e crianças pequenas dos 0 aos 2 anos: o sistema de proteção infantil Multipro.

Crianças dos 8 aos 14 anos: a máscara antigás infantil israelita 10A1.

Filtros: filtros israelitas PA-12 e M80 Type 80 CBRN/NBC de 40 mm. A máquina pode gerar possibilidades em segundos. Uma família continua a precisar de tempo para decidir o que serve ao adulto, o que funciona para a criança, o que o utilizador com barba consegue usar e onde estão guardadas as pilhas e os filtros. Esse trabalho não pode ser automatizado depois do alarme. A altura mais segura para o concluir é enquanto o software ainda está a ser utilizado para procurar curas.

Explore o Pacote Familiar Israelita CBRN ou a gama completa em CBRNMASKS.COM.

Proteja a sua família

4A1 para adultos, Sapphire para pessoas com barba, MAMTAK / Quartz dos 2 aos 8 anos, Multipro para bebés. Filtros selados de 40 mm para todas as máscaras. Pacote Familiar Israelita CBRN para toda a família. CBRNMASKS.COM - equipamento de proteção civil israelita, ao serviço desde 2009.

Fontes principais

Análise e conclusões sobre preparação por David Magen - antigo Oficial de Investigação de Combate, Divisão de Doutrina e Formação, Direção de Operações das FDI; antigo Oficial de Estado-Maior, Autoridade Nacional de Emergência, planeamento da continuidade para autoridades locais, região de Haifa. Fundador da CBRNMASKS.COM desde 2009. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists e a OMS não são afiliados da CBRNMASKS.COM e não recomendaram a empresa nem os seus produtos.

Voltar para o blogue