AIバイオ兵器の警告：創薬が毒の設計を覚える時

編集上の開示: この記事は主に、Fabio Urbina、Filippa Lentzos、Cédric Invernizzi、Sean Ekinsによる「Dual Use of Artificial-Intelligence-Powered Drug Discovery（人工知能を活用した創薬のデュアルユース）」『Nature Machine Intelligence』2022年3月号、およびSean Ekins、Filippa Lentzos、Max Brackmann、Cédric Invernizziによる「There's a 'ChatGPT' for Biology. What Could Go Wrong?（生物学には『ChatGPT』がある。何が問題になり得るのか？）」『Bulletin of the Atomic Scientists』2023年3月号に基づいています。取り上げた実験で生成されたのは、コンピューターが予測した分子候補であり、実際の化学剤を合成、検証、配備したものではありません。この記事は、特定のAI対応化学攻撃または生物攻撃が差し迫っていると主張するものではありません。引用した研究者は、CBRNMASKS.COMまたは本記事で紹介する製品を支持していません。分析、備えに関する結論、製品の推奨はDavid Magen個人によるものです。

「最も恐ろしかったのは、AIが開発者に逆らったことではありません。AIは、彼らが求めたことを正確に実行したのです。」

そのソフトウェアは、人命を救うために開発されていました。その目的は、現代の創薬に携わる人なら誰もが知っているものです。人間のチームでは調べきれないほど多くの分子候補を検索し、危険な候補を排除し、医薬品になり得る化合物を特定すること。毒性は敵でした。そこで、国際安全保障会議の準備をしていた研究者たちは、目的を逆転させたら何が起こるのかを問いかけました。

彼らは新たな兵器研究所を建設したわけではありません。管理された計算機上の演習で、有益な医薬品研究のために開発されたシステムを、正反対の目的へと転用しました。6時間足らずで、モデルは研究者が設定した毒性基準を満たす分子候補を約40,000個生成しました。その中には、既知の化学兵器剤や、モデルが高い毒性を持つと予測した、これまで記載されていなかった構造も含まれていました。何も合成されていません。物理的な兵器も作られていません。しかし、このスクリーニングは警告を発しました。患者を有毒な医薬品から守るために設計されたツールが、驚くほど容易に毒性の追求へと向けられる可能性があるのです。

この分析は、生物学的脅威に対する民間人向け呼吸器保護およびWMDの脅威としてのAI、ドローン、合成生物学と併せて読むのが適切です。これらを合わせることで、脅威の全体像と、実際の運用および民間人の備えへの影響がつながります。

医薬品を探すことにキャリアを費やしてきた科学者

Sean Ekins博士は、薬理学者、計算毒性学者であり、創薬、希少疾患、感染症に機械学習を活用する企業Collaborations Pharmaceuticalsの創業者です。これまでの専門的な研究には、エボラ出血熱や希少な小児疾患などに対する治療法の候補も含まれています。この経歴が、実験に大きな意味を与えています。危険性は、悪意ある研究所が明らかに邪悪なプログラムを構築したために生じたのではありません。医薬品研究をより速く、より安全にするために作られた、正当な科学プラットフォームから生じたのです。チームは何年もかけて、分子が有用かどうか、生物学的標的に到達できるかどうか、患者に害を及ぼす可能性があるかどうかをコンピューターに予測させる方法を教えてきました。スイスで開催されたSpiez Convergence会議では、研究者、軍備管理の専門家、安全保障当局者が、新技術が化学兵器および生物兵器の管理に与え得る影響を検討しました。この会議への招待により、Ekins博士と同僚たちは、自分たちのソフトウェアを潜在的な悪用者の目から見直すことになりました。彼らが気づいたのは、利益をもたらす特性を最適化できるシステムは、目的を変更すれば有害な特性も最適化できる可能性があるということでした。

安全機能は、同時に地図でもあった

創薬の開発者は、高額な実験室研究や臨床研究を始める前に、危険な分子を特定するための毒性モデルを必要とします。つまり、十分に高性能なモデルは、危険性を単に分類するだけではなく、危険性に関連するパターンを学習するのです。有毒な化学構造を認識するよう訓練されたシステムは、科学者がそれらを避けるのに役立ちます。同じ知識から、化学空間のどこに毒性の領域が存在する可能性があるのかを知ることもできます。研究者たちは、モデルがすぐに使える化学兵器を40,000個生成したとは主張していません。コンピューター上の分子構造は、配備可能な剤ではありません。現実世界で悪用するには、化学、調達、合成、精製、取り扱い、試験、運搬が依然として必要であり、その一つひとつが障壁となる一方、検知の機会にもなります。しかし、これらの障壁は自然法則のように永続するものではありません。自動化、受託合成、ロボット実験室、より優れた科学支援ツールは、時間の経過とともにその一部を低減させる可能性があります。懸念は、AIの出力が一瞬で兵器になることではありません。危険な候補に到達するために必要な時間、専門知識、検索作業が、今後さらに減少する可能性があることです。

そして生物学にも独自の言語モデルが登場した

2023年、Ekins博士はバイオセキュリティ研究者のFilippa Lentzos博士、スイスの軍備管理専門家Maximilian Brackmann氏、Cédric Invernizzi氏とともに、彼らが「生物学版ChatGPT」と呼ぶものを検討しました。タンパク質言語モデルは、タンパク質を構成する生物学的アルファベットである、膨大なアミノ酸配列の集合に含まれるパターンを学習します。数千万から数億のタンパク質配列で訓練されたAIシステムは、数秒で新しい配列を提案できます。研究者たちは、このようなモデルを使ってタンパク質を生成し、その後、実際に製造して機能することを確認しています。可能性は驚くべきものです。AIが設計したタンパク質は、医薬品、ワクチン、酵素、汚染物質を分解するツールの開発に役立つ可能性があります。しかし著者らは、タンパク質設計にも創薬と同じデュアルユースの反転が含まれており、不確実性はさらに大きい可能性があると警告しました。

どの監視リストにも認識されない毒素

従来の生物防衛は、認識に部分的に依存しています。研究所は、既知の遺伝子配列、既知の毒素、既知の化学的特徴、そして構造と機能の既知の関係を探します。著者らは、概念的な例としてリシンを用いました。検知システムは、既知の毒素に関連する認識可能な配列や構造的特徴を検索することがあります。将来のタンパク質設計システムは、有害な生物学的機能を維持しながら、周囲の配列や構造の多くを変更するかもしれません。その結果生まれる分子は、すでにカタログ化されたものを認識するよう構築されたシステムには、見慣れないものに見える可能性があります。既知の毒素は規制リストに掲載できます。新しい分子には、まだ名前すらないかもしれません。

科学と安全保障の境界に立つFilippa Lentzos博士

Filippa Lentzos博士は、ロンドン大学キングス・カレッジの戦争学部で科学と国際安全保障を専門とする講師を務め、ストックホルム国際平和研究所およびJames Martin Center for Nonproliferation Studiesでも役職を担っています。世界保健機関（WHO）の生命科学およびデュアルユース研究の責任ある利用に関する技術諮問グループの議長を務め、化学兵器または生物兵器の使用疑惑を調査する国連の仕組みに登録された専門家でもあります。彼女の研究は、科学機関がしばしば先送りする問いを投げかけます。その研究は実施できるのか、というだけではなく、その能力が元のチームの手を離れたとき、どのように使われる可能性があるのか、という問いです。ソフトウェアはコピーされます。研究論文は世界中で読まれます。モデルは改変されます。商用サービスによって、基盤となるツールを構築していない人々にも、合成や試験が可能になります。科学者は一つの実験の目的を管理できます。しかし機械は数秒で可能性を生み出します。

AIのリスクが民間人の備えに意味すること

AIに関するバイオセキュリティ上の懸念を理解するために、家庭がタンパク質のフォールディングや機械学習のアーキテクチャを理解する必要はありません。理解すべき単純な事実は一つです。科学的能力が危険な用途に転用されるまでの時間が短縮され、その能力にアクセスできる人の数が増えている可能性があるということです。これは、攻撃が差し迫っているという意味ではありません。技術的障壁が少しずつ下がるたびに、備えを推奨する根拠が強くなるという意味です。警告が発令される前に備える家庭は、どのAIシステム、どの病原体、どの都市なのかを推測する必要はありません。必要なのは、家族全員に合い、手の届く場所に保管され、迅速に使用できる訓練を伴う装備です。

実用的な家庭用呼吸器保護キットを構築する

成人: イスラエル製4A1 Black Diamond Simplex - パノラマバイザー、給水チューブ、標準40mmフィルター接続部を備えた、本物のイスラエル製全面型民間防衛マスク。ひげを生やしている方には、イスラエル製Sapphire PAPRフード。

2～8歳の子ども: MAMTAK / Quartz子ども用PAPRフード - 従来型の密着式マスクを確実に使用できない年少児向けの、電動式透明フード。

0～2歳の乳幼児: Multipro乳幼児保護システム。

8～14歳の子ども: イスラエル製10A1子ども用ガスマスク。

フィルター: イスラエル製PA-12およびM80 Type 80 40mm CBRN/NBCフィルター。機械は数秒で可能性を生み出せます。しかし家庭では、成人に何が合うのか、子どもには何が使えるのか、ひげのある人が何を着用できるのか、バッテリーとフィルターをどこに保管するのかを決める時間が必要です。その作業は、警報が鳴ってから自動化することはできません。それを完了する最も安全な時期は、ソフトウェアがまだ治療法を探すために使われている間です。

イスラエル製CBRNファミリーバンドル、またはCBRNMASKS.COMの全製品をご覧ください。

家族を守る

成人には4A1、ひげのある方にはSapphire、2～8歳にはMAMTAK / Quartz、乳幼児にはMultipro。すべてのマスク用に密封済み40mmフィルター。家庭全体にはイスラエル製CBRNファミリーバンドル。CBRNMASKS.COM - 2009年から提供しているイスラエル製民間防衛装備。

主な情報源

分析および備えに関する結論: David Magen - 元イスラエル国防軍（IDF）作戦局教義・訓練部戦闘調査 अधिकारी、元国家緊急事態庁職員（地方自治体の事業継続計画、ハイファ地域）。2009年からCBRNMASKS.COMを創設・運営。Sean Ekins、Filippa Lentzos、『Nature Machine Intelligence』、『Bulletin of the Atomic Scientists』、WHOはCBRNMASKS.COMと提携しておらず、同社またはその製品を支持していません。

ブログに戻る