AIバイオ兵器の警告：創薬が毒の設計を覚える時

編集者の開示: この記事は主に以下に基づいています: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi, and Sean Ekins, "Dual Use of Artificial-Intelligence-Powered Drug Discovery," Nature Machine Intelligence, 2022年3月; および Sean Ekins, Filippa Lentzos, Max Brackmann, and Cédric Invernizzi, "There's a 'ChatGPT' for Biology. What Could Go Wrong?" Bulletin of the Atomic Scientists, 2023年3月。議論された実験は、コンピューターで予測された分子候補を生成したものであり、物理的な化学物質を合成、検証、または展開したものではありません。この記事は、特定のAI対応の化学的または生物学的攻撃が差し迫っているとは主張していません。引用された研究者はCBRNMASKS.COMまたはこの記事で説明されている製品を推奨していません。分析、準備に関する結論、および製品の推奨はDavid Magen単独によるものです。

「最も恐ろしい部分は、AIがその制作者に逆らったことではなかった。AIは彼らが求めたことを正確に実行したのだ。」

そのソフトウェアは人命を救うために作られた。その目的は、現代の創薬に携わる者なら誰でも知っているものだった。つまり、人間のチームが調べられるよりも多くの分子候補を検索し、危険な候補を排除し、医薬品になりうる化合物を特定することだ。毒性は敵だった。そして、国際安全保障会議の準備をしていた研究者たちは、もし目的が逆転したらどうなるかを尋ねた。

彼らは新しい兵器研究所を建設したわけではない。制御された計算実験において、彼らは有益な医薬品研究のために開発されたシステムを、逆の目標に向けて方向転換させた。わずか6時間足らずで、このモデルは研究者の毒性閾値を満たす約40,000の候補分子を生成した。これには既知の化学兵器剤や、以前はリストに載っておらず、モデルによって非常に毒性が高いと予測された構造が含まれていた。何も合成されなかった。物理的な兵器は作られなかった。しかし、スクリーンは警告を発した。毒性のある薬から患者を保護するために設計されたツールが、驚くほど簡単に毒性に向けて使われうるという警告だ。

この分析は、生物学的脅威に対する民間人の呼吸保護と、AI、ドローン、合成生物学がWMDの脅威となることと一緒に読むと最もよく理解できる。これらは脅威の全体像と、その運用上および民間人の準備に関する影響を結びつけるものだ。

薬を求めてキャリアを捧げてきた科学者

ショーン・エキンス博士は薬理学者であり、計算毒性学者であり、機械学習を創薬、希少疾患、感染症に応用するCollaborations Pharmaceuticalsの創設者である。彼の専門的な仕事には、エボラや希少小児疾患などの治療法の可能性が含まれている。その背景こそが、この実験を強力なものにしている。危険は、悪意のある研究所が明らかに不吉なプログラムを構築したからではなく、医薬品研究をより迅速かつ安全にするために作られた正当な科学プラットフォームから生まれたのだ。チームは何年もの間、分子が有用であるか、生物学的標的に到達できるか、患者に害を及ぼす可能性があるかをコンピューターに予測させることを教えてきた。スイスで開催されたシュピーツ・コンバージェンス会議（研究者、軍備管理専門家、安全保障当局者が新技術が化学兵器・生物兵器管理にどう影響するかを検討する会議）で、エキンスと同僚は、招待によって彼ら自身のソフトウェアを潜在的な悪用者の視点から見つめ直すことを強いられた。彼らの認識はこうだ。有益な特性を最適化できるあらゆるシステムは、目的が変更された場合、有害な特性を最適化する能力も持つ可能性がある。

安全機能は地図でもあった

製薬開発者は、高額な実験室作業や臨床作業が始まる前に危険な分子を特定するために、毒性モデルを必要とする。つまり、十分に能力のあるモデルは、危険を示すだけでなく、危険に関連するパターンを学習する。毒性のある化学構造を認識するように訓練されたシステムは、科学者がそれらから遠ざかるのに役立つ。同じ知識は、化学空間のどこに毒性のある領域が存在するかを明らかにする。研究者たちは、自分たちのモデルが4万のすぐに使用できる化学兵器を生成したとは主張していない。コンピューター上の分子構造は、展開可能な薬剤ではない。実際の悪用には、化学、調達、合成、精製、取り扱い、試験、および配送が必要であり、これらそれぞれが障壁となり、また検出の機会を生み出す。しかし、これらの障壁は自然の恒久的な法則ではない。自動化、契約合成、ロボット実験室、そしてより優れた科学アシスタントは、時間の経過とともにそれらのいくつかを減少させる可能性がある。懸念されるのは、AIの出力が即座に兵器になることではない。危険な候補に到達するために必要な時間、専門知識、探索労力が引き続き減少する可能性があることである。

そして生物学は独自の言語モデルを獲得した

2023年、エキンスはバイオセキュリティ研究者のフィリッパ・レンツォス博士、スイスの軍備管理専門家であるマキシミリアン・ブラックマン、セドリック・インヴァニッツィとともに、彼らが「生物学版ChatGPT」と呼ぶものを調査するために協力した。タンパク質言語モデルは、アミノ酸配列の膨大なコレクション（タンパク質が構築される生物学的アルファベット）にわたるパターンを学習する。数千万から数億のタンパク質配列で訓練されたAIシステムは、数秒で新しい配列を提案できる。研究者たちは、このようなモデルを使用して、後に製造され、機能することが示されたタンパク質を生成してきた。その有益な可能性は驚くべきものだ。AIが設計したタンパク質は、医薬品、ワクチン、酵素、汚染を分解するツールなどの作成に役立つかもしれない。しかし、著者たちは、タンパク質設計には、創薬と同じ二重使用の逆転が含まれており、おそらくさらに大きな不確実性を伴うと警告した。

監視リストに載っていない毒素

従来の生物防御は、部分的に認識に依存している。研究室は既知の遺伝子配列、既知の毒素、既知の化学シグネチャ、構造と機能の既知の関係を探す。著者らはリシンを概念的な例として使用した。検出システムは、既知の毒素に関連する認識可能な配列や構造的特徴を検索する可能性がある。将来のタンパク質設計システムは、有害な生物学的機能を維持しながら、周囲の配列や構造の大部分を変更する可能性がある。結果として生じる分子は、すでにカタログ化されているものを認識するように構築されたシステムにとっては見慣れないものに見えるかもしれない。既知の毒素は管理リストに載せることができる。新しい分子はまだ名前を持っていないかもしれない。

科学と安全保障の境界に立つフィリッパ・レンツォス博士

フィリッパ・レンツォス博士は、ロンドン大学キングス・カレッジ戦争研究学部における科学と国際安全保障のリーダーであり、ストックホルム国際平和研究所およびジェームズ・マーティン不拡散研究センターにも籍を置いている。彼女は世界保健機関の生命科学とデュアルユース研究の責任ある使用に関する技術諮問グループの議長を務め、国連の化学兵器または生物兵器の使用疑惑を調査するために使用されるメカニズムの専門家リストに登録されている。彼女の研究は、科学機関がしばしば先送りにする問いを投げかける。この研究は可能であるだけでなく、元のチームの手を離れた後、その能力がどのように使用される可能性があるか、ということだ。ソフトウェアはコピーされる。研究論文は世界中で読まれる。モデルは応用される。商業サービスは、基盤となるツールを構築していない人々にも合成と試験を提供している。科学者は一つの実験の目的を制御できる。しかし、機械は数秒で可能性を生み出す。

AIリスクが民間人の備えに意味すること

AIバイオセキュリティの懸念は、家族がタンパク質フォールディングや機械学習アーキテクチャを理解することを要求するものではありません。それは、科学的能力と危険な応用との間の時間軸が短くなり、その能力にアクセスできる人々の数が増加しているという一つの単純な事実を理解することを要求します。これは、攻撃が差し迫っているという意味ではありません。それは、技術的障壁の段階的な減少ごとに、準備の議論がより強力になることを意味します。警告が届く前に準備する家族は、どのAIシステム、どの病原体、どの都市かを推測する必要はありません。必要なのは、家族全員に適合し、手の届く場所に保管され、迅速な使用を可能にする訓練が施された機器です。

実用的な家族用呼吸保護キットの構築

成人: イスラエル製4A1ブラックダイヤモンドシンプレックス — パノラマバイザー、ハイドレーションチューブ、標準40mmフィルター接続を備えた本物のイスラエル製フルフェイス市民防衛マスク。ひげのあるユーザー向け: イスラエル製サファイアPAPRフード。

子供、2〜8歳: MAMTAK / クォーツ子供用PAPRフード — 従来の密着型マスクを確実に使用できない幼い子供向けの、電源供給型透明フード。

乳幼児、0〜2歳: Multipro乳児保護システム。

子供、8〜14歳: イスラエル製10A1子供用ガスマスク。

フィルター: イスラエル製PA-12およびM80 Type 80 40mm CBRN/NBCフィルター。機械は数秒で可能性を生成できる。家族は、大人に合うもの、子供に使えるもの、ひげを生やした人が着用できるもの、バッテリーとフィルターの保管場所を決めるのにまだ時間が必要である。アラームが鳴った後では、その作業を自動化することはできない。それを完了する最も安全な時期は、ソフトウェアがまだ治療法を探すために使われている間である。

イスラエル製CBRNファミリーバンドルまたはCBRNMASKS.COMの全製品ラインナップをご覧ください。

ご家族を守る

大人向けには4A1、ひげのある方にはSapphire、2歳から8歳までのお子様にはMAMTAK / Quartz、乳幼児にはMultipro。すべてのマスクに密閉された40mmフィルター。完全な家庭向けにはイスラエルCBRNファミリーバンドル。CBRNMASKS.COM — 2009年から提供されているイスラエル製市民防衛装備品。

主な出典

分析および準備に関する結論はDavid Magenによるものです。彼は元戦闘捜査官、IDF作戦局教義・訓練課、元スタッフオフィサー、国家緊急事態庁、地方自治体の継続計画、ハイファ地域担当でした。2009年以来CBRNMASKS.COMの創設者です。Sean Ekins、Filippa Lentzos、Nature Machine Intelligence、Bulletin of the Atomic Scientists、およびWHOはCBRNMASKS.COMとは提携しておらず、同社またはその製品を推奨していません。

ブログに戻る