Попередження про біологічну зброю на основі ШІ: коли відкриття ліків навчається створювати отруту

Редакційне розкриття інформації: ця стаття ґрунтується переважно на таких джерелах: Fabio Urbina, Filippa Lentzos, Cédric Invernizzi і Sean Ekins, «Dual Use of Artificial-Intelligence-Powered Drug Discovery», Nature Machine Intelligence, березень 2022 року; а також Sean Ekins, Filippa Lentzos, Max Brackmann і Cédric Invernizzi, «There's a 'ChatGPT' for Biology. What Could Go Wrong?», Bulletin of the Atomic Scientists, березень 2023 року. В описаному експерименті було створено комп’ютерно спрогнозовані молекулярні кандидати — їх не синтезували, не валідували й не застосовували як фізичні хімічні агенти. Ця стаття не стверджує, що конкретна атака із застосуванням хімічних або біологічних засобів, підтриманих ШІ, є неминучою. Згадані дослідники не підтримували CBRNMASKS.COM або будь-який продукт, описаний у цій статті. Аналіз, висновки щодо готовності та рекомендації щодо продукції належать виключно David Magen.

«Найстрашнішим було не те, що ШІ не послухався своїх творців. Він зробив саме те, про що його попросили».

Програмне забезпечення створили, щоб допомагати рятувати життя. Його призначення було знайоме всім, хто працює у сфері сучасної розробки ліків: шукати серед більшої кількості потенційних молекул, ніж будь-яка людська команда могла б перевірити, відкидати небезпечні кандидати й визначати сполуки, які могли б стати ліками. Токсичність була ворогом. Потім дослідники, які готувалися до міжнародної конференції з безпеки, запитали, що станеться, якщо змінити мету на протилежну.

Вони не створювали нову лабораторію зброї. У контрольованій обчислювальній вправі вони спрямували систему, розроблену для корисних фармацевтичних досліджень, на протилежну мету. Менш ніж за шість годин модель створила приблизно 40 000 молекул-кандидатів, які відповідали встановленому дослідниками порогу токсичності, зокрема відомі агенти хімічної зброї та раніше не внесені до списків структури, які модель спрогнозувала як високотоксичні. Нічого не синтезували. Жодної фізичної зброї не створили. Але система продемонструвала попередження: інструмент, призначений для захисту пацієнтів від токсичних ліків, можна з тривожною легкістю спрямувати на пошук токсичності.

Цей аналіз найкраще читати разом із матеріалами про цивільний захист дихання від біологічних загроз і ШІ, дрони та синтетична біологія як загроза зброї масового ураження. Разом вони пов’язують картину загроз із практичними наслідками для цивільного населення та його готовності.

Учений, який присвятив кар’єру пошуку ліків

Доктор Sean Ekins — фармаколог, обчислювальний токсиколог і засновник Collaborations Pharmaceuticals — компанії, яка використовує машинне навчання для розробки ліків, дослідження рідкісних та інфекційних захворювань. Його професійна діяльність охоплювала потенційні методи лікування таких хвороб, як Ебола, а також рідкісних дитячих розладів. Саме цей досвід робить експеримент переконливим. Небезпека виникла не через те, що зловмисна лабораторія створила очевидно зловісну програму. Вона виникла з легітимної наукової платформи, створеної для прискорення та підвищення безпеки фармацевтичних досліджень. Команда роками навчала комп’ютери прогнозувати, чи може молекула бути корисною, чи здатна вона досягти біологічної мішені та чи може зашкодити пацієнту. На конференції Spiez Convergence у Швейцарії, де дослідники, фахівці з контролю над озброєннями та представники служб безпеки вивчали, як нові технології можуть впливати на контроль хімічної та біологічної зброї, запрошення змусило Ekins і його колег поглянути на власне програмне забезпечення очима потенційного зловмисника. Їхній висновок: кожна система, здатна оптимізувати корисну властивість, може також оптимізувати шкідливу, якщо змінити її мету.

Функція безпеки водночас була картою

Розробникам ліків потрібні моделі токсичності, щоб виявляти небезпечні молекули до початку дорогих лабораторних і клінічних досліджень. Це означає, що достатньо потужна модель не просто позначає небезпеку — вона вивчає закономірності, пов’язані з небезпекою. Система, навчена розпізнавати токсичні хімічні структури, може допомагати науковцям уникати їх. Ті самі знання можуть показати, де може розташовуватися токсична ділянка хімічного простору. Дослідники не стверджували, що їхня модель створила 40 000 готових до використання хімічних озброєнь. Молекулярна структура на комп’ютері не є агентом, придатним для застосування. Реальне зловживання все одно потребувало б хімічних знань, закупівель, синтезу, очищення, поводження, випробувань і доставки — кожен із цих етапів створює перешкоди та можливості для виявлення. Однак ці перешкоди не є непорушними законами природи. Автоматизація, контрактний синтез, роботизовані лабораторії та досконаліші наукові помічники з часом можуть зменшити деякі з них. Проблема не в тому, що один результат роботи ШІ миттєво перетворюється на зброю. Проблема в тому, що час, досвід і пошукові зусилля, необхідні для досягнення небезпечного кандидата, можуть і надалі скорочуватися.

Потім біологія отримала власні мовні моделі

У 2023 році Ekins разом із фахівчинею з біобезпеки докторкою Filippa Lentzos і швейцарськими спеціалістами з контролю над озброєннями Maximilian Brackmann та Cédric Invernizzi дослідив те, що вони назвали «ChatGPT для біології». Мовні моделі білків вивчають закономірності у величезних масивах амінокислотних послідовностей — біологічному алфавіті, з якого побудовані білки. Системи ШІ, навчені на десятках або сотнях мільйонів білкових послідовностей, можуть за секунди пропонувати нові послідовності. Дослідники використовували такі моделі для створення білків, які згодом виготовляли й демонстрували їхню функціональність. Корисні можливості надзвичайні: білки, розроблені за допомогою ШІ, можуть допомогти створювати ліки, вакцини, ферменти та засоби для розщеплення забруднювачів. Але автори попередили, що розробка білків містить таку саму проблему подвійного призначення, як і відкриття ліків, — можливо, з іще більшою невизначеністю.

Токсин, якого не розпізнає жоден список спостереження

Традиційна біологічна оборона частково залежить від розпізнавання: лабораторії шукають відомі генетичні послідовності, відомі токсини, відомі хімічні ознаки та відомі взаємозв’язки між структурою і функцією. Автори використали рицин як концептуальний приклад. Системи виявлення можуть шукати впізнавані послідовності або структурні особливості, пов’язані з відомим токсином. Майбутня система розробки білків може зберегти шкідливу біологічну функцію, водночас змінивши значну частину навколишньої послідовності або структури. Отримана молекула може виглядати незнайомою для систем, створених для розпізнавання вже каталогізованих об’єктів. Відомий токсин можна внести до контрольного списку. Нова молекула може ще не мати назви.

Докторка Filippa Lentzos на межі науки та безпеки

Докторка Filippa Lentzos — викладачка з питань науки та міжнародної безпеки на кафедрі воєнних досліджень Лондонського королівського коледжу, яка також працює у Стокгольмському міжнародному інституті дослідження проблем миру та Центрі досліджень нерозповсюдження імені Джеймса Мартіна. Вона очолює Технічну консультативну групу Всесвітньої організації охорони здоров’я з відповідального використання наук про життя та досліджень подвійного призначення, а також є експерткою механізму Організації Об’єднаних Націй, що використовується для розслідування заяв про застосування хімічної або біологічної зброї. Її робота порушує питання, яке наукові установи часто відкладають: не лише чи можна провести це дослідження, а й як можна використати відповідну спроможність після того, як вона вийде з рук початкової команди. Програмне забезпечення копіюють. Наукові статті читають у всьому світі. Моделі адаптують. Комерційні послуги роблять синтез і випробування доступними людям, які не створювали базові інструменти. Учений може контролювати мету одного експерименту. Машина за секунди генерує безліч можливостей.

Що ризик ШІ означає для готовності цивільного населення

Проблема біобезпеки, пов’язана із ШІ, не вимагає від родин розуміти згортання білків або архітектуру машинного навчання. Потрібно усвідомити один простий факт: проміжок часу між науковою спроможністю та небезпечним застосуванням може скорочуватися, а кількість людей, які можуть отримати доступ до такої спроможності, — зростати. Це не означає, що атака неминуча. Це означає, що аргументи на користь готовності стають сильнішими з кожним поступовим зниженням технічного бар’єра. Родині, яка готується до появи попередження, не потрібно вгадувати, яка система ШІ, який патоген або яке місто буде задіяне, — їй потрібне обладнання, що підходить кожному члену родини, зберігається в доступному місці та супроводжується навчанням, яке дає змогу швидко ним скористатися.

Створення практичного набору засобів захисту дихання для родини

Дорослі: Israeli 4A1 Black Diamond Simplex — справжній ізраїльський повнолицьовий протигаз цивільної оборони з панорамним візором, трубкою для пиття та стандартним з’єднанням для фільтра 40 мм. Для користувачів із бородою: ізраїльський капюшон Sapphire PAPR.

Діти віком 2–8 років: дитячий капюшон MAMTAK / Quartz PAPR — капюшон із прозорою панеллю та примусовою подачею повітря для дітей молодшого віку, які не можуть надійно користуватися звичайною щільно прилеглою маскою.

Немовлята та малюки віком 0–2 роки: система захисту немовлят Multipro.

Діти віком 8–14 років: ізраїльський дитячий протигаз 10A1.

Фільтри: ізраїльські фільтри PA-12 і M80 Type 80 40 мм CBRN/NBC. Машина може за секунди генерувати безліч можливостей. Родині все одно потрібен час, щоб вирішити, що підходить дорослому, що працює для дитини, що може носити користувач із бородою та де зберігатимуться батареї й фільтри. Після сигналу тривоги цю роботу неможливо автоматизувати. Найбезпечніше завершити її тоді, коли програмне забезпечення все ще використовується для пошуку ліків.

Перегляньте ізраїльський сімейний комплект CBRN або повний асортимент на CBRNMASKS.COM.

Захистіть свою родину

4A1 для дорослих, Sapphire для користувачів із бородою, MAMTAK / Quartz для дітей віком 2–8 років, Multipro для немовлят. Герметичні фільтри 40 мм для кожної маски. Ізраїльський сімейний комплект CBRN для всього домогосподарства. CBRNMASKS.COM — обладнання ізраїльської цивільної оборони, яке постачається з 2009 року.

Основні джерела

Аналіз і висновки щодо готовності підготував David Magen — колишній офіцер із розслідування бойових дій, відділ доктрини та підготовки, управління операцій ЦАХАЛ; колишній штабний офіцер Національного управління з надзвичайних ситуацій, планування безперервності роботи органів місцевого самоврядування в регіоні Хайфи. Засновник CBRNMASKS.COM з 2009 року. Sean Ekins, Filippa Lentzos, Nature Machine Intelligence, Bulletin of the Atomic Scientists і ВООЗ не мають зв’язку з CBRNMASKS.COM та не підтримували компанію або її продукцію.

Back to blog