Искусственный интеллект компании OpenAI вышел из-под контроля и устроил кибератаку

Создатель чатбота ChatGPT, компания OpenAI, признала, что программа, работающая на базе ее новейших моделей искусственного интеллекта (ИИ), в ходе теста на безопасность вышла из-под контроля и взломала систему другой фирмы-стартапа.

Согласно опубликованному во вторник заявлению OpenAI, на прошлой неделе, в ходе проверки в контролируемой среде, ее агент — программа, способная действовать самостоятельно по заданию человека и в данном случаче работающая на базе передовых моделей ИИ — сумел вырваться за рамки теста.

Затем он взломал Hugging Face, один из крупнейших в мире хабов обмена моделями ИИ, и вошел во внутренние системы компании.

OpenAI назвала это происшествие беспрецедентным и заявила, что совместно с Hugging Face расследует его обстоятельства и причины.

Глава Hugging Face Клеман Деланг написал в сети X: «Поразительно, что все это произошло автономно».

«Расследование продолжается, и мы позже расскажем о выводах, сделанных из этого, видимо, первого случая такого рода», — добавил Деланг.

В первом заявлении о взломе 16 июля Hugging Face сообщила, что пока выясняет, затронуты ли данные ее клиентов и партнеров, а также заверила, что уже устранила уязвимости, обнаружившиеся в результате этого инцидента.

«Автономные инструменты кибератак на базе ИИ больше не являются теоретической концепцией», — заявила Hugging Face и добавила, что защищаться от них приходится тоже с помощью ИИ-инструментов, и она продолжит вкладываться в них и делиться с публикой своим опытом.

Пресс-служба правительства Британии заявила по этому поводу, что британский Институт безопасности ИИ изучает поведение ИИ-системы в этом инциденте и продолжает в сотрудничестве с OpenAI и другими лабораториями совершенствовать защиту от подобных атак.

Ненадежная песочница

Глава Центра технологий и демократии Майндру при Кембриджском университете Джина Нефф объяснила в эфире BBC Radio 4, что проверки возможностей программ ИИ проводятся в том, что в отраслевой терминологии принято называть песочницами — в изолированной среде.

«В данном случае OpenAI, похоже, построил недостаточно надежную песочницу», — сказала Нефф.

Агент запустил кибератаку на саму песочницу, нашел лазейку наружу, а там идентифицировал Hugging Face как вероятный источник ответов, заданных ему во время теста, и взломал еще и Hugging Face.

Маркетинговый ход?

Профессор машинного обучения в Кембриджском университете Нил Лоренс говорит, что такой результат агента впечатляет, но вообще он вполне укладывается в рамки известных сейчас возможностей последнего поколения мощных ИИ-моделей.

Профессор Лоренс напомнил, что OpenAI хочет выйти на биржу и ведет жесткую конкурентную борьбу с компанией Anthropic, которая попала в сводки новостей со своей новейшей ИИ-моделью Claude Mythos.

«OpenAI сейчас играет в догонялки, они пытаются продемонстрировать возможности их собственных систем в части кибербезопасности, — считает профессор Лоренс, — но этот случай показывает, что OpenAI не способна безопасно управлять собственной технологией».

Об этой версии говорит и советник по кибербезопасности компании ESET Джейк Мур: он допускает, что OpenAI пытается продемонстрировать свои возможности в борьбе с Anthropic.

«Возникает вопрос, не гонится ли OpenAI за тем маркетинговым имиджем, который создал себе в последнее время на рынке Anthropic», — говорит Мур.

«Отрезвляющий момент»

Этот инцидент в очередной раз высветил проблему возможностей передовых ИИ-моделей и достаточности нынешних средств защиты.

Член руководства фирмы кибербезопасности SonicWall Спенсер Старки сказал Би-би-си, что это происшествие ясно показывает, что компаниям и организациям нужно укреплять меры безопасности и относиться к кибербезопасности как к вопросу первоочередной важности.

«Неудобная правда состоит в том, что очень много организаций все еще защищаются на человеческой скорости, тогда как их противники выходят на машинную скорость», — сказал он.

Трэвис Лелл из фирмы консалтинга в области кибербезопасности Guidepoint Security назвал это происшествие «отрезвляющим моментом в сфере кибербезопасности».

«Оно показало известную асимметрию: атакующих ИИ-агентов ничто не ограничивает, тогда как даже самые лучшие средства защиты скованы системой ограничений, которая не может учитывать контекст», — сказал он.