Руководитель отдела безопасности OpenAI уходит в отставку, предупреждая, что культура ИИ-компании "нарушена"

Руководитель отдела безопасности OpenAI уволился из компании, предупредив, что ее культура была нарушена и что компании, занимающиеся ИИ, “были недостаточно осторожны” при разработке технологии.

Дэвид Робинсон, который руководил написанием отчетов о безопасности, сопровождавших выпуски продуктов разработчика ChatGPT, объяснил свою отставку в эссе, озаглавленном “Я ухожу из OpenAI, потому что его культура нарушена”.

Робинсон писал, что в передовых компаниях, занимающихся ИИ, требуется пересмотр культуры, и такие инциденты, как “рой” агентов OpenAI - программ ИИ, работающих автономно без контроля со стороны человека, – нападающих на ИИ–стартап Hugging Face, были “типичными для отрасли, учитывая скорость и гибкость, с которой работают люди”.

Дэвид Робинсон возглавлял отдел обеспечения прозрачности в сфере безопасности в OpenAI. Теперь он выступает против компании.

В статье для журнала The Atlantic Робинсон написал: “Я согласен с другими недавно ушедшими сотрудниками в том, что компании, разрабатывающие эту технологию, проявляют недостаточную осторожность. Но я считаю, что нам нужно смотреть глубже, чем на конкретные правила или новые законы. Нам нужно говорить о культуре”.

Говоря о темпах развития OpenAI, он написал: “По мере того, как компания переходит от одного запуска к другому, ей не удается достичь того уровня заботы, который, по моему мнению, необходим”.

Однако в последние недели OpenAI проявляет осторожность после инцидента со стартапом Hugging Face и сообщения о том, что компания уведомила более 100 организаций о деятельности агентов-нарушителей. На этой неделе компания объявила, что отказывается от выпуска модели искусственного интеллекта следующего поколения после того, как исследователи высказали опасения по поводу безопасности во время внутреннего тестирования. OpenAI также приостановила обучение своих самых продвинутых моделей.

Джеффри Ирвинг, который работал в OpenAI и был главным научным сотрудником Института безопасности искусственного интеллекта правительства Великобритании до прихода в исследовательскую компанию Resolution, также опубликовал предупреждение в отношении искусственного интеллекта в субботу.

В статье для Time он сказал: “Недавние предупреждения о потенциальной разрушительной силе ИИ преуменьшают серьезность ситуации. Я считаю, что существует примерно 50%-ная вероятность того, что мы все умрем из-за разработки систем искусственного интеллекта, которые будут умнее человека, и что наши действия в течение следующих двух-десяти лет будут определять исход”.

Эссе Робинсона также последовало за отставкой Джейкоба Коксона, исследователя из конкурирующей с OpenAI компании Anthropic, который в прошлом месяце уволился с разработчика чат-бота Claude. Он предупредил, что ИИ “может убить нас всех к концу десятилетия”, а затем антропологи предупредили, что вероятность того, что ИИ уничтожит человечество в течение следующего десятилетия, превышает 10%. Однако критики подобных предупреждений предупреждают, что они ненаучны, поскольку не могут быть проверены или фальсифицированы.

Робинсон писал, что в Кремниевой долине недостаточно осведомлены о том, “как обращаться с опасными технологиями” и “что значит заботиться о людях”. Предупредив, что OpenAI проявляет “безграничный оптимизм” в отношении решения проблем по мере их возникновения, он написал, что эта внутренняя культура означает, что сбои в системе безопасности будут только увеличиваться по мере того, как системы становятся более функциональными.

“Представьте себе агентов-изгоев, которые работают как команды хакеров (например, захватывают компьютерные системы больниц с целью получения выкупа), но им никогда не нужно спать”, - написал Робинсон.

Робинсон призвал к двум изменениям в области безопасности: компании, работающие с ИИ, должны полагаться на опыт в области безопасности в других областях, таких как ядерная промышленность и авиация, и разрабатывать “новую науку”, которая гарантирует, что в будущем мощные системы можно будет контролировать, когда они будут работать автономно.

“Учитывая сегодняшние риски, "frontier labs" должны работать подобно атомным электростанциям или загруженным аэропортам, с несколькими уровнями резервирования и тщательным, отнимающим много времени планированием, чтобы случайная и неизбежная человеческая ошибка не привела к катастрофе”, - написал он.

Представитель OpenAI заявил, что компания продолжает “укреплять наши методы обеспечения безопасности для устранения рисков, с которыми мы сталкиваемся сегодня”, одновременно работая над устранением рисков, которые могут возникнуть в результате будущих прорывов в области искусственного интеллекта.

“Мы следим за тем, чтобы наши модели не становились более способными, чем мы можем безопасно управлять и обеспечивать безопасность, и мы приостанавливаем обучение или придерживаем моделей, когда нам нужно сбавить обороты”, - сказал представитель компании.