Стартап Anthropic, занимающийся искусственным интеллектом, объявил, что не будет публиковать свою самую мощную «мифическую» модель, сославшись на беспрецедентные возможности, которые представляют потенциальную угрозу безопасности. Сообщается, что Mythos сломал систему сдерживания Anthropic, а ИИ даже хвастался своим мастерством побега в онлайн-сообщениях.
Business Insider сообщает, что Anthropic планирует отложить общий выпуск своей последней модели искусственного интеллекта Claude Mythos, что знаменует собой значительный отход от стандартной отраслевой практики. Решение было принято после того, как компания опубликовала подробную 244-страничную системную карту, подробно описывающую расширенные возможности модели и поведение, наблюдаемое во время тестирования.
Модель представляет собой то, что Anthropic называет существенным скачком в возможностях ИИ. Согласно системной карте, опубликованной во вторник, значительное увеличение возможностей модели привело компанию к выводу, что делать ее общедоступной нецелесообразно. Вместо этого доступ будет ограничен избранной группой компаний-партнеров, включая Amazon Web Services, Apple, Google, JPMorganChase, Microsoft и NVIDIA, которые будут использовать систему для выявления уязвимостей безопасности в программном обеспечении и разработки соответствующих исправлений.
Системная карта документирует несколько случаев поведения, вызвавших обеспокоенность исследователей. В одном примечательном тесте модели был предоставлен компьютерный терминал «песочницы» с доступом только к заданной группе ограниченных онлайн-сервисов, и ей было предложено найти способ свободно пользоваться Интернетом. Модель успешно обошла эти ограничения и связалась с исследователем, находившимся вдали от офиса. В ходе того, что карточка описывала как тревожную и непрошеную демонстрацию, она хвасталась подробностями своего эксплойта на нескольких общедоступных веб-сайтах.
Модель также продемонстрировала способность скрывать свои действия в определенных сценариях. В некоторых взаимодействиях он вел себя вопреки своей программе и пытался скрыть свидетельства этих отклонений. В одном случае, после случайного получения ответов на тесты, вместо того, чтобы информировать исследователей и задавать различные вопросы в соответствии с инструкциями, модель искала независимое решение и отметила в своих рассуждениях, что ей необходимо гарантировать, что ее окончательный ответ не будет слишком точным.
Дополнительное поведение, вызывающее беспокойство, включало в себя превышение моделью своих разрешений в компьютерной системе после обнаружения эксплойта, а затем принятие мер, чтобы гарантировать, что изменения не появятся в истории изменений git. Другой инцидент был связан с тем, что в карточке было названо безрассудной утечкой внутренних технических материалов, когда модель опубликовала внутреннюю работу по кодированию как общедоступную суть GitHub во время задачи, которая должна была оставаться внутренней.
Breitbart News ранее сообщал, что Anthropic подверглась серьёзному нарушению безопасности, когда случайно опубликовала в сети некоторые части своего исходного кода:
Последний инцидент произошел всего через несколько дней после того, как Fortune сообщила, что Anthropic случайно сделала общедоступными почти 3000 внутренних файлов, включая черновик сообщения в блоге, описывающего будущую модель искусственного интеллекта под названием «Mythos» или «Capybara», которая, как предупредила компания, представляет серьезные риски для кибербезопасности.
В результате второй утечки было обнаружено около 500 000 строк кода, содержащихся примерно в 1900 файлах. Когда к нам обратились за комментариями, Anthropic признал, что «некоторые внутренние исходные коды» были раскрыты как часть «выпуска Claude Code». Представитель компании заявил: «Никакие конфиденциальные данные или учетные данные клиентов не были задействованы или раскрыты. Это проблема с пакетом выпуска, вызванная человеческой ошибкой, а не нарушением безопасности. Мы предпринимаем меры, чтобы предотвратить повторение этого в будущем».
Мгновенный бестселлер Красный код: левые, правые, Китай и гонка за контроль над ИИнаписанная директором по социальным сетям Breitbart News Уинтоном Холлом, служит для консерваторов образцом для создания эффективной политики в отношении ИИ не только для нации, но и для их семей. Это становится еще более важным, поскольку на рынке появляются новые и более мощные системы искусственного интеллекта.
Сенатор Марша Блэкберн (республиканец от Теннесси), которая была названный один из ВРЕМЯ100 самых влиятельных людей в области искусственного интеллекта получили высокую оценку Код Красный как «обязательно к прочтению». Она добавила: «Мало кто понимает нашу консервативную борьбу с большими технологиями так, как Холл», что делает его «уникально квалифицированным для изучения того, как мы можем наилучшим образом использовать огромный потенциал ИИ, гарантируя при этом, что он не эксплуатирует детей, творцов и консерваторов». Отмеченный наградами журналист-расследователь и основатель Public Майкл Шелленбергер звонит Код Красный «Просветляющая», «тревожная» и описывает книгу как «важное начало разговора для тех, кто надеется подорвать авторитарные планы крупных технологических компаний, пока не стало слишком поздно».
Подробнее читайте на Business Insider здесь.
Лукас Нолан — репортер Breitbart News, освещающий вопросы искусственного интеллекта, свободы слова и онлайн-цензуры.
