Недавнее представление Microsoft Copilot Actions, экспериментального агента искусственного интеллекта, интегрированного в Windows, вызвало критику со стороны экспертов по безопасности, которые ставят под сомнение безопасность внедрения новых функций до полного понимания и сдерживания их потенциальных рисков.
Ars Technica сообщает, что на этой неделе Microsoft представила Copilot Actions — набор «экспериментальных агентских функций», которые позволяют ИИ выполнять различные задачи, такие как организация файлов, планирование встреч и отправка электронных писем. Хотя компания рекламировала ИИ-агента как активного цифрового сотрудника, повышающего эффективность и производительность, она также предупредила о последствиях для безопасности включения этой функции.
Предупреждение Microsoft гласит:
По мере появления этих возможностей модели ИИ по-прежнему сталкиваются с функциональными ограничениями с точки зрения их поведения и иногда могут галлюцинировать и выдавать неожиданные результаты. Кроме того, агентные приложения ИИ создают новые риски безопасности, такие как внедрение перекрестных запросов (XPIA), когда вредоносный контент, встроенный в элементы или документы пользовательского интерфейса, может переопределять инструкции агента, что приводит к непреднамеренным действиям, таким как утечка данных или установка вредоносного ПО.
Проблемы безопасности возникают из-за известных дефектов, присущих большинству больших языковых моделей (LLM), включая Copilot. Исследователи неоднократно демонстрировали, что LLM могут давать фактически ошибочные и нелогичные ответы — поведение, известное как «галлюцинации». Это означает, что пользователи не могут полностью доверять выводам ИИ-помощников, таких как Copilot, Gemini или Claude, и должны самостоятельно проверять информацию.
Еще одной серьезной проблемой, связанной с LLM, является их уязвимость к немедленным вливаниям. Хакеры могут воспользоваться этим недостатком, размещая вредоносные инструкции на веб-сайтах, в резюме и электронных письмах, которым ИИ охотно следует, не различая действительные пользовательские запросы и ненадежный сторонний контент. Эти уязвимости могут привести к краже данных, выполнению вредоносного кода и краже криптовалюты.
Критики поставили под сомнение эффективность предупреждений Microsoft, проводя параллели с давними советами компании не использовать макросы в приложениях Office из-за угроз безопасности. Несмотря на эти предупреждения, макросы остаются популярным вектором атак хакеров, нацеленных на компьютеры с Windows.
Высказывались также опасения по поводу того, что даже опытным пользователям сложно обнаружить атаки, нацеленные на агенты ИИ. Некоторые эксперты утверждают, что единственный способ предотвратить подобные атаки — это вообще избегать посещения Интернета.
Хотя Microsoft подчеркивает, что Copilot Actions — это экспериментальная функция, которая по умолчанию отключена, критики отмечают, что предыдущие экспериментальные функции, такие как Copilot, в конечном итоге стали возможностями по умолчанию для всех пользователей. Это поднимает вопросы о доступности этих потенциально опасных функций для более широкой базы пользователей с течением времени.
Microsoft обозначила цели по обеспечению безопасности агентских функций в Windows, включая невозможность отказа от прав, сохранение конфиденциальности и требование одобрения пользователя для доступа к данным и действий. Однако эффективность этих мер во многом зависит от того, внимательно ли пользователи читают и понимают предупреждающие подсказки, что не всегда может произойти на практике.
Подробнее читайте на сайте Ars Technica здесь.
Лукас Нолан — репортер Breitbart News, освещающий вопросы свободы слова и онлайн-цензуры.
