Мысль о том, что искусственный интеллект (ИИ) может быть использован для злонамеренных действий – одна из главных причин, по которой многие не хотят внедрять новые технологии. Почти так же страшно, как если бы ваши смарт-устройства взломали. А что, если я скажу вам, что некоторые исследователи только что добились этого?
Исследователи кибербезопасности из нескольких институтов продемонстрировали серьезную уязвимость в популярной модели искусственного интеллекта Gemini от Google. Они запустили контролируемую атаку с косвенным внедрением подсказок – так называемое promptware – чтобы обманом заставить Gemini управлять устройствами умного дома, например, включать бойлер и открывать ставни. Это демонстрация того, как система ИИ вызывает физические действия в реальном мире с помощью цифрового захвата.
Как сработала атака
Группа исследователей из Тель-Авивского университета, Техниона и SafeBreach создала проект под названием «Приглашение – это все, что вам нужно». Они встраивали вредоносные инструкции в приглашения Google Calendar, и когда пользователи просили Gemini «подвести итоги моего календаря», ИИ-ассистент запускал запрограммированные действия, в том числе управление устройствами умного дома без спроса пользователей.
Проект, названный так в честь знаменитой статьи об искусственном интеллекте «Внимание – это все, что вам нужно», вызывал такие действия, как открытие умных жалюзи, включение бойлера, отправка спама и оскорбительных сообщений, утечка электронной почты, запуск Zoom-звонков и загрузка файлов.
Эти запрограммированные действия были внедрены с помощью техники косвенного внедрения подсказок. Это когда вредоносные инструкции скрываются в невинной на первый взгляд подсказке или объекте, в данном случае в приглашениях Google Calendar.
Как это влияет на вас
Стоит отметить, что, даже если воздействие было реальным, это было сделано в качестве контролируемого эксперимента, чтобы продемонстрировать уязвимость в Gemini; это не был реальный взлом. Это способ продемонстрировать Google, что такое может произойти, если злоумышленники решат провести подобную атаку.
В ответ Google обновила свою защиту и внедрила более надежные средства защиты для Gemini. К ним относятся фильтрация выходных данных, требование явного подтверждения пользователем конфиденциальных действий, а также обнаружение подозрительных подсказок с помощью искусственного интеллекта. Последнее потенциально проблематично, поскольку ИИ крайне несовершенен, но вы можете сделать кое-что, чтобы еще больше защитить свои устройства от кибератак.
Что вы можете сделать для защиты своих устройств
Хотя эта атака была совершена на Gemini и Google Home, следующие рекомендации являются хорошими способами защитить себя и свои устройства от плохих агентов.
- Ограничьте права доступа в приложении «умный дом». Не давайте Gemini, Siri или другим помощникам «умного дома» контроль над важными устройствами, если вам это не нужно. Например, я разрешаю Alexa доступ к моим камерам, но не позволяю голосовому помощнику управлять моими умными замками.
- Будьте внимательны к сервисам, которые вы подключаете к Gemini и другим голосовым помощникам. Чем больше устройств и приложений вы подключаете к своему AI-помощнику (например, Gmail, календарь и т. д.), тем больше потенциальных точек входа у злоумышленников.
- Следите за неожиданным поведением ваших устройств и ИИ-помощников и, если что-то покажется вам неправильным, отмените разрешения и сообщите об этом.
Как правило, следует всегда поддерживать устройства и приложения в актуальном состоянии с помощью последних обновлений прошивки. Это гарантирует, что вы получите последние исправления безопасности для защиты от атак.
Комментарии (0)