Ошибка в интерфейсе Gemini позволяла запускать вредоносный код

Сервис кибербезопасности Tracebit обнаружил критическую уязвимость в Google Gemini CLI. Она позволяет незаметно выполнять вредоносные команды, если пользователь просматривает подозрительный код с помощью нейросети.



Google Gemini CLI — это инструмент командной строки (Command Line Interface), который позволяет разработчикам взаимодействовать с ИИ-моделью Gemini от Google напрямую из терминала. Он позволяет:




анализировать, интерпретировать и генерировать код с помощью ИИ;



принимать текстовые команды от пользователя и отправлять их в модель Gemini для получения ответов;



обозревать чужой код, генерировать функции, исправлять ошибки и выполнять другую инженерную работу — прямо в терминале.




Сотрудник Tracebit Сэм Кокс рассказал, что «из-за токсичного сочетания некорректной валидации, внедрения команд через промпт и вводящего в заблуждение интерфейса, просмотр кода стабильно приводит к тихому выполнению вредоносных команд».



Спрятав «инъекцию» промпта в файл README.md, который также содержал полный текст лицензии GNU Public Licence и прилагался к безопасному скрипту на Python, эксперт смог заставить Gemini передать учетные данные с помощью команд env и curl на удаленный сервер, ожидающий подключения.



Источник: Tracebit.



Изначально Google присвоил обнаруженной Коксом уязвимости приоритет два и четвертый уровень серьезности в рамках программы Bug Hunters после получения отчета 27 июня.



Около трех недель спустя корпорация переклассифицировала уязвимость как самую серьезную и требующую срочного и немедленного внимания, поскольку она может привести к значительной утечке данных, несанкционированному доступу или выполнению произвольного кода.



Пользователям рекомендуется обновиться до версии Gemini 0.1.14, в которой добавлены механизмы защиты от выполнения команд оболочки и реализованы меры против описанной атаки.



Включение «песочницы» — изолированной среды, которая защищает систему пользователя — также предотвращает атаку, обнаруженную Коксом.



Однако после установки Gemini CLI по умолчанию запускается без песочницы.



Напомним, в июне ИИ-инструмент Xbow возглавил таблицу белых хакеров, которые обнаружили и сообщили о наибольшем количестве уязвимостей в ПО крупных компаний.