Компания SplxAI, специализирующаяся на кибербезопасности ИИ, продемонстрировала уязвимость ChatGPT: модель в режиме агента может самостоятельно проходить тесты CAPTCHA, предназначенные для блокировки ботов. Исследователи использовали технику «инъекции подсказок», обманув чат-бот и заставив его «поверять», что тест — поддельный.
В эксперименте ChatGPT в фоновом режиме выполнил задание, имитируя действия человека, включая CAPTCHA на основе изображений, хотя такие задачи запрещены правилами сервиса. Метод многоэтапного внедрения команд эксплуатирует слабости больших языковых моделей (LLM), что ранее применялось хакерами для обхода ограничений.
По мнению SplxAI, уязвимость позволяет злоумышленникам автоматизировать спам и фейковые публикации в комментариях, форумах и соцсетях, где CAPTCHA — основная защита от ботов. Риски возрастают из-за массового распространения ChatGPT.