Интересно OpenAI признала: GPT-4 может самостоятельно взломать любой сайт

[Sepultura_North]

OpenAI признала: GPT-4 может самостоятельно взломать любой сайт​

19 февраля, 2024

GPT-4 лучше и дешевле пентестеров в поиске уязвимостей.

В новом исследовании ученых из Университета Иллинойса в Урбана-Шампейн (UIUC), было показано, что большие языковые модели (LLM) можно использовать для взлома веб-сайтов без участия человека.
Исследование демонстрирует, что LLM-агенты с помощью инструментов для доступа к API, автоматизированного веб-сёрфинга и планирования на основе обратной связи, способны самостоятельно обнаруживать и эксплуатировать уязвимости в веб-приложениях.
В рамках эксперимента были использованы 10 различных LLM, в том числе GPT-4 Generative Pre-trained Transformer - это чётвертая версия модели глубокого обучения, разработанная компанией OpenAI. Основное преимущество GPT-4 по сравнению с предыдущими версиями заключается в его способности к более глубокому пониманию контекста и генерации более качественных и связных ответов. GPT-4 может обрабатывать и анализировать более сложные запросы, а также продолжать начатые тексты с сохранением смысла и стиля.
GPT-4, GPT-3,5 LLaMA, или "Large Language Model Meta AI", это масштабная языковая модель, разработанная Meta AI. Она представляет собой продвинутый инструмент машинного обучения, способный обрабатывать и генерировать текст на основе ввода данных.

LLaMA предназначена для выполнения различных задач, связанных с обработкой естественного языка, включая перевод, суммаризацию, ответы на вопросы и многое другое.

Модель использует сложные алгоритмы, чтобы лучше понимать и интерпретировать человеческий язык, обеспечивая более точные и убедительные текстовые ответы.
LLaMA-2, а также ряд других открытых моделей. Тестирование проводилось в изолированной среде, чтобы предотвратить реальный ущерб, на целевых веб-сайтах, которые проверялись на наличие 15 различных уязвимостей, включая SQL-инъекции, межсайтовый скриптинг (Cross Site Scripting, XSS (Cross Site Scripting, межсайтовый скриптинг) – один из типов уязвимостей компьютерной системы, используя которую хакер может внедрить в генерируемую скриптами на сервере HTML-страницу произвольный код. Специфика хакерских атак, с использованием XSS, заключается в том, что вместо атаки, нацеленной на сервер, мошенники используют сервер в качестве средства атаки на клиента.

Обычно XSS-атаки направлены на хищение личных данных, таких как cookies, паролей и пр. Такая атака также может внедрять код скриптов и ссылок на web-страницы.

Ранее программисты не уделяли должного внимания XSS-атакам, так они считались неопасными. Однако на web-странице или в https-Cookie могут содержаться потенциально важные данные (к примеру, идентификатор сессии администратора). На популярный сайт при помощи XSS уязвимости можно осуществить DDoS-атаку.
XSS и подделку межсайтовых запросов (Сross Site Request Forgery,
CSRF (Сross Site Request Forgery, Подделка межсайтовых запросов) – атака на пользователей web-сайтов, в рамках проведения которой используются недостатки протокола https. При посещении мошеннического ресурса, от лица пользователя тайно отправляется запрос на другой сервер, который осуществляет определенную вредоносную деятельность (к примеру, перевод денег на счет мошенников).
Для успешного проведения атаки жертва должна быть авторизована на том сервере, на который отправляется запрос. Более того, запрос не должен требовать подтверждения со стороны пользователя, так как он может быть проигнорирован или подделан атакующим скриптом.
Среди применений CSRF выделяют эксплуатацию пассивных XSS, обнаруженных на другом сервере. Помимо этого, также возможно осуществлять отправку спама от лица жертвы и изменять настройки учетных записей на других сайтах (например, секретного вопроса для восстановления пароля).
CSRF также исследователи выявили, что GPT-4 от OpenAI - это компания, которая занимается исследованиями и разработкой в области искусственного интеллекта. Она была основана в 2015 году и создана с целью сделать искусственный интеллект более доступным и безопасным для людей. Компания разрабатывает и использует нейронные сети и другие методы искусственного интеллекта для решения различных задач, включая анализ данных, генерацию текста, голоса, изображений и т.д.
OpenAI показал успешное выполнение задачи в 73,3% случаев, что значительно превосходит результаты других моделей.
Одно из объяснений, приведенное в документе, заключается в том, что GPT-4 могла лучше менять свои действия в зависимости от ответа, полученного от целевого веб-сайта, чем модели с открытым исходным кодом

Схема использования автономных LLM-агентов для взлома веб-сайтов​

Исследование также включало анализ стоимости использования LLM-агентов для атак на веб-сайты и сравнение ее с расходами на найм пентестера. При общем показателе успеха в 42,7% средняя стоимость взлома составит $9,81 на веб-сайт, что значительно дешевле, чем услуги специалиста-человека ($80 за попытку).
Авторы работы также выразили обеспокоенность по поводу будущего использования LLM в качестве автономных агентов для взлома. По словам ученых, несмотря на то, что существующие уязвимости могут быть обнаружены с помощью автоматических сканеров, способность LLM к самостоятельному и масштабируемому взлому представляет собой новый уровень опасности.
Специалисты призвали к разработке мер безопасности и политик, способствующих безопасному исследованию возможностей LLM, а также к созданию условий, позволяющих исследователям безопасности продолжать свою работу без опасений получить наказание за выявление потенциально опасных использований моделей.
Представители OpenAI заявили изданию The Register о серьезном отношении к безопасности своих продуктов и намерении усиливать меры безопасности для предотвращения подобных злоупотреблений. Специалисты компании также выразили благодарность исследователям за публикацию результатов своей работы, подчеркнув важность сотрудничества для обеспечения безопасности и надежности технологий искусственного интеллекта.