Интересно Уязвимость в GPT-4: редкие языки заставляют ChatGPT давать советы по воровству и терроризму

[Sepultura_North]

​

Уязвимость в GPT-4: редкие языки заставляют ChatGPT давать советы по воровству и терроризму​

11:09 / 1 февраля, 2024

Перевод на малоизученные языки позволяет обходить ограничения безопасности OpenAI.

В недавнем исследовании ученых из Университета Брауна в США было выявлено, что ограничения безопасности, предотвращающие выдачу вредоносного текста нейросетью GPT-4 Generative Pre-trained Transformer - это чётвертая версия модели глубокого обучения, разработанная компанией OpenAI. Основное преимущество GPT-4 по сравнению с предыдущими версиями заключается в его способности к более глубокому пониманию контекста и генерации более качественных и связных ответов. GPT-4 может обрабатывать и анализировать более сложные запросы, а также продолжать начатые тексты с сохранением смысла и стиля.
GPT-4 от OpenAI - это компания, которая занимается исследованиями и разработкой в области искусственного интеллекта. Она была основана в 2015 году и создана с целью сделать искусственный интеллект более доступным и безопасным для людей. Компания разрабатывает и использует нейронные сети и другие методы искусственного интеллекта для решения различных задач, включая анализ данных, генерацию текста, голоса, изображений и т.д.
OpenAI, можно легко обойти с помощью перевода запросов на редко используемые языки, такие как зулу, шотландский гэльский или хмонг.

Исследователи провели тест, переведя 520 потенциально вредоносных запросов с английского на другие языки и обратно, и обнаружили, что с помощью языков, таких как зулу, шотландский гэльский, хмонг и гуарани, удается обойти ограничения безопасности примерно в 79% случаев. В то время как те же запросы на английском языке блокировались в 99% случаев. Особенно эффективным оказался обход ограничений для запросов, связанных с терроризмом, финансовыми преступлениями и распространением дезинформации.
Однако такой подход не всегда оказывается успешным – GPT-4 может генерировать бессмысленные ответы, что может быть связано как с недостатками модели, так и с ошибками перевода.

Ученые перевели входные данные с английского на язык зулу (zu), и тогда ChatGPT рассказал, как незаметно воровать в магазине​

Эксперименты показывают, что разработчики ИИ должны учитывать непопулярные языки с ограниченными ресурсами при оценке безопасности своих моделей. Дефицит данных для обучения на таких языках ранее приводил к технологическим диспропорциям среди их носителей. Однако теперь такая тенденция также создает риски для всех пользователей больших языковых моделей (Large Language Model, Большая языковая модель Large Language Model, LLM- это глубоко обученная нейронная сеть, используемая для обработки естественного языка. LLM обучается на огромных корпусах текстов и пытается предсказывать следующий токен (слово, знак препинания или другой элемент текста) на основе предыдущих токенов. LLM может использоваться для многих задач обработки текста, таких как генерация текста, перевод, перефразирование, классификация и т.д.
LLM, поскольку общедоступные API машинного перевода позволяют обходить меры безопасности LLM.

OpenAI признали значимость исследования и заявили о намерении учесть его результаты. Это подчеркивает необходимость поиска комплексных решений для обеспечения безопасности ИИ, включая улучшение обучения моделей на языках с ограниченными ресурсами и разработку более эффективных механизмов фильтрации.

​