Интересно Злоумышленники активно экспериментируют с ИИ-инструментами в преступных целях.

[Sepultura_North]

509 обсуждений ChatGPT на теневых форумах за месяц. Что это - начало тревожного тренда?

26 января, 2024

Злоумышленники активно экспериментируют с ИИ-инструментами в преступных целях.

Специалисты Kaspersky Digital Footprint Intelligence выпустили отчет «Инновации в тени: как злоумышленники экспериментируют с ИИ» . В нем проанализированы сообщения в даркнете на тему использования злоумышленниками ChatGPT - это чат-бот, который работает на модели искусственного интеллекта GPT Generative Pre-trained Transformer, разработанной компанией OpenAI. Модель обучена на большом объёме текстовых данных и предназначена для генерации человекоподобных ответов на заданные вопросы или фразы.

ChatGPT всегда старается понять контекст вопроса и сгенерировать подходящий ответ. Чат-бот способен генерировать текст в различных стилях и тематиках, может использоваться в различных сферах и областях для облегчения рутинных или даже творческих задач, выполняемых человеком.

Несмотря на всю «крутость» платформы, ChatGPT может давать неточные или неправильные ответы. Также нейросеть может проявлять предвзятость или генерировать контент, который не соответствует этическим нормам. Поэтому ChatGPT необходимо использовать с осторожностью и критически оценивать любую получаемую информацию.
ChatGPT и других аналогичных решений на основе больших языковых моделей. Всего в 2023 году на теневых форумах и в специализированных Telegram-каналах было обнаружено 2890 таких постов. Пик пришёлся на апрель — в этом месяце эксперты зафиксировали 509 сообщений.

Обсуждения можно разделить на несколько направлений:

1. Джейлбрейки – специальные наборы команд, которые открывают дополнительные возможности чат-ботов, в том числе для неправомерной деятельности. За год выявлено 249 предложений о продаже джейлбрейков. Как отмечают в компании, джейлбрейки могут использоваться в том числе для легитимного улучшения работы сервисов на основе языковых моделей.
2. 
3. Использование чат-ботов для вредоносных программ – участники теневых форумов активно обменивались вариантами использования языковых моделей для усовершенствования зловредов и повышения эффективности кибератак в целом. Например, эксперты обнаружили сообщение, где рассказывалось о ПО для операторов вредоносных программ, которое использовало нейросети для обеспечения безопасности оператора и автоматического переключения используемых доменов прикрытия. В рамках другого обсуждения авторы постов предлагали ChatGPT для генерации полиморфного вредоносного кода, обнаруживать и анализировать который крайне сложно.
4. 
5. Инструменты с открытым исходным кодом на основе чат-ботов, в том числе для пентеста. Злоумышленники также проявляют к ним интерес. Например, в интернете в свободном доступе есть определённая утилита с открытым исходным кодом на базе генеративной модели, которая предназначена для обфускации кода. Обфускация позволяет избегать обнаружения системами мониторинга и защитными решениями. Такие утилиты могут использовать как пентестеры, так и злоумышленники. В даркнете специалисты «Лаборатории Касперского» обнаружили пост, в котором авторы делятся этой утилитой и рассказывают, как её можно использовать для вредоносных целей.
6. 
7. Альтернативные версии ChatGPT. На фоне популярности умных чат-ботов большой интерес вызвали и другие проекты: WormGPT, XXXGPT, FraudGPT. Это языковые модели, позиционирующиеся как альтернатива ChatGPT с дополнительным функционалом и снятыми ограничениями. Несмотря на то, что большая часть решений может быть использована правомерно, злоумышленники также могут обращаться к ним, например для написания вредоносного ПО. Однако повышенное внимание к подобным предложениям не всегда играет на руку их создателям. Так, WormGPT был закрыт в августе 2023 года из-за массовых опасений, что он может представлять угрозу. К тому же многие обнаруженные специалистами компании сайты и объявления, где предлагалось купить доступ к WormGPT, по сути, представляли собой скам. Интересно, что большое количество подобных предложений вынудили авторов проекта ещё до закрытия начать предупреждать о возможности обмана.

Еще одну опасность как для пользователей, так и для компаний несет продажа краденых аккаунтов от платной версии ChatGPT. На приведенном примере участник форума бесплатно распространяет аккаунты, предположительно полученные из лог-файлов вредоносных программ. Данные аккаунтов собираются с зараженных устройств пользователей.

Помимо взломанных аккаунтов распространена продажа автоматически созданных учетных записей с бесплатной версией модели. Злоумышленники регистрируются на платформе с помощью автоматических средств, используя поддельные или временные данные. Подобные аккаунты имеют лимит на количество запросов к API и продаются пакетами. Это позволяет экономить время и сразу перейти на новый аккаунт, как только предыдущий перестанет работать, – например, получив бан из-за вредоносной или подозрительной активности.

В заключение, эксперты Лаборатории Касперского подчеркивают, что, хотя многие из рассмотренных решений на данный момент не представляют серьезной угрозы, технологии развиваются стремительно. Существует реальный риск, что в скором времени языковые модели позволят осуществлять более сложные и опасные атаки.