Интересно ИИ как фабрика лжи: новый вызов для аналитиков дезинформации

[Sepultura_North]

​

ИИ как фабрика лжи: новый вызов для аналитиков дезинформации​

31 января, 2024

Исследование показывает, как LLM-модели создают дезинформацию, которую сложно распознать.

Исследователи из Иллинойского технологического института выявили, что дезинформация, генерируемая большими языковыми моделями (Large Language Model, Большая языковая модель Large Language Model, LLM - это глубоко обученная нейронная сеть, используемая для обработки естественного языка. LLM обучается на огромных корпусах текстов и пытается предсказывать следующий токен слово, знак препинания или другой элемент текста на основе предыдущих токенов. LLM может использоваться для многих задач обработки текста, таких как генерация текста, перевод, перефразирование, классификация и т.д.
LLM представляет собой более серьёзную угрозу по сравнению с дезинформацией, созданной человеком. Исследование ученых будет представлено на предстоящей международной конференции International Conference on Learning Representations.

Проблема обусловлена тем, что LLM-модели активно насыщают интернет сомнительным контентом. Например, аналитическая компания NewsGuard обнаружила 676 сайтов, генерирующих новости с минимальным участием человека, а также отслеживает ложные нарративы, созданные с помощью ИИ.
Дезинформация в исследовании возникает из-за того, что ChatGPT - это чат-бот, который работает на модели искусственного интеллекта GPT Generative Pre-trained Transformer, разработанной компанией OpenAI. Модель обучена на большом объёме текстовых данных и предназначена для генерации человекоподобных ответов на заданные вопросы или фразы.

ChatGPT всегда старается понять контекст вопроса и сгенерировать подходящий ответ. Чат-бот способен генерировать текст в различных стилях и тематиках, может использоваться в различных сферах и областях для облегчения рутинных или даже творческих задач, выполняемых человеком.

Несмотря на всю «крутость» платформы, ChatGPT может давать неточные или неправильные ответы. Также нейросеть может проявлять предвзятость или генерировать контент, который не соответствует этическим нормам. Поэтому ChatGPT необходимо использовать с осторожностью и критически оценивать любую получаемую информацию.
ChatGPT и другие LLM с открытым исходным кодом, включая LLaMA, или "Large Language Model Meta AI", это масштабная языковая модель, разработанная Meta AI. Она представляет собой продвинутый инструмент машинного обучения, способный обрабатывать и генерировать текст на основе ввода данных.

LLaMA предназначена для выполнения различных задач, связанных с обработкой естественного языка, включая перевод, суммаризацию, ответы на вопросы и многое другое.

Модель использует сложные алгоритмы, чтобы лучше понимать и интерпретировать человеческий язык, обеспечивая более точные и убедительные текстовые ответы.
Llama и Vicuna, создают контент на основе созданных человеком наборов дезинформационных данных, таких как Politifact, Gossipcop и CoAID. Затем 8 детекторов LLM оценили образцы, созданные человеком и машиной. Образцы дезинформации от LLM и человека имели одинаковые семантические детали, но различались стилем и формулировками из-за разных авторов и подсказок для генерации контента. Исследователи подчеркнули, что стиль дезинформации ИИ затрудняет её обнаружение по сравнению с человеческими текстами.

Авторы работы выделяют 4 стратегии создания дезинформации LLM: перефразирование информации, переписывание текста, открытая генерация и манипуляция информацией. Специалисты также отмечают, что LLM могут быть проинструктированы написать произвольную дезинформацию без справочного источника и могут создать фактически неверный материал в результате внутренней ошибки, которую в отрасли называют галлюцинацией ИИ.
В заключение исследователи призывают к совместным усилиям различных сторон, включая научное сообщество, правительства, веб-сервисы и общественность, для борьбы с распространением дезинформации, генерируемой LLM. Ведь такая информация представляет серьёзную угрозу для безопасности в интернете и общественного доверия, особенно учитывая лёгкость, с которой злоумышленники могут использовать LLM для массового создания обманчивого контента.

​