Интересно Оружие, наркотики и Микки Маусы в Газе: Copilot Designer «слетел с катушек» и генерирует всё подряд

[Sepultura_North]

Оружие, наркотики и Микки Маусы в Газе: Copilot Designer «слетел с катушек» и генерирует всё подряд​

7 марта, 2024

Инженер безопасности Microsoft обратился напрямую в FTC для урегулирования вопроса.

Действующий инженер Microsoft - это американская многопрофильная компания, занимающаяся разработкой программного обеспечения и производством компьютерной техники. Она была основана в 1975 году Биллом Гейтсом и Полом Алленом и на сегодняшний день является одной из самых крупных и известных IT-компаний в мире.

Среди продуктов Microsoft наиболее известными являются операционные системы Windows, пакеты офисных приложений Office, браузер Internet Explorer и поисковая система Bing. Кроме того, компания занимается разработкой программного обеспечения для серверов, баз данных, игровых консолей Xbox и многих других устройств.

Microsoft также предоставляет услуги облачных вычислений и хранения данных через свою платформу Azure, а также занимается разработкой искусственного интеллекта и других инновационных технологий. Компания имеет филиалы по всему миру и сотрудничает с многими крупными корпорациями и организациями.
Microsoft обратился в Федеральную торговую комиссию США (Федеральная торговая комиссия (Federal Trade Commission, FTC) – независимое агентство правительства США, которая была создана в 1941 году. Главной задачей комиссии является защита прав потребителей и устранение всех тех факторов, которые угрожают конкурентной деловой практике, к примеру, принудительных монополий.

Во главе Федеральной торговой комиссии находятся пять уполномоченных лиц, которые назначаются президентом и утверждаются Сенатом США.

FTC расследует жалобы, которые исходят от потребителей и представителей бизнес-индустрии. В частности, это касается ложной рекламы и других форм мошенничества. Если в результате расследования были обнаружены противоправные действия, то FTC может добиваться добровольного устранения нарушений со стороны компании, либо же подать административную жалобу и инициировать федеральный процесс.
FTC с предупреждением о потенциальной опасности, связанной с генератором изображений Copilot Designer.

Шейн Джонс, работающий в компании на протяжении уже шести лет, в своём письме указал на то, что инструмент способен генерировать вредоносные изображения, однако Microsoft отказывается принимать необходимые меры по его отключению, несмотря на многочисленные предупреждения.
В ходе проверки безопасности Copilot Designer Джонс обнаружил, что инструмент способен создавать изображения со сценами насилия, сексуализированными женскими образами, несовершеннолетними с оружием, а также пропагандирующие употребление алкоголя и наркотиков среди подростков. Более того, были сгенерированы изображения персонажей Disney в контексте конфликта в Газе.
Джонс с декабря пытался привлечь внимание к проблемам, связанным с моделью DALL-E - это глубокая нейронная сеть, разработанная компанией OpenAI. Она использует архитектуру трансформера для генерации изображений с помощью заданных текстовых описаний. DALL-E является развитием предыдущей модели GPT-3 и специализируется на создании уникальных иллюстраций на основе текстовых запросов.

Для обучения DALL-E использовалась большая база данных, содержащая миллионы изображений. Нейронная сеть была обучена связывать текстовые описания с соответствующими визуальными представлениями, что позволяет ей генерировать новые изображения, соответствующие заданным текстовым описаниям. С конца 2023 года генерация DALL-E доступна прямо из другого популярного продукта OpenAI — ChatGPT.
DALL-E 3, используемой в Copilot Designer. Он долго не выносил вопрос из компании, пытаясь решить его тихо, а затем обратился напрямую в OpenAI, ответственную за разработку DALL-E 3, но и это не привело к результатам. Позже Джонс опубликовал открытое письмо на LinkedIn, чтобы привлечь внимание общественности, однако юридическая служба Microsoft потребовала его удалить.

В своём обращении к FTC инженер призвал комиссию приостановить использование Copilot Designer до внедрения дополнительных механизмов безопасности. Ведь несмотря на его прямые призывы к Microsoft, компания продолжает предлагать продукт широкой аудитории.
В ответ на опасения, высказанные сотрудником, представитель Microsoft Фрэнк Шоу заявил, что компания принимает меры для решения любых проблем, соответствующих политике безопасности Microsoft. Утверждается, что были организованы встречи с руководством продукта и Офисом ответственного ИИ для рассмотрения данного вопроса.
Кроме того, Джонс обратился к группе сенаторов США после того, как Copilot Designer сгенерировал непристойные изображения Тейлор Свифт, которые быстро распространились в сети X. Генеральный директор Microsoft Сатья Наделла назвал случившееся «тревожным и ужасным», пообещав усилить меры безопасности.
Напомним, что в прошлом месяце компания Google столкнулась с похожей проблемой и временно отключила собственный генератор изображений на основе ИИ после обнаружения некорректных исторических иллюстраций.
Интересно, не лишится ли Шейн Джонс работы за свою чрезмерно активную гражданскую позицию и желание защитить пользователей, ведь поднятым шумом он мог лишь навредить репутации Microsoft, а также отпугнуть потенциальных работодателей, если кто-то хотел переманить инженера на свою сторону.