Интересно RealFill: ваш шанс заново открыть фотографию

[Sepultura_North]

​

RealFill: ваш шанс заново открыть фотографию​

28 апреля, 2024

Восстановление и улучшение старых фотографий теперь доступно каждому.

Google активно продвигает технологии генеративного искусственного интеллекта в течение последних 18 месяцев, и одной из наиболее заметных разработок стала функция Magic Editor . Теперь компания преставила новую значимую функцию для редактирования фотографий на базе ИИ — RealFill.
На прошлой неделе Google незаметно подала заявку на регистрацию товарного знака для технологии под названием RealFill. Заявка была подана в Европейское ведомство интеллектуальной собственности ( EUIPO ) и Патентное ведомство США ( USPTO ).
В кратком описании товарного знака говорится о "предоставлении нескачиваемого программного обеспечения с использованием искусственного интеллекта для ретуширования изображений; предоставлении онлайн нескачиваемого программного обеспечения для создания генеративных моделей".

Технология RealFill была впервые представлена в конце прошлого года в статье и на веб-сайте группы исследователей из Google и Корнельского университета. Статья под названием "Генерация на основе ссылок для аутентичного дополнения изображений" описывает метод, позволяющий более точно расширять и ретушировать существующие изображения с использованием до пяти эталонных изображений.
Эти эталонные изображения не обязательно должны совпадать с целевым изображением и могут быть сделаны с разных точек зрения, при различных условиях освещения, диафрагмах и стилях изображений.
Команда сначала настраивает персонализированную генеративную модель ИИ на эталонных и целевых изображениях. Этот процесс позволяет модели изучить освещение, стиль и содержание сцены на изображениях.
Результаты, как видно на примерах выше и ниже, впечатляют. На изображениях ниже также показано, как изображения RealFill сравниваются с другими решениями, такими как Stable Diffusion.

Тем не менее, команда отметила некоторые ограничения RealFill. Одним из недостатков является необходимость проведения "градиентной настройки" на входных изображениях, что замедляет процесс. Также может быть сложно воссоздать сцену на конечном изображении, если между эталонными изображениями и целевым изображением существует большая разница. Кроме того, было обнаружено, что текст может стать проблемой при использовании этой техники.
Появится ли эта функция в Pixel 9 или Google Photos? Запатентованные товарные знаки не гарантируют коммерческой реализации RealFill, однако есть основания полагать, что она может появиться в будущих моделях телефонов Pixel или в Google Photos, если планируется её коммерческий выпуск.
Вероятно, это будет облачная функция, а не опция фоторедактирования на устройстве, учитывая медленный процесс настройки.
Существующие решения для расширения и ретуширования фотографий далеки от совершенства, поэтому использование эталонных изображений может значительно улучшить результаты. Это также означает, что пользователи могут вернуться к старым снимкам в своей библиотеке Google Photos и создать лучшие изображения.
Так или иначе, эта функция, вероятно, вызовет еще больше вопросов о том, что такое фотография, подобно тому как это уже произошло с Magic Editor от Google.