Делимся опытом: как мы увеличиваем изображения в нейросети

В последние годы развитие технологий в области искусственного интеллекта идет невероятными скачками. Стремительно растет доля использования нейросетей в области цифрового искусства. Теперь обученные машины могут не только увеличивать разрешение изображений, но и восстанавливать потерянные детали. А значит, для дизайнеров, фотографов и художников открываются новые горизонты профессиональной деятельности. Сегодня мы расскажем о своем опыте работы с увеличением изображений при помощи нейросетей и о том, как работают нейронки для картинок.

Как мы начали использовать нейронки для фото

На картинке с бостон-терьером вы видите две части изображения, одна из которых представлена в оригинальном разрешении, вторая — четырехкратно увеличена. На первый взгляд, картинка не изменилась, зато размер увеличился в 4 раза. Однако разница все же есть. Приглядитесь, детали были потеряны. О проблемах нейронок для увеличения изображений мы и поговорим в этой статье.

У нас на сайте есть опция: каждый желающий может загрузить свое фото на печать. Довольно часто мы получаем заказы печати личных изображений, качество которых оставляет желать лучшего. Чтобы заказать репродукцию понравившейся картины, люди иногда просто делают скриншот произведения искусства на своем мобильном телефоне и загружают его на наш сайт, предполагая, что его можно распечатать на полстены (например, в формате А1). Разумеется, нет.

То же самое происходит, когда люди просят напечатать свои изначально мелкие фотографии в большом формате. Качество таких изображений будет очень плохим.

Регулярно сталкиваясь с подобными заказами, мы начали использовать нейросети для увеличения изображений. Сразу отметим, что нейронки для создания изображений и для их увеличения — это разные программные воплощения. Они могут быть созданы одной компанией, но для обучения этих нейронных сетей используется разная база.

Расскажем, как работают нейросети для увеличения изображений. Любая нейронка — это мощный инструмент искусственного интеллекта, способный к самообучению, что дает значительное преимущество перед обычной программой. Любое программное обеспечение работает по заданным алгоритмам, нейронная сеть пишет их сама. На огромном объеме изображений она учится выделять набор признаков, по которым потом сможет достроить картинку до нужного размера. Нейронные сети работают с помощью искусственных нейронов, имитируя человеческий мозг. И даже связь между нейронами осуществляется, как и у человека, через синапсы.

Как именно происходит увеличение? Допустим, нам прислали фотографию формата А3 и попросили сделать из нее А1. Надо сказать, что нейросети мы начали изучать с момента появления их на рынке, применяя этот инструмент в нашей работе. Первой нейросетью по увеличению изображений была Waifu2x. У нее было 2 режима: работа с аниме изображениями и работа с фотографиями. В 2023 году это был внушительный результат. Но сейчас притязания пользователей возросли, и в работе с нейросетями хотелось бы добиваться более качественного увеличения. Когда мы загружаем фото в нейросеть, она «грамотно» разжимает пиксели, например, в два раза. То есть, по факту — увеличивает, но картинка остается мыльноватой. Конечно, она не такая мыльная, как если бы ее увеличили через Photoshop, нейросеть дорисовывает детали, но все же — справляется довольно плохо.

Почему же так происходит? Нейронки для изображений специально создавались для работы с картинкой, так почему идеально увеличивать все-таки не получается? Вероятно, причина в том, что изначально все нейронные сети по увеличению разрабатывались программистами для работы с аниме. И поэтому база нейронок по увеличению фото в основном состояла из хентайных картинок. На этих картинках нейронные сети и научились увеличивать изображения.

Здесь нужно понимать процесс обучения нейросети. Ни один искусственный интеллект не обладает полезными функциями и способностями, пока его этому не научат люди. Нейронки для картинок обучались так. Искусственному интеллекту демонстрировалась картинка в хорошем качестве, а затем ее сжимали и показывали в плохом. Затем давали задание: попробуй достроить картинку максимально подходящим образом. И, чем больше люди соберут базу из картинок, чем больше примеров покажут нейросети, тем лучше она будет справляться. Так вот, база у нейронок изначально была анимешная, и на ней они учились работать. А потому натренированные машины идеально увеличивают аниме-картинки. Какого бы плохого качества изображение аниме-персонажа мы ни загрузили, искусственный интеллект увеличивает до нужного размера, и мы получаем картинку, в которой нет даже намека на какие-то трансформации и преобразования.

Что представляет собой аниме-арт? Это довольно упрощенная форма искусства. В аниме-изображениях используются простые формы, редко применяется градиент, присутствует малое количество теней. С преобразованием подобных картинок нейросети справляются в один клик. Собственно, увеличение любого арт-изображения — легкая задача для нейронных сетей. За одним исключением: изображения, созданные нейросетью, также плохо увеличиваются. Происходит это потому, что нейронки рисуют изображения, не слишком качественные в деталях, а при увеличении это не слишком хорошее качество становится еще заметнее.

Когда нейросеть меняет размер изображения, вокруг линий появляются какие-то непонятные ореолы. Вероятно, они есть в исходной картинке, но в маленьком размере их не видно. А когда нейронка увеличивает исходник, она разжимает пиксели и пытается дорисовать детали, но видит дополнительные артефакты, и эти артефакты тоже пытается обрисовать.

Что касается произведений живописи, бывает, что нейросети справляются с ними, но по большей части также делают их некачественно.

Что мы делаем, когда нам приносят свои фотографии

До начала работы с фотографиями, которые приносят сами клиенты, наш дизайнер оценивает их качество.

• Вариант первый. Качество удовлетворительное, мы берем фотографию в работу. Результат будет примерно таким:


На этом примере видно, как нейросети работают с текстурой, ворсинки шерсти получаются сильно сглаженными.

• Вариант второй. Качество неудовлетворительное, но клиент настаивает на печати. У нас есть один лайфхак, который может помочь улучшению исходного изображения. Иногда картинки с заметными артефактами можно уменьшить, чтобы они пропали. И потом это уменьшенное фото мы загружаем в нейросеть. В некоторых случаях результат получается вполне сносный. Далее дизайнер обрабатывает фотографию фильтрами и цветокоррекцией для достижения удовлетворительного качества печати.
• Вариант третий. Качество очень плохое. Мы отговариваем клиента, объясняя, что результат его не порадует. А положительные эмоции — это то, ради чего мы работаем.

Какие бывают нейросети для изображений

Для улучшения качества мы используем следующие виды нейросетей:

• Real-ESRGAN — для арт-изображений подходит идеально;
• Waifu2x — используем для 3D-изображений, обычных фотографий;
• https://airbrush.com/ru/image-enhancer — бесплатная нейронка, мы доверяем этому сервису и тоже иногда используем его в работе.

С каждым годом становится все больше вариантов нейросетей, каждая со своей базой обучения, со своим качеством детализации, со своими нюансами в работе. Некоторые нейросети (например, https://bigjpg.com) пытаются дорисовать текстуру там, где ее нет. Получается довольно пугающе, когда ты загружаешь фото в плохом качестве, на котором она тебе дорисовывает лицо, некрасивое и жутковатое. Все это напоминает эффект «зловещей долины».

Интересный факт: каждый производитель мобильного телефона вставляет нейросеть во все модули камеры, в частности на функцию Zoom, чтобы мы могли увеличивать изображение. Таким образом, нейросеть есть у каждого из нас в кармане. Последние модели самсунгов имеют мощный Zoom. Но, когда мы смотрим фотографии на максимальном «зуме», можно заметить, как нейросеть пытается дорисовать резкость, обрабатывая реалистичную фотографию таким образом, что она превращается в полуарт.

Подводя итог, заметим, что на данный момент нейросети хорошо справляются с минимализмом и артом, но не так хорошо справляются с фотографией. Да, мы пытаемся увеличить фото с помощью нейросетей, но в целом все это выглядит некрасиво. Хотя вполне вероятно, что в ближайшие годы ситуация радикально изменится.