Нейросети для обработки фото

Редактирование фото с помощью нейросети

Нейросети в фоторедактировании: Революция в мире обработки изображений

Бесплатно протестировать нейросеть для обработки фото: fcs.rossphere.ru

В наше время фото превратилось в то, без чего мы уже не представляем свою жизнь. С появлением нейронных сетей фоторедактирование переживает настоящую революцию, теперь можно делать то о чём раньше и подумать не могли, и это теперь доступно любому человеку, не требуется использования сложного программного обеспечения в котором даже профессионалы кропотливо тратили часы и дни на одно фото, теперь мы можем сделать без специальных навыков владения Photoshop за 10 минут то что профессионал делал бы многие часы. Предлагая уникальные возможности улучшения и трансформации изображений. В этой статье мы рассмотрим как это делается, какие инструменты можно применять с примерами, рассмотрим разные сценарии использования.

Что можно сделать:
Нейронные сети способны автоматически улучшать качество фотографий путем удаления шумов, увеличения резкости, коррекции цветов и тонов, но самоё крутое это потрясающий апскейлинг и дорисовка как самой картины так и элементов на ней, можно полностью изменить концепцию фото, достаточно написать нейронной сети что вы хотите видеть/изменить и она выдаст потрясающий результат не отличимый от реальной фото. Благодаря алгоритмам машинного обучения, они могут обнаруживать и исправлять дефекты, которые ранее требовали бы кропотливой ручной коррекции. Это значительно экономит время и обеспечивает высокое качество фото без лишних усилий.

Автоматизация процесса:
Использование нейросетей позволяет автоматизировать многие этапы редактирования фотографий. Благодаря технологии глубокого обучения, они способны анализировать изображения и применять оптимальные корректировки без участия человека. Это увеличивает производительность и позволяет сосредоточиться на творческом процессе, вместо того чтобы тратить время на технические детали.

Инновационные возможности:
Нейронные сети открывают новые горизонты в фоторедактировании, предлагая уникальные функции, которые ранее были недоступны. Например, с помощью генеративно-состязательных сетей можно создавать фотореалистичные изображения лиц людей, которых на самом деле не существует. Это приводит к возникновению новых творческих и коммерческих возможностей в сфере фотографии.

Использование нейронных сетей в фоторедактировании открывает новые перспективы для создания высококачественных и творческих изображений. Они позволяют улучшать качество фотографий, автоматизировать процесс редактирования и предлагают инновационные возможности, которые ранее казались невозможными. Внедрение этих технологий в фотографическую индустрию обещает изменить представление о том, что является возможным в области обработки изображений.

А теперь к сути, как изменить одежду на фото с помощью нейросети, как изменить фон на фото с помощью нейросети, как убрать дефекты на фото с помощью нейросети, как расширить/увеличить фото с помощью нейросети.

Начнём с интерфейса для редактирования в Fooocus:

Что бы попасть в меню работы с существующими изображениями с помощью СontrolNet и других возможностей нажмите на Input Image

Вы увидите 5 вкладок:

Upscale or Variation – Увеличить изображение без потери качества
Image Prompt – Изображение из которых можно сгенерировать подобные или из которых можно взять требуемые элементы, обстановку, цвета, позы, предметы и прочее.
Inpaint or Outpaint – Редактирование элементов в готовом изображении
Describe – Получить промт из изображения
Metadata – Получить данные (Metadata) записанные в файл

Более развёрнуто по каждому пункту:

Upscale or Variation – Увеличить изображение без потери качества

Disabled – нечего не делать
Vary (Subtle) – незначительно изменить изображение
Vary (Strong) – оставить концепцию но значительно поменять изображение
Upscale (1.5x) – Увеличить изображение с возможными незначительными изменениями в 1.5 раза
Upscale (2x) – Увеличить изображение с возможными незначительными изменениями в 2 раза
Upscale (Fast 2x) – Увеличить изображение с минимальными изменениями в 2 раза

Image Prompt – Изображение в качестве промта.

В данной вкладке у нас предлагается четыре окна в которые можно подгрузить изображения, в самой нижней части имеется чекбокс Advanced

Ставим галочку что даст доступ к расширенным настройкам, у каждого окна теперь есть дополнительные настройки:

Stop At – Имеет значение от 0 до 1. Регулирует на каком этапе нейросеть перестанет сверяться с исходным изображением, к примеру при условии что стоит 30 шагов при значении Stop At 0,5 нейросеть перестанет сверяться с данным изображением на 15-ом шаге.
Weight – может иметь значение от 0 до 2. Указывает на сколько сильное влияние (вес) будет иметь данное изображение, чем выше значение тем более значимо будет влияние.

ImagePrompt – Изображение будет служить основой для формирования нового, с него будет взяты цвета, композиция, предметы и прочее, нейросеть постарается нарисовать похожее изображение.
PyraCanny – Создаётся линейная графика из вашего изображения (пример того что будет видеть нейросеть на изображении ниже)
CPDS – Контраст обеспечивающий структуру обесцвечивания, получается объёмная карточка (пример того что будет видеть нейросеть на изображении ниже)
FaceSwap – Перерисовать/перенести лицо

Все эти элементы можно объединять/миксовать, для примера возьмём изображения парня и эйфелевую башню и не забываем если что то не так с результатом подкрутите Stop At и Weight

ImagePrompt – промт из картинки

Я использовал фото парня и Эйфелевой башни

При генерации получиться парень на фоне Эйфелевой башни:

И так тоже может получится =) поэтому не переживайте что не получается, нужно подкрутить настройки и попробовать ещё пару генераций

PyraCanny – сделать линейную графику из изображения для прорисовки

Результат с применением PyraCanny

CPDS – Контраст обеспечивающий структуру обесцвечивания

Результат с применением CPDS

PyraCanny и CPDS выглядит в результатах очень похоже, но они имеют разный подход, и в некоторых случаях нужно использовать первый в других второй, иногда комбинировать чтобы получить требуемый результат т.к. разные изображения имеют разные линии и глубины, предлагаю вам самостоятельно протестировать эти элементы, опытным путём вы поймёте в каких случаях нужно их использовать для переноса сцен.
И не забывайте что вы можете делать текстовые подсказки к генерируемым изображениям даже с промтом в качестве изображений, это позволяет подкорректировать и улучшить результат.

FaceSwap – Смена лица

Скажу честно, в текущей версии мне не нравиться как работает эта функция, человек похож но отдалённо, передаёт только некоторые черты лица, для переноса лица есть другие хорошие методы, пока что по результатам меня больше всего удовлетворило обучение небольшой сети (LoRa) которую можно подвязать во время генерации, но об этом в другой статье ; ) если вас заинтересует, можете написать нам, мы обучим для вас модель.

Работа FaceSwap:

Фото человека + добавлен промт a guy in close-up against the background of an explosion (парень крупным планом на фоне взрыва)

На выходи имеем следующий результат:

Inpaint or Outpaint – Редактирование фото нейросетью

Пожалуй одна из самых полезных функций, в общем вы можете сделать с любым фото всё что угодно, нужно только понять принцип.

Как поменять одежду
Как поменять фон
Как поменять предмет
Как добавить/сменить любой элемент на фото

Интерфейс:

Что бы попасть в раздел редактирования нажимаем 1 – Input Image далее появляется снизу следующие пункты где выбираем 2- Inpaint or Outpaint для выбора режима нужно нажать на пункт 3 в котором будет предложено три варианта

Inpaint or Outpaint (default) – ввод или вывод изображения (по умолчанию)
Improve Detail (face, hand, eyes, etc.) – улучшить детализацию (лицо, рука, глаза и т.д.
Modify Content (add objects, change background, etc.) – Модифицировать контент (добавлять объекты, менять фон и т.д.)

Inpaint or Outpaint (default) – Разберём пункт 4

Данный пункт позволяет расширять изображение в любое направление, для выбора направления используйте чекбоксы 3.1 можно выбрать лево, право, верх, низ. Как и везде тут допустимо и даже желательно писать промт что бы нейросеть понимала что вы хотите видеть. Вот пример:

Вот что получилось, изображение увеличилось и дорисовано с лева, права и снизу, затем можно также заново его перекинуть в редактор и увеличить ещё раз:

Improve Detail (face, hand, eyes, etc.) – Разберём пункт 5

Данный метод позволяет вносить незначительные изменения на закрашенную область.

1 – выбираем редактирование
2 – выбираем улучшить детализацию
3 – Вводим подсказку, жёлты я обвёл готовые подсказки которые предлагает Fooocus
4, 5 – Закрашиваем область которую требуется изменить нажимаем генерировать, в результате у нас получился более весёлый ковбой с правильной рукой:

Modify Content (add objects, change background, etc.) – Модифицировать контент (добавлять объекты, менять фон и т.д.)

Ну и самый интересный пункт, изменить фото при помощи нейросети:

Для примера возьмём двух девушек, и попробуем поменять одежду у одной:

1 – закрашиваем область которую хотим модифицировать.
2 – выбираем Modify Content
3 – Пишем промт, то что мы хотим видеть в нашем случаи a girl in an evening dress (девушка в вечернем платье)
4 – Это вам подсказка, для удобного выбора, закрашивания нужной области можно пользоваться горячими клавишами:
а. Шифт + колесо мыши – приблизить отдалисть полотно.
б. Контрол + колесо мыши – увеличить, уменьшить курсор
в. R – сбросить приближение полотна
г. S – Полотно на весь экран
д. F – Передвинуть полотно, нужно зажать F и подвигать мышкой.

На выходе мы получим следующие:

Давайте попробуем добавить котика на тротуар:

Закрашиваем требуемую область для изменения и пишем промт что хотим увидеть, в нашем случаи A cute cat is sitting on the sidewalk – (На тротуаре сидит симпатичная кошечка)

На выходе:

Вариаций с этим режимом бесконечное количество, заметьте что нейросеть даже подобрала правильную тень, не забывайте что можно ещё использовать кучу разных стилей, это всё делается за минуту, попробуйте это сделать в фотошопе =)

Лайфхаки:

Много пишут по поводу того что при редактировании фото иногда не корректно дорисовывает предметы, конечности и другое, без сохранения пропорций, проблема в том что при редактировании изображения приложение видит только ту часть изображения которая зарисовывается и не видит весь контекст. Для решения этой проблемы просто поставьте маленькие точки в углах к примеру как на фото