Нейросеть оживила фигуры людей на фотографиях
Печать: Шрифт: Абв Абв Абв
danilov 13 Декабря 2018 в 15:46:22
Американские разработчики создали алгоритм, способный оживлять фигуры людей на двумерных изображениях. Он создает для нарисованного человека трехмерную модель, а затем воспроизводит анимацию с выбегающей из картины моделью. Посвященная разработке статья опубликована на arXiv.org.



Смотря на фотографию, человек обычно может представить, как двигались объекты в кадре после того, как он был сделан. Для алгоритмов эта задача пока достаточно сложна. Пока исследователи в основном занимаются разработкой алгоритмов, которые могут воссоздать лишь небольшую часть движений людей на изображениях. К примеру, в прошлом году разработчики из Тель-Авивского университета и компании Facebook научили алгоритм анимировать мимику лица на портретах.

Другая группа разработчиков из Вашингтонского университета и Facebook под руководством Иры Кемельмахер-Шлицерман (Ira Kemelmacher-Shlizerman) создала алгоритм, который может создать на основе одного двумерного кадра полноценную анимацию с выбеганием человека за пределы фотографии:



Созданная исследователями система представляет собой связку из нескольких разработанных ранее алгоритмов и собственного кода. Изначально она принимает двумерное изображение и обрабатывает его с помощью нейросети Mask R-CNN. На этом этапе алгоритм распознает на изображении область с человеком и отделяет ее от фона. Затем еще один разработанный ранее алгоритм превращает область изображения с человеком в двумерную модель скелета, состоящую из прямых сегментов и их соединений. После этого еще один алгоритм создает реалистичный фон в областях кадра, изначально закрытых человеком.

После создания двумерной модели алгоритм создает на ее базе трехмерную модель и накладывает на нее текстуру, созданную на основе изображения человека из исходного кадра. В результате пользователь получает модель, которая может совершать произвольные движения, к примеру, выбегать из кадра. Кроме того, пользователь может вручную изменить положение частей тела модели перед началом анимации.

Разработчики создали несколько режимов работы алгоритма. В одном из них алгоритм создает обычную анимацию на мониторе, а в другом он может выводить ее в дополненной реальности. К примеру, таким способом разработчики превратили обычную картину на стене в интерактивную.

В прошлом году группа Иры Кемельмахер-Шлицерман создала другой алгоритм для создания реалистичной анимации. Он способен вставлять запись чужой речи в произвольный видеоряд, изменяя мимику человека на ролике таким образом, чтобы она соответствовала произносимым в этот момент словам. А в начале 2018 года индийские разработчики представили другой алгоритм для оживления статичных кадров. Они научили его преобразовывать фотографии с артефактами движения в короткие реалистичные видеоролики с подходящим движением.

https://nplus1.ru/news/2018/12/10/wake-up?utm_source=pikabuobrazovach&utm_medium=social&utm_campaign=neyroset-ozhivila-figury-lyudey-na-fotogr
Комментарии, по рейтингу, по дате
  едридмадрид 13.12.2018 в 17:55:08   # 705245
забанен до 06.01.2020 18:59:29
ляпота , класс

"страшно" представить что этот алгоритм может сделать с обнаженными женщинами из двух мерного изображения

  X-Daemon 13.12.2018 в 19:58:05   # 705256
В ближайшем будущем благодаря нейросети нас много новшеств ожидают.
  alpha_portal 13.12.2018 в 20:51:45   # 705261
Благодаря нейросети в будущем встанет вопрос о целесообразности существования человека как физический объект
  AP 13.12.2018 в 22:36:36   # 705276
Даааа, двум одноногим на фото бежать будет трудно))
  Galent 14.12.2018 в 21:40:10   # 705437
Задумка классная.. Реализация анимирования старых фото надеюсь не подведет..

"И Ленин — такой молодой!
И юный Октябрь впереди."

А по серьезному - каждый день слышишь нейросети сделали то, нейросети сделали это...
Такими темпами скоро ксерокс с вашего удостоверения личности будет признаваться в жестоком обращении с животными, а может и в чем то похуже..
  Сила 15.12.2018 в 00:57:37   # 705444
1:47 фильм ужасоф блядь
  Ал 15.12.2018 в 10:46:50   # 705455

Голову разворачивать не научились?
Добавить сообщение
Чтобы добавлять комментарии зарeгиcтрирyйтeсь