Команда учёных из института телекоммуникаций Фраунгофера (Fraunhofer Institut für Nachrichtentechnik) в Берлине и университета имени Бен-Гуриона в Негеве (Ben Gurion University) создала программу видеообработки изображений, которая способна воспроизвести жесты человека с помощью виртуального персонажа.
Разработка представлена в штаб-квартире Deutsche Telekom в Бонне, а также в Deutsche Telekom Laboratories в Берлине. Посетители могут вдоволь побаловаться, наблюдая за комичными персонажами, копирующими различные движения их рук.
Те, кто пробовал эту систему на себе, сравнивают результат с отражением в зеркале. Человек машет рукой, кивает головой, произносит предложение, а его «компьютерное я» всё это повторяет.
Как учёным удалось всё это воплотить в реальность, подробно рассказывается в статье, опубликованной в журнале IEEE Transactions on Multimedia.
«Такой подход в будущем поможет создавать интерфейсы, которые позволят взаимодействовать с компьютером с помощью одних только жестов», — не скромничает один из создателей Оливер Шреер (Oliver Schreer).
Действительно с помощью распознавательных возможностей этой программы любые другие надстройки на её основе смогут взаимодействовать с компьютером и, к примеру, посылать ему команды.
Пока разработка является лишь прототипом, то есть готовый продукт учёные выпустить на рынок пока не могут. Но и прототип вполне жизнеспособен, может быть установлен на любой PC, полный аудио и видеоанализ производится в режиме реального времени (и тут же отражается на действиях компьютерного воплощения). Кроме софта пользователю понадобятся лишь наушники и вебкамера.
Для начала работы программе не нужны какие-либо обучающие тренировки или пробы жестов. Единственное, что может понадобиться так это несколько круговых движений руками, с помощью которых программа определит цвет кожи «собеседника». Новинка, у которой пока нет названия, выделяет жесты из фона, опираясь именно на цвет кожи. Соответственно, чтобы опробовать что-то на себе, руки придётся оголить, иначе ничего работать не будет.
Кроме всего прочего, система способна распознавать до 66 различных параметров, по которым можно определить выражение лица человека. Кстати, «показать» их на лице аватара можно и с помощью кнопок.
Кроме того, персонаж может воспроизводить 15 «звуков». Проанализировав голос говорящего, он воспроизводит движения губ в соответствии с произносимыми фонемами.
Но и это ещё не всё. Новинка в состоянии определить 186 параметров движения верхней части туловища, в том числе движения рук в различных суставах и головы.
Просчитывая положение пальцев, программа распознаёт большинство жестов из американского языка глухонемых. И хотя аватар не всегда передаёт их правильно, главное, решили создатели, чтобы движения его были такими же плавными как в мире людей.
Куда же девать всё это счастье? Да хотя бы использовать для общения в виртуальных чатах (аватар будет сохранять личность общающегося в секрете), или для создания специальных программ, которые будут использоваться в телефонных центрах поддержки.