Sony научилась превращать людей в виртуальных аниме-девушек

Для этого нужен лишь смартфон и шесть датчиков-трекеров, которые крепятся к телу.

Шесть датчиков для захвата движений крепятся к телу
Шесть датчиков для захвата движений крепятся к телу

Девайс Mocopi от Sony представляет собой шесть легких беспроводных шайб, напоминающих AirTags от Apple. Чтобы носить их было удобнее, в пару к ним разработали специальные ремешки на липучке — трекеры нужно вставить в них, а после замотать на лодыжках, запястьях, спине и голове. Об этом пишет Gizmodo.

Шайбы считывают движения человека и точно передают их в виртуальное пространство. На экране их транслирует выбранный пользователем аватар. Забавно, что во всех роликах-тизерах им является девушка, нарисованная в японской стилистике. Копируется все, начиная с поворота ноги и заканчивая мимикой и движением глаз.

Подобная технология подойдет для стримеров и создателей развлекательных видео, не желающих раскрывать свою личность в интернете. Датчики Mocopi также можно использовать при создании AR-игр.

Набор датчиков выглядит так:

А в этом ролике показано, на что они способны:

В январе 2023 года разработка Sony появится в Японии. Там набор обойдется в 360 долларов (22 000 рублей по курсу). К сожалению, подробностей о том, будет ли девайс доступен в других странах, пока нет.

Комментарии: 9
Ваш комментарий

А когда то технологии Motion Capture были нереально дорогими.

9

Блин, вчера видел этот трейлер и даже не подумал - реально такое можно купить себе для анимации в инди проектах. Получше будет, чем костыли с кинектом

10

Нет, нельзя. Ну точнее можно, но результат будет очень и очень плачевным, стоит лишь немного почитать про всё это дело и понять главные (и очень весомые) минусы.

0

Это же хорошо, ибо 2Д тян >3Д тян

1

технически там 3д тян, и вообще аники

0

Как человек, который очень интересуется всей этой тематикой, когда увидел новость (не тут и не с таким кликбейтным заголовком, тьфу...), уже было обрадовался мол "Here comes a new challanger!" на рынок подобного рода систем - да ещё и от Sony! - все дела... Но потом прочитал и понял, что это всё то же самое, что всегда и было, только дороже (Sony же!).

Объясняю - есть официальный и не официальный, а также идеальный и "отстойный" full-body tracking.

Идеального трекинга можно достичь с помощью Vive Tracker-ов и соответствующих базовых станций от HTC Vive или Valve Index - в это случае трекинг максимально точен, ибо есть внешний "приёмник", который специально - и точно, до миллиметров - отслеживает перемещение трекеров в заданном пространстве. Плюс там две базовые станции (минимум), поэтому нужно очень постараться, чтобы хоть один трекер вышел и зоны видимости одной из них, однако можно подключить ещё дополнительные базовые станции и избавиться даже от этого недостатка. Также такого можно достичь, относительно, с помощью Kinect-а. Но там куча минусов, от того, что сенсор только один и, если например повернуться спиной и держать руки в замке перед собой, то они уже отслеживаться не будут, до, самого главного, отсутствия официальной поддержки где бы то ни было (только через костыли, которые не факт, что заработают или не перестанут работать в будущем), не говоря уже о том, что при некоторых условиях Kinect ведёт себя неадекватно и точность там может сильно хромать.

Вот только есть одна маленькая проблема - каждая базовая станция стоит по 200 баксов (почти, если новые), а каждый трекер - по 100 и нужно их минимум 3 (ноги + торс), а лучше 7 (+ 4 на каждый локоть и колено). И это без учёта самой гарнитуры VR и контроллеров (=трекер головы), которые используются как трекеры рук. Про Кинект и говорить не буду - его использовать смысла, имхо, нет от слова совсем.

И есть "отстойный" full-body трекинг для "бедных" - это вот такие вот решения (SlimeVR, HaritoraX от Shiftall (дочерняя компания Panasonic) и другие). Тут трекинг относительный, а не точный (в технические подробности вдаваться не буду - идите и сами читайте, если интересно), поэтому есть такая очень неприятная штука, как дрифтинг (это когда трекер в реале не двигается в пространстве, а в приложении показывается, что он двигается и модель или её часть куда-то "улетает"; даже на видео выше прекрасно видно, что когда чувак прыгает, модель при приземлении немного уходит в пол, а потом уже возвращается на место чуть выше, где она и должна быть). И от этого дрифтинга избавиться почти нереально. Даже если калибровать каждый раз, сутки напролёт, то он всё равно будет в той или иной степени, причём чем дольше используешь за сессию, тем выше вероятность его повторного возникновения до новой калибровки. К тому же, чем быстрее движения, тем выше вероятность потери трекинга/возникновения дрифтинга, поэтому, собственно, более активный и быстрый танец в конце не показали на примере модели - это просто выглядело бы поломанным.

Но зато стоят такие "системы" около 300 долларов. И как бы для выпендрёжа в VRShit-е этого более чем достаточно. Но вот для полноценного Motion Capture в производстве - нет, ибо эти дрифты замучаешься потом убирать при работе с анимациями.

И вот, собственно, когда есть HaritoraX за 270 баксов (те же японцы, кстати), которые дают всё то же самое, но дешевле, выходят Sony и говорят "Я сделяль". Тут, конечно, три дополнительных трекера (голова и руки) но, опять же, зачем они? Никто в здравом уме не будет это использовать без VR-гарнитуры (просто не имеет смысла), лучше бы добавили ещё один трекер и 4 трекера использовали бы на суставах, было бы намного круче. Ну и интеграция только с топовыми айфонами и смартфонами от Sony просто добила - т.е. ещё и топовый девайс за туеву хучу денег покупай к этому всему делу, ммм.

В общем, очередной проходняк, дальше ждём революции. Моя мечта - точность системы на Vive-трекерах (без базовых станций) по цене в 300-400 долларов. И чтобы колени/локти сразу отслеживались в базовой версии. И, знаете, это уже возможно! Ну, может по цене и нет (пока), но вот новые контроллеры от Quest Pro используют для трекинга камеры. И если каждый трекер будет тоже использовать камеры, то будет крутая точность без дрифтинга и не нужны будут внешние станции. Правда два таких контроллера стоят 300 долларов, так что 7 трекеров выйдут очень дорого... Но поживём увидим.

А, ну и ещё во всех этих системах (кроме ситуации, когда ты используешь контроллеры Knucles от Valve Index) нет отслеживания пальцев от слова совсем (есть костыли, как на Квесте, когда прикосновение/нажатие на соответствующие кнопки запускает анимации, но их количество ограничено количеством кнопок, а это очень малое количество жестов получается). А это тоже дополнительная работа по добавлению в конечные анимации нормально выглядящих движений пальцев, эх...

1

Потом такие с наивных анимешников донаты собирают.

-1

сомнительная штука для применения в играх потому что для этого танцевальная коната нужна а если игры делать то нада чета а машином обучении и работающие от камер проста.
бесплатный софт уже стал достаточно силен что не нун голову фиксировать вроде как ина лице точки рисовать. для анимации внутри игры так же нужно подтягивать какую то адаптивную анимацию а не делать анимацию.

-1

Ура!!!!!! Снова говноновости!!!!!!

-1