Использование Microsoft Kinect и вычислительных возможностей потоковых процессоров для проведения занятий в виртуальном мире vAcademia

В данной статье рассматривается применение сенсора Kinect для проведения занятий в трехмерном образовательном виртуальном мире vAcademia. Особое внимание уделено виртуализации лекций, проводимых на основе презентации. Система позволяет захватывать жесты, положение тела и головы преподавателя и преобразовывать их в 3D-анимацию аватара лектора. Также рассматриваются проблемы с точностью захвата, определением поворота, синхронизацией между участниками занятия и необходимостью захвата указки и жестов и предлагаются способы их решения: вычисление точности захвата скелета, определение поворота при помощи цветных маркеров, ограничение неестественных поз скелета и головы и распознавание жестов.