닫기
Search

BIO DESIGN

pISSN 1225-8962
eISSN 2287-982X

Article

Article Tools

Share this article on :

Starts or metrics

Related articles in PTK

Article

Review Article

Split Viewer

Phys. Ther. Korea 2022; 29(2): 87-93

Published online May 20, 2022

https://doi.org/10.12674/ptk.2022.29.2.87

© Korean Research Society of Physical Therapy

모션 캡처 시스템에 대한 고찰: 임상적 활용 및 운동형상학적 변인 측정 중심으로

임우택

우송대학교 보건복지대학 물리치료학과, 우송대학교 부설 재활과학연구소

A Review of Motion Capture Systems: Focusing on Clinical Applications and Kinematic Variables

Wootaek Lim , PT, PhD

Department of Physical Therapy, College of Health and Welfare, Woosong University, Woosong Institute of Rehabilitation Science, Woosong University, Daejeon, Korea

Correspondence to: Wootaek Lim
E-mail: wootaeklimpt@wsu.ac.kr
https://orcid.org/0000-0002-5523-6294

Received: April 4, 2022; Revised: May 10, 2022; Accepted: May 10, 2022

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Go to

To solve the pathological problems of the musculoskeletal system based on evidence, a sophisticated analysis of human motion is required. Traditional optical motion capture systems with high validity and reliability have been utilized in clinical practice for a long time. However, expensive equipment and professional technicians are required to construct optical motion capture systems, hence they are used at a limited capacity in clinical settings despite their advantages. The development of information technology has overcome the existing limit and paved the way for constructing a motion capture system that can be operated at a low cost. Recently, with the development of computer vision-based technology and optical markerless tracking technology, webcam-based 3D human motion analysis has become possible, in which the intuitive interface increases the user-friendliness to non-specialists. In addition, unlike conventional optical motion capture, with this approach, it is possible to analyze motions of multiple people at simultaneously. In a non-optical motion capture system, an inertial measurement unit is typically used, which is not significantly different from a conventional optical motion capture system in terms of its validity and reliability. With the development of markerless technology and advent of non-optical motion capture systems, it is a great advantage that human motion analysis is no longer limited to laboratories.

Keywords: Acceleration, Kinematics, Kinetics, Orientation, Range of motion

INTRODUCTION

Go to

인체 동작 분석에 관한 연구는 오래전부터 있었으나, 시간 및 공간적 변수를 활용한 정량적 연구는 1836년 Weber 형제에 의해 처음 수행되었다[1]. 해당 연구는 인체 보행에 관한 정량적 연구 모델을 확립하는 데에 크게 이바지하였다. 그 후 스톱-모션 사진(stop-motion photography) 기술을 활용한 정밀한 인체 동작 분석이 Marey [2]와 Muybridge [3]에 의해 제시되었으며, 본격적으로 카메라를 통한 연구는 1980년대 중반 영국 옥스퍼드에 설립된 Vicon (Vicon Motion Systems, Oxford Metrics, London, England)에 의해 수행되었다. Vicon은 현재 가장 광범위하게 사용되고 있는 광학 모션 캡처 시스템(optical motion capture system)으로써, 3D 인체 동작 분석 시 표준(gold standard)으로 자리매김하고 있다[4,5]. 그러나 광학 기반 시스템은 인체에 부착한 마커(marker)에 반사된 빛을 특수 카메라로 탐지하여 인체 움직임을 재구성하기 때문에 측정을 목적으로 하는 별도의 독립된 공간이 필요하다[4]. 이 때문에 Vicon으로 대표되는 광학 모션 캡처 시스템은 대부분 단순 치료보다는 연구를 목적으로 활용되고 있다.

광학 마커리스 추적(optical markerless tracking) 기술의 빠른 발전은 기존 광학 기반 시스템이 가진 공간적 한계를 극복하고 있다. 또한, 손쉬운 인터페이스를 바탕으로 인체 동작 감지 및 분석에 대한 대중적 접근성을 비약적으로 높이고 있다. 가장 대표적인 것은 마이크로소프트의 키넥트(Kinect)로, 애초 비디오 게임 콘트롤 목적으로 개발되었지만 현재는 임상 분야에서도 광범위하게 사용되고 있다[6]. 최근에는 이미지 인식 및 인공지능(artificial intelligence) 기반 비디오 분석 기술의 발전으로 심도 센서(depth sensor)가 없는 일반적인 2D 카메라로도 3D 동작 분석이 가능해지고 있다[7,8]. 컴퓨터 비전(computer vision)은 인공지능의 한 분야로 이미지에서 정보를 추출하여 인간의 시각이 하는 일을 모방할 수 있도록 돕는다. 이를 활용할 경우 인체 자세 추정(human pose estimation)을 통해 이미지나 동영상에서 인체 부위와 관절의 위치를 예측하는 것이 가능하다. 다양성이 선택의 폭을 넓혀주고 있지만, 사용 목적에 부합하기 위해서는 각 제품의 특성에 대한 선제적 이해가 더욱 중요해지고 있다.

본 종설에서는 전통적 광학 모션 캡처 시스템부터 최신 자세 추정 방식까지 임상에서 현재 널리 사용되고 있는 모션 캡처 시스템 각각의 특성과 한계 그리고 임상 적용성에 대해 고찰하고자 한다.

TYPES OF MOTION CAPTURE SYSTEM

Go to

모션 캡처 시스템은 먼저 카메라 여부에 따라 광학과 비광학으로 구분한다(Figure 1). 광학 모션 캡처 시스템은 다시 마커를 사용하는 마커 기반과 마커를 사용하지 않는 마커리스로 나뉜다. 마커리스는 사용하는 카메라에 따라 RGB (red, green and blue color)와 RGB-D 형태로 분류된다. RGB-D 카메라는 기본 RGB 카메라에 심도 센서(depth sensor)가 추가되어 있다. 광학 장치가 없는 경우 비광학 모션 캡처 시스템으로 분류하며, 세부적으로는 관성측정장치(Inertial Measurement Unit, IMU), 자기식 모션 캡처(magnetic motion capture), 기계적 모션 캡처(mechanical motion capture) 등이 있다.

Figure 1. Classification of human motion capture system.

1. 마커 기반 모션 캡처(Marker-based Motion Capture)

1) 특징

인체 동작 분석 장치 중 임상 연구 분야에서 가장 널리 사용되고 있는 것은 광학 모션 캡처 시스템이다. 마커 형태에 따라 능동 마커(active marker)와 수동 마커(passive marker)로 나뉘며, 마커는 정해진 인체 주요 지점(key points)에 부착되어 신체 분절의 인식을 돕는다. 전자는 LED 마커로부터 발산되는 빛을 특수 카메라를 이용하여 추적하며, LED를 사용하기 때문에 추가로 배터리가 필요하다. 후자는 Vicon 시스템에서 사용하는 형태로 반사 마커(reflected maker)를 사용한다(Figure 2). 마커에 반사되는 적외선을 통해 개별 카메라는 인체 분절을 인식하고, 다수 카메라로부터 들어온 데이터는 3D로 재구성된다.

Figure 2. Reflective markers of Vicon motion capture system (Vicon; Vicon Motion Systems, Oxford Metrics).
2) 임상 적용

높은 타당도와 신뢰도를 바탕으로 인체 동작 분석 시 표준(gold standard) 분석 시스템으로 인정받고 있다[5,9]. 마커에 별도의 유선 장치가 필요하지 않고 무게가 가벼워 다양한 움직임을 수행할 수 있다. 빠른 관절 각운동을 갖는 전문 스포츠 선수부터, 신경 손상으로 말미암은 보행 장애가 있는 환자까지 가능 대상자의 범위가 매우 넓다[10]. 또한, 어깨관절, 팔꿈치관절, 엉덩관절, 무릎관절과 같은 큰 관절은 물론, 손가락 관절과 같은 작은 관절의 움직임까지 모두 인식 및 분석할 수 있다[11]. 힘 측정판(force plate)과 함께 사용 시 지면 반발력(ground reaction force) 및 관절 반발력(joint reaction force)과 같은 운동역학 데이터(kinetic data)까지 얻을 수 있어 다른 인체 동작 분석 시스템과의 비교에서 우위를 가진다[12,13]. 많은 장점 때문에 의료 분야 외 영화, 게임 등 다양한 산업분야에서 광범위하게 사용 중이다.

3) 한계

자연광에 매우 취약하기 때문에 일반적 환경에서 자연스러운 인체 동작을 측정하는 것에는 한계가 있다. 마커가 빛에 매우 민감하여 인위적으로 통제된 실험실 또는 연구실에 적합하다는 것이 가장 큰 단점이다[14]. 그 밖에 구축 비용이 상당하여 일반 소규모 의료기관보다는 주로 전문적 임상 연구를 수행하는 기관에서의 활용도가 높다. 다른 측정 장비와 비교하여 사전 준비 작업이 오래 걸리고 측정 후 분석에도 상당한 시간이 소요된다. 또한, 이를 수행하기 위한 전문인력을 반드시 필요로 하기 때문에 접근성 및 활용도가 낮다.

2. RGB-D 카메라의 마커리스 모션 캡처(Markerless Motion Capture With RGB-D Camera)

1) 특징

마커에 기반을 둔 모션 캡처 시스템은 기기 고유의 한계가 존재하기 때문에, 이를 해결하기 위해 마커리스 모션 캡처 기술이 발전하였다. 가장 대중적으로 널리 사용되고 있는 것은 마이크로소프트의 키넥트로, 마커 없이 인체 동작 인식이 가능하다[6]. 소니 플레이스테이션의 아이토이(Eye Toy; PlayStation®, Sony Corporation, Tokyo, Japan)가 먼저 제품화 되었으나, 키넥트와 달리 적외선 기반 심도 센서(infrared-based depth sensor)가 없어 정확성이 다소 부족했다[15]. 심도 센서는 3차원 이미지 구성을 돕는 흑백 CMOS 센서와 적외선 레이저 프로젝터로 구성된다[16]. 프로젝터를 통해 투광된 적외선이 인체에 반사되어 오는 시간 정보를 바탕으로 인체가 카메라로부터 얼마나 멀리 떨어져 있는지, 또 어느 방향으로 움직이는지를 보다 정확하게 측정한다[17].

2) 임상 적용

게임 컨트롤 목적으로 개발되었지만, Vicon과의 비교에서 높은 상관관계를 보이고, 또 일정 수준 이상의 신뢰도와 타당도를 보여 현재는 임상에서도 다양하게 사용되고 있다[18]. 비용이 저렴하고 휴대 가능하며 운용이 쉬운 장점을 갖고 있어 전통적 모션 캡처 시스템과 비교하여 활용성이 매우 뛰어나다. 신경계 환자의 재활에서 가장 중요하게 고려되는 보행 측정 및 분석을 할 수 있으며, 스포츠 분야에서 인체역학 분석 시에도 활용 가능한 잠재성을 갖고 있다[17-22].

3) 한계

보행 측정 시 무릎관절과 달리 발목관절은 낮은 급내상관계수(intraclass correlation coefficient)를 가진다[23]. 굽힘-폄(flexion-extension) 동작 시 과대 또는 과소 추정(over- or under-estimation)이 종종 관찰된다[24]. 인체 분절의 추적 정확도가 다소 낮고, 복잡한 움직임의 경우 표준 모션 캡처 시스템과 비교에서 낮은 수준의 일치도를 보이는 한계를 가진다[20,25].

3. RGB 카메라의 마커리스 모션 캡처(Markerless Motion Capture With RGB Camera)

1) 특징

기존 마커리스 동작 분석은 실시간 비디오 분석 시 많은 리소스(resource)를 요구하기 때문에 자세 추정의 정확성이 일부 제한되기도 하였다. 현재는 정확도의 손실을 최소화하면서 적은 리소스로 운용 가능한 가벼운 형태의 자세 추정 알고리즘이 다양하게 개발되었다[8,26]. 자세 추정은 접근 방식에 따라 상향식 접근(bottom-up approach)과 하향식 접근(to-down approach)로 나뉜다. 상향식 접근법은 이미지상에 있는 모든 대상자의 신체 분절을 먼저 인식한 후 개인별로 그룹화한다. 하향식 접근법은 먼저 사람을 분리하여 인식 후 개인별로 인체 분절을 구성한다. 인기 있는 자세 추정 방법은 OpenPose, High-Resolution Net, DeepCut, Regional Multi-Person Pose Estimation, Deep Pose, PoseNet, Dense Pose 등이 있다. 현재 가장 폭넓게 사용되고 있는 OpenPose는 카네기 멜론 대학(Carnegie Mellon University)의 연구자들이 개발한 딥러닝 기반 관절 추적 모델로 공개 소스(open source)이며, 컨볼루션신경망(Convolutional Neural Network)과 연계된 컴퓨터 비전 기술의 발전으로 다수의 2D 이미지로부터 3D 인체 움직임을 분석하는 것이 가능하다[8]. DeepCut 역시 OpenPose와 같이 상향식 접근법을 사용하며, 하나의 이미지에 포함된 복수의 대상자를 동시에 측정하는 데에 사용된다. 현재 마커리스 모션 캡처 시스템은 기술 발달로 저렴한 상업적 웹 캠으로도 관절의 중심점은 물론 두 관절 사이의 벡터 방향을 구할 수 있게 되었다[27]. 심도 센서가 없는 일반 2D 카메라에서도 사용 가능한 것이 가장 큰 장점이며, 또한 배경 간섭이 적어 유연성이 높다.

2) 임상 적용

단일 이미지에서 얼굴, 팔, 다리, 손, 발 등 135개의 주요 지점을 감지할 수 있다[28]. OpenPose를 활용한 연구는 현재 주로 하지 움직임에 중점을 두고 있다. 골반 및 넓적다리를 구성하고 있는 하지 근육의 강화에 효과적인 스퀏(squat) 운동을 하는 동안 측정힌 엉덩관절, 무릎관절, 발목관절의 관절가동범위는 Vicon과의 비교에서 높은 타당도를 보였다[17]. 또한, 반복 측정 동안 급내상관계수는 Vicon의 0.87–0.93에 비해 더욱 높은 0.92–0.95를 보여 상당한 수준의 신뢰도를 보였다. 트레드밀 위에서 수행된 보행 분석 연구에서는 IMU와의 비교에서 엉덩관절과 무릎관절에서 두 기기간 유사한 각 궤적(angular trajectory)이 관찰되었다[7,8]. 다만, 최대 및 최소 관절 각도는 일부 차이가 있었으며, 특히 발목 관절은 전반적으로 정확성이 다소 낮았다. 광학 모션 캡처 시스템과 달리 실시간으로 복수의 움직임을 측정하는 것이 가능하므로, 다수가 참여하는 그룹 스포츠 경기에서도 활용할 수 있다[29].

3) 한계

RGB 카메라 기반 모션 캡처는 관상면(frontal plane)과 가로면(transverse plane)에서 측정 정확도가 다소 낮게 나타난다. 하지만 마커를 추가로 이용할 경우 정확도를 높일 수 있으며, 이 경우 Vicon과의 비교에서 큰 차이를 보이지 않는다[30].

4. 관성측정장치의 비광학식 모션 캡처(Non-optical Motion Capture With Inertial Measurement Units)

1) 특징

IMU는 가속도계(accelerometer)와 자이로스코프(gyroscope), 자기력계(magnetometer)로 구성되며, 가속도계는 선 가속(linear acceleration), 자이로스코프는 각속도(angular velocity), 자기력계는 자기장(magnetic field) 강도를 측정한다. 소형기기로 이동이 간편하고 무선으로 측정 중 움직임이 자유롭다. 노트북 외 스마트폰과도 연결할 수 있어 사용자 편의성이 높다. 제품 특성에 따라 편차가 있지만, 일반적으로 한번 충전 시 약 4–10시간 정도 사용 가능하며 빛에 간섭을 받지 않아 외부 환경에서도 사용할 수 있다[31-33]. 광학식 마커 기반 모션 캡처 시스템 대비 기기 비용이 저렴하여 최근 상당히 많은 분야에서 활용되고 있다.

2) 임상 적용

IMU는 인체의 각 운동형상학(angular kinematic) 측정에 매우 효과적이다. 대상 관절을 연결하는 두 분절에 부착 시 두 기기 사이 각을 손쉽게 측정할 수 있다(Figure 3). 상지에도 사용할 수 있지만, 보행과 같은 하지 움직임에 특히 유용하다. 발꿈치 닿기(heel strike) 뿐만 아니라 발가락 떼기(toe off) 등 대부분의 보행 중 발생하는 이벤트를 정확하게 측정할 수 있다[34]. 일부 움직임에서 광학 모션 캡처 시스템 대비 과대 또는 과소 추정이 발생하기도 하지만, 다양한 연구에서 높은 타당도와 신뢰도를 바탕으로 정확성을 인정받고 있다[35]. 최근에는 신체의 수직 이동 정도 및 속도를 바탕으로 충격 전 낙상 감지 알고리즘을 구현하는 데에 사용하고 있다[36,37]. 추정 알고리즘을 바탕으로 에어백과 결합 시 낙상 시 신체 손상 정도를 줄일 수 있을 것으로 기대하고 있다.

Figure 3. An example of inertial measurement units (LegSys; BioSensics, Newton, MA, USA).
3) 한계

속도와 위치를 계산하기 위해 시간에 따른 가속도를 통합하는 과정 중 작은 차이가 생기고, 이것이 지속되며 누적오류가 발생한다. 이것은 실제 위치와 기기가 인식하는 위치 간 차이가 점진적으로 증가하는 드리프트(drift)를 일으킨다[38]. 또한, 제품 특성상 강자성 물질(ferromagnetic materials)이 주변에 있는 경우 영향을 받을 수 있으며, 보정을 위하여 자주 교정을 해주어야 한다[39,40]. 광학 모션 캡처 시스템에서 사용하는 마커와 달리 제품 자체에 약간의 무게가 있어 빠른 움직임 시 관성 때문에 기기가 부착 위치를 이탈할 수 있다.

5. 기타 비광학식 모션 캡처(Non-optical Motion Capture With Others)

1) 자기식 모션 캡처

센서의 송신기에서 생성된 저주파 자기장을 측정하여 인체 움직임을 감지한다[41,42]. 약 6–11개 이상의 센서를 사용하며 센서는 회전 및 위치 정보를 제공한다. 실시간으로 측정할 수 있고 기계적 모션 캡처(mechanical motion capture)보다 많은 자유도(degree of freedom)를 가진다[43]. 하지만 주변에 강자성 및 금속 물질이 있는 경우 간섭을 받을 수 있으며, 측정 자성 간 거리가 너무 가까워지는 경우 정확한 측정이 어렵다[44]. 센서 간 간섭이 있을 수 있어 측정 가능한 움직임의 범위가 광학 모션 캡처 시스템보다 작다. 여러 단점으로 다른 모션 캡처 시스템 대비 사용 정도가 낮다.

2) 기계적 모션 캡처

인체 움직임을 감지할 수 있는 외골격(exoskeleton)을 착용하고 측정한다[45]. 각 관절은 각도 변환기(angular encoder)와 연결되며, 변환기의 움직임을 통해 관절의 위치가 재구성된다[46]. 데이터는 케이블 또는 무선으로 분석용 컴퓨터에 전송된다. 다른 장비와 같이 실시간으로 인체 움직임을 측정할 수 있다. 빛 또는 자기장의 간섭을 받지 않으며 높은 정확도를 가진다. 광학 시스템보다 가격이 저렴하다는 것도 장점이다. 하지만 개인 특성에 맞추어 각 분절 길이를 조정하기가 쉽지 않고, 외골격 또는 연결된 케이블이 인체의 자연스러운 움직임을 방해할 수 있다는 단점이 있다[46].

CONCLUSIONS

Go to

인체 동작 감지 및 인식 기술은 그 어느 때보다 빠르게 발전하고 있으며, 이에 따라 임상 적용 및 활용 분야 역시 점차 확대되고 있다. 임상에서는 비용 지출이 부담스럽지 않고 시간적 여유가 충분한 상황에서 정확한 진단 또는 평가가 요구된다면, 기존의 마커 기반 광학 모션 캡처 시스템을 이용한 동작분석이 여전히 추천될 것이다. 하지만 높은 정확성보다는 신속한 검사 또는 재활 훈련을 목적으로 간단한 동작분석이 필요한 경우에는 마커 없이 동작 분석이 가능한 자세추정 알고리즘(Figure 4) 또는 애플리케이션을 사용해도 충분할 것이다(Figure 5). IMU는 3차원 모션 캡처와 자세추정 방식의 절충안으로 비교적 정확하면서도 간편한 평가, 또는 재활 훈련이 필요한 경우에 사용할 수 있다. 다양성의 증가로 임상에서 기기별 특성에 대한 이해만 있다면, 어렵지 않게 주어진 환경 및 가용 자원에 맞는 인체 동작 분석 시스템을 운용하는 것이 가능해졌다.

Figure 4. An example of human pose estimation using OpenPose (4DEYE; SYM Healthcare, Seoul, Korea).
Figure 5. An example of human motion tracking using mobile device (PTYOU; PTYOU, Daejeon, Korea).

FUNDING

Go to

This research was supported by the 2022 Woosong University Academic Research Funding.

CONFLICTS OF INTEREST

Go to

No potential conflict of interest relevant to this article was reported.

References

Go to
  1. Weber W, Weber E. Mechanik der menschlichen gehwerkzeuge: eine anatomisch-physiologische untersuchung. Göttingen: Dieterich; 1836.
  2. Marey EJ. Animal mechanism: a treatise on terrestrial and aerial locomotion. London: Henry S. King & Company; 1874.
    CrossRef
  3. Muybridge E. Animal locomotion. Boston (MA): Da Capo Press; 1887.
    CrossRef
  4. Lamine H, Bennour S, Laribi M, Romdhane L, Zaghloul S. Evaluation of calibrated kinect gait kinematics using a vicon motion capture system. Comput Methods Biomech Biomed Engin 2017;20(Suppl 1):111-2.
    Pubmed CrossRef
  5. Albert JA, Owolabi V, Gebel A, Brahms CM, Granacher U, Arnrich B. Evaluation of the pose tracking performance of the azure kinect and kinect v2 for gait analysis in comparison with a gold standard: a pilot study. Sensors (Basel) 2020;20(18):5104.
    Pubmed KoreaMed CrossRef
  6. Regazzoni D, de Vecchi G, Rizzi C. RGB cams vs RGB-D sensors: low cost motion capture technologies performances and limitations. J Manuf Syst 2014;33(4):719-28.
    CrossRef
  7. D'Antonio E, Taborri J, Palermo E, Rossi S, Patanè F. A markerless system for gait analysis based on OpenPose library. Paper presented at: 2020 IEEE International Instrumentation and Measurement Technology Conference (I2MTC); 2020 May 25-28; Dubrovnik, Croatia. Piscataway (NJ): IEEE; 2020;1-6.
    CrossRef
  8. D'Antonio E, Taborri J, Mileti I, Rossi S, Patané F. Validation of a 3D markerless system for gait analysis based on OpenPose and two RGB webcams. IEEE Sens J 2021;21(15):17064-75.
    CrossRef
  9. Barker S, Craik R, Freedman W, Herrmann N, Hillstrom H. Accuracy, reliability, and validity of a spatiotemporal gait analysis system. Med Eng Phys 2006;28(5):460-7.
    Pubmed CrossRef
  10. Lu Z, Nazari G, MacDermid JC, Modarresi S, Killip S. Measurement properties of a 2-dimensional movement analysis system: a systematic review and meta-analysis. Arch Phys Med Rehabil 2020;101(9):1603-27.
    Pubmed CrossRef
  11. Baker NA, Cham R, Cidboy EH, Cook J, Redfern MS. Kinematics of the fingers and hands during computer keyboard use. Clin Biomech (Bristol, Avon) 2007;22(1):34-43.
    Pubmed CrossRef
  12. Reznick E, Embry KR, Neuman R, Bolívar-Nieto E, Fey NP, Gregg RD. Lower-limb kinematics and kinetics during continuously varying human locomotion. Sci Data 2021;8(1):282.
    Pubmed KoreaMed CrossRef
  13. Wang S. Biomechanical analysis of the human knee joint. J Healthc Eng 2022;2022:9365362.
    Pubmed KoreaMed CrossRef
  14. Younes G, Asmar D, Elhajj I, Al-Harithy H. Pose tracking for augmented reality applications in outdoor archaeological sites. J Electron Imaging 2016;26(1):011004.
    CrossRef
  15. Weiss PL, Rand D, Katz N, Kizony R. Video capture virtual reality as a flexible and effective rehabilitation tool. J Neuroeng Rehabil 2004;1(1):12.
    Pubmed KoreaMed CrossRef
  16. Hwang J, Kim E, Hwang S. Accuracy comparison of spatiotemporal gait variables measured by the Microsoft Kinect 2 Sensor directed toward and oblique to the movement direction. Phys Ther Korea 2019;26(1):1-7.
    CrossRef
  17. Ota M, Tateuchi H, Hashiguchi T, Kato T, Ogino Y, Yamagata M, et al. Verification of reliability and validity of motion analysis systems during bilateral squat using human pose tracking algorithm. Gait Posture 2020;80:62-7.
    Pubmed CrossRef
  18. Cai L, Ma Y, Xiong S, Zhang Y. Validity and reliability of upper limb functional assessment using the Microsoft Kinect V2 Sensor. Appl Bionics Biomech 2019;2019:7175240.
    Pubmed KoreaMed CrossRef
  19. Choppin S, Wheat J. The potential of the Microsoft Kinect in sports analysis and biomechanics. Sports Technol 2013;6(2):78-85.
    CrossRef
  20. Pfister A, West AM, Bronner S, Noah JA. Comparative abilities of Microsoft Kinect and Vicon 3D motion capture for gait analysis. J Med Eng Technol 2014;38(5):274-80.
    Pubmed CrossRef
  21. Gabel M, Gilad-Bachrach R, Renshaw E, Schuster A. Full body gait analysis with Kinect. Annu Int Conf IEEE Eng Med Biol Soc 2012;2012:1964-7.
    Pubmed CrossRef
  22. Tanaka R, Takimoto H, Yamasaki T, Higashi A. Validity of time series kinematical data as measured by a markerless motion capture system on a flatland for gait assessment. J Biomech 2018;71:281-5.
    Pubmed CrossRef
  23. Mentiplay BF, Perraton LG, Bower KJ, Pua YH, McGaw R, Heywood S, et al. Gait assessment using the Microsoft Xbox One Kinect: concurrent validity and inter-day reliability of spatiotemporal and kinematic variables. J Biomech 2015;48(10):2166-70.
    Pubmed CrossRef
  24. Schlagenhauf F, eeram S Sr, Singhose W. Comparison of Kinect and Vicon motion capture of upper-body joint angle tracking. Paper presented at: 2018 IEEE 14th International Conference on Control and Automation (ICCA); 2018 Jun 12-15; Anchorage, AK, USA. Piscataway (NJ): IEEE; 2018;674-9.
    CrossRef
  25. Tipton CC, Telfer S, Cherones A, Gee AO, Kweon CY. The use of Microsoft Kinect™ for assessing readiness of return to sport and injury risk exercises: a validation study. Int J Sports Phys Ther 2019;14(5):724-30.
    Pubmed KoreaMed CrossRef
  26. Sun K, Xiao B, Liu D, Wang J. Deep high-resolution representation learning for human pose estimation. Paper presented at: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2019 Jun 15-20; Long Beach, CA, USA. Piscataway (NJ): IEEE; 2020;5686-96.
    CrossRef
  27. Cao Z, Simon T, Wei SE, Sheikh Y. Realtime multi-person 2D pose estimation using part affinity fields. Paper presented at: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); 2017 Jul 21-26; Honolulu, HI, USA. Piscataway (NJ): IEEE; 2017;1302-10.
    Pubmed KoreaMed CrossRef
  28. Badave H, Kuber M. Evaluation of person recognition accuracy based on OpenPose parameters. Paper presented at: 2021 5th International Conference on Intelligent Computing and Control Systems (ICICCS); 2021 May 6-8; Madurai, India. Piscataway (NJ): IEEE; 2021;635-40.
    CrossRef
  29. Raaj Y, Idrees H, Hidalgo G, Sheikh Y. Efficient online multi-person 2D pose tracking with recurrent spatio-temporal affinity fields. Paper presented at: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2019 Jun 15-20; Long Beach, CA, USA. Piscataway (NJ): IEEE; 2020;5686-96.
    CrossRef
  30. Pusara A, Heamawatanachai S, Sinsurin K, Jorrakate C. Reliability of a low-cost webcam recording system for three-dimensional lower limb gait analysis. Int Biomech 2019;6(1):85-92.
    Pubmed KoreaMed CrossRef
  31. Bashinskaya B. Effects of obesity on walking patterns and adaptability during obstacle crossing. Boston (MA): Boston University; 2011. Doctoral Dissertation.
    CrossRef
  32. Williamson J, Liu Q, Lu F, Mohrman W, Li K, Dick R, et al. Data sensing and analysis: challenges for wearables. Paper presented at: The 20th Asia and South Pacific Design Automation Conference; 2015 Jan 19-22; Tokyo, Japan. Piscataway (NJ): IEEE; 2015;136-41.
    Pubmed KoreaMed CrossRef
  33. Zhu S, Anderson H, Wang Y. Reducing the power consumption of an IMU-based gait measurement system. In: Lin W, Xu D, Wu J, He Y, Cai J, Ho A editorss. Advances in multimedia information processing, PCM 2012. Berlin: Springer; 2012;105-16.
    CrossRef
  34. Prasanth H, Caban M, Keller U, Courtine G, Ijspeert A, Vallery H, et al. Wearable sensor-based real-time gait detection: a systematic review. Sensors (Basel) 2021;21(8):2727.
    Pubmed KoreaMed CrossRef
  35. Cho YS, Jang SH, Cho JS, Kim MJ, Lee HD, Lee SY, et al. Evaluation of validity and reliability of inertial measurement unit-based gait analysis systems. Ann Rehabil Med 2018;42(6):872-83.
    Pubmed KoreaMed CrossRef
  36. Zhong Z, Chen F, Zhai Q, Fu Z, Ferreira JP, Liu Y, et al. A real-time pre-impact fall detection and protection system. Paper presented at: 2018 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM); 2018 Jul 9-12; Auckland, New Zealand. Piscataway (NJ): IEEE; 2018;1039-44.
    CrossRef
  37. Ahn S, Choi D, Kim J, Kim S, Jeong Y, Jo M, et al. Optimization of a pre-impact fall detection algorithm and development of hip protection airbag system. Sens Mater 2018;30(8):1743-52.
    CrossRef
  38. Oh D, Lim W, Lee N. Concurrent validity and intra-trial reliability of a Bluetooth-embedded inertial measurement unit for real-time joint range of motion. Int J Comput Sci Sport 2019;18(3):1-11.
    CrossRef
  39. Zhu R, Zhou Z. A real-time articulated human motion tracking using tri-axis inertial/magnetic sensors package. IEEE Trans Neural Syst Rehabil Eng 2004;12(2):295-302.
    Pubmed CrossRef
  40. Wei W, Kurita K, Kuang J, Gao A. Real-time 3D arm motion tracking using the 6-axis IMU sensor of a smartwatch. Paper presented at: 2021 IEEE 17th International Conference on Wearable and Implantable Body Sensor Networks (BSN); 2021 Jul 27-30; Athens, Greece. Piscataway (NJ): IEEE; 2021;1-4.
    CrossRef
  41. Raab FH, Blood EB, Steiner TO, Jones HR. Magnetic position and orientation tracking system. IEEE Trans Aerosp Electron Syst 1979;5:709-18.
    CrossRef
  42. Hashi S, Toyoda M, Yabukami S, Ishiyama K, Okazaki Y, Arai KI. Wireless magnetic motion capture system for multi-marker detection. IEEE Trans Magn 2006;42(10):3279-81.
    CrossRef
  43. Kanetaka H, Yabukami S, Hashi S, Arai KI. Wireless magnetic motion capture system for medical use. In: Sasano T, Suzuki O editorss. Interface oral health science 2009. Tokyo: Springer; 2010;329-31.
    CrossRef
  44. Roetenberg D, Baten CT, Veltink PH. Estimating body segment orientation by applying inertial and magnetic sensing near ferromagnetic materials. IEEE Trans Neural Syst Rehabil Eng 2007;15(3):469-71.
    Pubmed CrossRef
  45. Wu T, McGinley J, Duffy V, Liu L. Application and validation of a mechanical motion capture-based industrial ergonomics system. Paper presented at: 2005 Digital Human Modeling for Design and Engineering Symposium; 2005 Jun 22-27; Iowa City, IA, USA. Warrendale (PA): Society of Automotive Engineers, 2005; 2005.
    CrossRef
  46. Rahul M. Review on motion capture technology. Glob J Comput Sci Technol 2018;18(1):23-6.

Article

Review Article

Phys. Ther. Korea 2022; 29(2): 87-93

Published online May 20, 2022 https://doi.org/10.12674/ptk.2022.29.2.87

Copyright © Korean Research Society of Physical Therapy.

모션 캡처 시스템에 대한 고찰: 임상적 활용 및 운동형상학적 변인 측정 중심으로

임우택

우송대학교 보건복지대학 물리치료학과, 우송대학교 부설 재활과학연구소

Received: April 4, 2022; Revised: May 10, 2022; Accepted: May 10, 2022

A Review of Motion Capture Systems: Focusing on Clinical Applications and Kinematic Variables

Wootaek Lim , PT, PhD

Department of Physical Therapy, College of Health and Welfare, Woosong University, Woosong Institute of Rehabilitation Science, Woosong University, Daejeon, Korea

Correspondence to:Wootaek Lim
E-mail: wootaeklimpt@wsu.ac.kr
https://orcid.org/0000-0002-5523-6294

Received: April 4, 2022; Revised: May 10, 2022; Accepted: May 10, 2022

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

To solve the pathological problems of the musculoskeletal system based on evidence, a sophisticated analysis of human motion is required. Traditional optical motion capture systems with high validity and reliability have been utilized in clinical practice for a long time. However, expensive equipment and professional technicians are required to construct optical motion capture systems, hence they are used at a limited capacity in clinical settings despite their advantages. The development of information technology has overcome the existing limit and paved the way for constructing a motion capture system that can be operated at a low cost. Recently, with the development of computer vision-based technology and optical markerless tracking technology, webcam-based 3D human motion analysis has become possible, in which the intuitive interface increases the user-friendliness to non-specialists. In addition, unlike conventional optical motion capture, with this approach, it is possible to analyze motions of multiple people at simultaneously. In a non-optical motion capture system, an inertial measurement unit is typically used, which is not significantly different from a conventional optical motion capture system in terms of its validity and reliability. With the development of markerless technology and advent of non-optical motion capture systems, it is a great advantage that human motion analysis is no longer limited to laboratories.

Keywords: Acceleration, Kinematics, Kinetics, Orientation, Range of motion

INTRODUCTION

인체 동작 분석에 관한 연구는 오래전부터 있었으나, 시간 및 공간적 변수를 활용한 정량적 연구는 1836년 Weber 형제에 의해 처음 수행되었다[1]. 해당 연구는 인체 보행에 관한 정량적 연구 모델을 확립하는 데에 크게 이바지하였다. 그 후 스톱-모션 사진(stop-motion photography) 기술을 활용한 정밀한 인체 동작 분석이 Marey [2]와 Muybridge [3]에 의해 제시되었으며, 본격적으로 카메라를 통한 연구는 1980년대 중반 영국 옥스퍼드에 설립된 Vicon (Vicon Motion Systems, Oxford Metrics, London, England)에 의해 수행되었다. Vicon은 현재 가장 광범위하게 사용되고 있는 광학 모션 캡처 시스템(optical motion capture system)으로써, 3D 인체 동작 분석 시 표준(gold standard)으로 자리매김하고 있다[4,5]. 그러나 광학 기반 시스템은 인체에 부착한 마커(marker)에 반사된 빛을 특수 카메라로 탐지하여 인체 움직임을 재구성하기 때문에 측정을 목적으로 하는 별도의 독립된 공간이 필요하다[4]. 이 때문에 Vicon으로 대표되는 광학 모션 캡처 시스템은 대부분 단순 치료보다는 연구를 목적으로 활용되고 있다.

광학 마커리스 추적(optical markerless tracking) 기술의 빠른 발전은 기존 광학 기반 시스템이 가진 공간적 한계를 극복하고 있다. 또한, 손쉬운 인터페이스를 바탕으로 인체 동작 감지 및 분석에 대한 대중적 접근성을 비약적으로 높이고 있다. 가장 대표적인 것은 마이크로소프트의 키넥트(Kinect)로, 애초 비디오 게임 콘트롤 목적으로 개발되었지만 현재는 임상 분야에서도 광범위하게 사용되고 있다[6]. 최근에는 이미지 인식 및 인공지능(artificial intelligence) 기반 비디오 분석 기술의 발전으로 심도 센서(depth sensor)가 없는 일반적인 2D 카메라로도 3D 동작 분석이 가능해지고 있다[7,8]. 컴퓨터 비전(computer vision)은 인공지능의 한 분야로 이미지에서 정보를 추출하여 인간의 시각이 하는 일을 모방할 수 있도록 돕는다. 이를 활용할 경우 인체 자세 추정(human pose estimation)을 통해 이미지나 동영상에서 인체 부위와 관절의 위치를 예측하는 것이 가능하다. 다양성이 선택의 폭을 넓혀주고 있지만, 사용 목적에 부합하기 위해서는 각 제품의 특성에 대한 선제적 이해가 더욱 중요해지고 있다.

본 종설에서는 전통적 광학 모션 캡처 시스템부터 최신 자세 추정 방식까지 임상에서 현재 널리 사용되고 있는 모션 캡처 시스템 각각의 특성과 한계 그리고 임상 적용성에 대해 고찰하고자 한다.

TYPES OF MOTION CAPTURE SYSTEM

모션 캡처 시스템은 먼저 카메라 여부에 따라 광학과 비광학으로 구분한다(Figure 1). 광학 모션 캡처 시스템은 다시 마커를 사용하는 마커 기반과 마커를 사용하지 않는 마커리스로 나뉜다. 마커리스는 사용하는 카메라에 따라 RGB (red, green and blue color)와 RGB-D 형태로 분류된다. RGB-D 카메라는 기본 RGB 카메라에 심도 센서(depth sensor)가 추가되어 있다. 광학 장치가 없는 경우 비광학 모션 캡처 시스템으로 분류하며, 세부적으로는 관성측정장치(Inertial Measurement Unit, IMU), 자기식 모션 캡처(magnetic motion capture), 기계적 모션 캡처(mechanical motion capture) 등이 있다.

Figure 1. Classification of human motion capture system.

1. 마커 기반 모션 캡처(Marker-based Motion Capture)

1) 특징

인체 동작 분석 장치 중 임상 연구 분야에서 가장 널리 사용되고 있는 것은 광학 모션 캡처 시스템이다. 마커 형태에 따라 능동 마커(active marker)와 수동 마커(passive marker)로 나뉘며, 마커는 정해진 인체 주요 지점(key points)에 부착되어 신체 분절의 인식을 돕는다. 전자는 LED 마커로부터 발산되는 빛을 특수 카메라를 이용하여 추적하며, LED를 사용하기 때문에 추가로 배터리가 필요하다. 후자는 Vicon 시스템에서 사용하는 형태로 반사 마커(reflected maker)를 사용한다(Figure 2). 마커에 반사되는 적외선을 통해 개별 카메라는 인체 분절을 인식하고, 다수 카메라로부터 들어온 데이터는 3D로 재구성된다.

Figure 2. Reflective markers of Vicon motion capture system (Vicon; Vicon Motion Systems, Oxford Metrics).
2) 임상 적용

높은 타당도와 신뢰도를 바탕으로 인체 동작 분석 시 표준(gold standard) 분석 시스템으로 인정받고 있다[5,9]. 마커에 별도의 유선 장치가 필요하지 않고 무게가 가벼워 다양한 움직임을 수행할 수 있다. 빠른 관절 각운동을 갖는 전문 스포츠 선수부터, 신경 손상으로 말미암은 보행 장애가 있는 환자까지 가능 대상자의 범위가 매우 넓다[10]. 또한, 어깨관절, 팔꿈치관절, 엉덩관절, 무릎관절과 같은 큰 관절은 물론, 손가락 관절과 같은 작은 관절의 움직임까지 모두 인식 및 분석할 수 있다[11]. 힘 측정판(force plate)과 함께 사용 시 지면 반발력(ground reaction force) 및 관절 반발력(joint reaction force)과 같은 운동역학 데이터(kinetic data)까지 얻을 수 있어 다른 인체 동작 분석 시스템과의 비교에서 우위를 가진다[12,13]. 많은 장점 때문에 의료 분야 외 영화, 게임 등 다양한 산업분야에서 광범위하게 사용 중이다.

3) 한계

자연광에 매우 취약하기 때문에 일반적 환경에서 자연스러운 인체 동작을 측정하는 것에는 한계가 있다. 마커가 빛에 매우 민감하여 인위적으로 통제된 실험실 또는 연구실에 적합하다는 것이 가장 큰 단점이다[14]. 그 밖에 구축 비용이 상당하여 일반 소규모 의료기관보다는 주로 전문적 임상 연구를 수행하는 기관에서의 활용도가 높다. 다른 측정 장비와 비교하여 사전 준비 작업이 오래 걸리고 측정 후 분석에도 상당한 시간이 소요된다. 또한, 이를 수행하기 위한 전문인력을 반드시 필요로 하기 때문에 접근성 및 활용도가 낮다.

2. RGB-D 카메라의 마커리스 모션 캡처(Markerless Motion Capture With RGB-D Camera)

1) 특징

마커에 기반을 둔 모션 캡처 시스템은 기기 고유의 한계가 존재하기 때문에, 이를 해결하기 위해 마커리스 모션 캡처 기술이 발전하였다. 가장 대중적으로 널리 사용되고 있는 것은 마이크로소프트의 키넥트로, 마커 없이 인체 동작 인식이 가능하다[6]. 소니 플레이스테이션의 아이토이(Eye Toy; PlayStation®, Sony Corporation, Tokyo, Japan)가 먼저 제품화 되었으나, 키넥트와 달리 적외선 기반 심도 센서(infrared-based depth sensor)가 없어 정확성이 다소 부족했다[15]. 심도 센서는 3차원 이미지 구성을 돕는 흑백 CMOS 센서와 적외선 레이저 프로젝터로 구성된다[16]. 프로젝터를 통해 투광된 적외선이 인체에 반사되어 오는 시간 정보를 바탕으로 인체가 카메라로부터 얼마나 멀리 떨어져 있는지, 또 어느 방향으로 움직이는지를 보다 정확하게 측정한다[17].

2) 임상 적용

게임 컨트롤 목적으로 개발되었지만, Vicon과의 비교에서 높은 상관관계를 보이고, 또 일정 수준 이상의 신뢰도와 타당도를 보여 현재는 임상에서도 다양하게 사용되고 있다[18]. 비용이 저렴하고 휴대 가능하며 운용이 쉬운 장점을 갖고 있어 전통적 모션 캡처 시스템과 비교하여 활용성이 매우 뛰어나다. 신경계 환자의 재활에서 가장 중요하게 고려되는 보행 측정 및 분석을 할 수 있으며, 스포츠 분야에서 인체역학 분석 시에도 활용 가능한 잠재성을 갖고 있다[17-22].

3) 한계

보행 측정 시 무릎관절과 달리 발목관절은 낮은 급내상관계수(intraclass correlation coefficient)를 가진다[23]. 굽힘-폄(flexion-extension) 동작 시 과대 또는 과소 추정(over- or under-estimation)이 종종 관찰된다[24]. 인체 분절의 추적 정확도가 다소 낮고, 복잡한 움직임의 경우 표준 모션 캡처 시스템과 비교에서 낮은 수준의 일치도를 보이는 한계를 가진다[20,25].

3. RGB 카메라의 마커리스 모션 캡처(Markerless Motion Capture With RGB Camera)

1) 특징

기존 마커리스 동작 분석은 실시간 비디오 분석 시 많은 리소스(resource)를 요구하기 때문에 자세 추정의 정확성이 일부 제한되기도 하였다. 현재는 정확도의 손실을 최소화하면서 적은 리소스로 운용 가능한 가벼운 형태의 자세 추정 알고리즘이 다양하게 개발되었다[8,26]. 자세 추정은 접근 방식에 따라 상향식 접근(bottom-up approach)과 하향식 접근(to-down approach)로 나뉜다. 상향식 접근법은 이미지상에 있는 모든 대상자의 신체 분절을 먼저 인식한 후 개인별로 그룹화한다. 하향식 접근법은 먼저 사람을 분리하여 인식 후 개인별로 인체 분절을 구성한다. 인기 있는 자세 추정 방법은 OpenPose, High-Resolution Net, DeepCut, Regional Multi-Person Pose Estimation, Deep Pose, PoseNet, Dense Pose 등이 있다. 현재 가장 폭넓게 사용되고 있는 OpenPose는 카네기 멜론 대학(Carnegie Mellon University)의 연구자들이 개발한 딥러닝 기반 관절 추적 모델로 공개 소스(open source)이며, 컨볼루션신경망(Convolutional Neural Network)과 연계된 컴퓨터 비전 기술의 발전으로 다수의 2D 이미지로부터 3D 인체 움직임을 분석하는 것이 가능하다[8]. DeepCut 역시 OpenPose와 같이 상향식 접근법을 사용하며, 하나의 이미지에 포함된 복수의 대상자를 동시에 측정하는 데에 사용된다. 현재 마커리스 모션 캡처 시스템은 기술 발달로 저렴한 상업적 웹 캠으로도 관절의 중심점은 물론 두 관절 사이의 벡터 방향을 구할 수 있게 되었다[27]. 심도 센서가 없는 일반 2D 카메라에서도 사용 가능한 것이 가장 큰 장점이며, 또한 배경 간섭이 적어 유연성이 높다.

2) 임상 적용

단일 이미지에서 얼굴, 팔, 다리, 손, 발 등 135개의 주요 지점을 감지할 수 있다[28]. OpenPose를 활용한 연구는 현재 주로 하지 움직임에 중점을 두고 있다. 골반 및 넓적다리를 구성하고 있는 하지 근육의 강화에 효과적인 스퀏(squat) 운동을 하는 동안 측정힌 엉덩관절, 무릎관절, 발목관절의 관절가동범위는 Vicon과의 비교에서 높은 타당도를 보였다[17]. 또한, 반복 측정 동안 급내상관계수는 Vicon의 0.87–0.93에 비해 더욱 높은 0.92–0.95를 보여 상당한 수준의 신뢰도를 보였다. 트레드밀 위에서 수행된 보행 분석 연구에서는 IMU와의 비교에서 엉덩관절과 무릎관절에서 두 기기간 유사한 각 궤적(angular trajectory)이 관찰되었다[7,8]. 다만, 최대 및 최소 관절 각도는 일부 차이가 있었으며, 특히 발목 관절은 전반적으로 정확성이 다소 낮았다. 광학 모션 캡처 시스템과 달리 실시간으로 복수의 움직임을 측정하는 것이 가능하므로, 다수가 참여하는 그룹 스포츠 경기에서도 활용할 수 있다[29].

3) 한계

RGB 카메라 기반 모션 캡처는 관상면(frontal plane)과 가로면(transverse plane)에서 측정 정확도가 다소 낮게 나타난다. 하지만 마커를 추가로 이용할 경우 정확도를 높일 수 있으며, 이 경우 Vicon과의 비교에서 큰 차이를 보이지 않는다[30].

4. 관성측정장치의 비광학식 모션 캡처(Non-optical Motion Capture With Inertial Measurement Units)

1) 특징

IMU는 가속도계(accelerometer)와 자이로스코프(gyroscope), 자기력계(magnetometer)로 구성되며, 가속도계는 선 가속(linear acceleration), 자이로스코프는 각속도(angular velocity), 자기력계는 자기장(magnetic field) 강도를 측정한다. 소형기기로 이동이 간편하고 무선으로 측정 중 움직임이 자유롭다. 노트북 외 스마트폰과도 연결할 수 있어 사용자 편의성이 높다. 제품 특성에 따라 편차가 있지만, 일반적으로 한번 충전 시 약 4–10시간 정도 사용 가능하며 빛에 간섭을 받지 않아 외부 환경에서도 사용할 수 있다[31-33]. 광학식 마커 기반 모션 캡처 시스템 대비 기기 비용이 저렴하여 최근 상당히 많은 분야에서 활용되고 있다.

2) 임상 적용

IMU는 인체의 각 운동형상학(angular kinematic) 측정에 매우 효과적이다. 대상 관절을 연결하는 두 분절에 부착 시 두 기기 사이 각을 손쉽게 측정할 수 있다(Figure 3). 상지에도 사용할 수 있지만, 보행과 같은 하지 움직임에 특히 유용하다. 발꿈치 닿기(heel strike) 뿐만 아니라 발가락 떼기(toe off) 등 대부분의 보행 중 발생하는 이벤트를 정확하게 측정할 수 있다[34]. 일부 움직임에서 광학 모션 캡처 시스템 대비 과대 또는 과소 추정이 발생하기도 하지만, 다양한 연구에서 높은 타당도와 신뢰도를 바탕으로 정확성을 인정받고 있다[35]. 최근에는 신체의 수직 이동 정도 및 속도를 바탕으로 충격 전 낙상 감지 알고리즘을 구현하는 데에 사용하고 있다[36,37]. 추정 알고리즘을 바탕으로 에어백과 결합 시 낙상 시 신체 손상 정도를 줄일 수 있을 것으로 기대하고 있다.

Figure 3. An example of inertial measurement units (LegSys; BioSensics, Newton, MA, USA).
3) 한계

속도와 위치를 계산하기 위해 시간에 따른 가속도를 통합하는 과정 중 작은 차이가 생기고, 이것이 지속되며 누적오류가 발생한다. 이것은 실제 위치와 기기가 인식하는 위치 간 차이가 점진적으로 증가하는 드리프트(drift)를 일으킨다[38]. 또한, 제품 특성상 강자성 물질(ferromagnetic materials)이 주변에 있는 경우 영향을 받을 수 있으며, 보정을 위하여 자주 교정을 해주어야 한다[39,40]. 광학 모션 캡처 시스템에서 사용하는 마커와 달리 제품 자체에 약간의 무게가 있어 빠른 움직임 시 관성 때문에 기기가 부착 위치를 이탈할 수 있다.

5. 기타 비광학식 모션 캡처(Non-optical Motion Capture With Others)

1) 자기식 모션 캡처

센서의 송신기에서 생성된 저주파 자기장을 측정하여 인체 움직임을 감지한다[41,42]. 약 6–11개 이상의 센서를 사용하며 센서는 회전 및 위치 정보를 제공한다. 실시간으로 측정할 수 있고 기계적 모션 캡처(mechanical motion capture)보다 많은 자유도(degree of freedom)를 가진다[43]. 하지만 주변에 강자성 및 금속 물질이 있는 경우 간섭을 받을 수 있으며, 측정 자성 간 거리가 너무 가까워지는 경우 정확한 측정이 어렵다[44]. 센서 간 간섭이 있을 수 있어 측정 가능한 움직임의 범위가 광학 모션 캡처 시스템보다 작다. 여러 단점으로 다른 모션 캡처 시스템 대비 사용 정도가 낮다.

2) 기계적 모션 캡처

인체 움직임을 감지할 수 있는 외골격(exoskeleton)을 착용하고 측정한다[45]. 각 관절은 각도 변환기(angular encoder)와 연결되며, 변환기의 움직임을 통해 관절의 위치가 재구성된다[46]. 데이터는 케이블 또는 무선으로 분석용 컴퓨터에 전송된다. 다른 장비와 같이 실시간으로 인체 움직임을 측정할 수 있다. 빛 또는 자기장의 간섭을 받지 않으며 높은 정확도를 가진다. 광학 시스템보다 가격이 저렴하다는 것도 장점이다. 하지만 개인 특성에 맞추어 각 분절 길이를 조정하기가 쉽지 않고, 외골격 또는 연결된 케이블이 인체의 자연스러운 움직임을 방해할 수 있다는 단점이 있다[46].

CONCLUSIONS

인체 동작 감지 및 인식 기술은 그 어느 때보다 빠르게 발전하고 있으며, 이에 따라 임상 적용 및 활용 분야 역시 점차 확대되고 있다. 임상에서는 비용 지출이 부담스럽지 않고 시간적 여유가 충분한 상황에서 정확한 진단 또는 평가가 요구된다면, 기존의 마커 기반 광학 모션 캡처 시스템을 이용한 동작분석이 여전히 추천될 것이다. 하지만 높은 정확성보다는 신속한 검사 또는 재활 훈련을 목적으로 간단한 동작분석이 필요한 경우에는 마커 없이 동작 분석이 가능한 자세추정 알고리즘(Figure 4) 또는 애플리케이션을 사용해도 충분할 것이다(Figure 5). IMU는 3차원 모션 캡처와 자세추정 방식의 절충안으로 비교적 정확하면서도 간편한 평가, 또는 재활 훈련이 필요한 경우에 사용할 수 있다. 다양성의 증가로 임상에서 기기별 특성에 대한 이해만 있다면, 어렵지 않게 주어진 환경 및 가용 자원에 맞는 인체 동작 분석 시스템을 운용하는 것이 가능해졌다.

Figure 4. An example of human pose estimation using OpenPose (4DEYE; SYM Healthcare, Seoul, Korea).
Figure 5. An example of human motion tracking using mobile device (PTYOU; PTYOU, Daejeon, Korea).

ACKNOWLEDGEMENTS

None.

FUNDING

This research was supported by the 2022 Woosong University Academic Research Funding.

CONFLICTS OF INTEREST

No potential conflict of interest relevant to this article was reported.

Fig 1.

Download
Figure 1.Classification of human motion capture system.
Physical Therapy Korea 2022; 29: 87-93https://doi.org/10.12674/ptk.2022.29.2.87

Fig 2.

Download
Figure 2.Reflective markers of Vicon motion capture system (Vicon; Vicon Motion Systems, Oxford Metrics).
Physical Therapy Korea 2022; 29: 87-93https://doi.org/10.12674/ptk.2022.29.2.87

Fig 3.

Download
Figure 3.An example of inertial measurement units (LegSys; BioSensics, Newton, MA, USA).
Physical Therapy Korea 2022; 29: 87-93https://doi.org/10.12674/ptk.2022.29.2.87

Fig 4.

Download
Figure 4.An example of human pose estimation using OpenPose (4DEYE; SYM Healthcare, Seoul, Korea).
Physical Therapy Korea 2022; 29: 87-93https://doi.org/10.12674/ptk.2022.29.2.87

Fig 5.

Download
Figure 5.An example of human motion tracking using mobile device (PTYOU; PTYOU, Daejeon, Korea).
Physical Therapy Korea 2022; 29: 87-93https://doi.org/10.12674/ptk.2022.29.2.87

References

  1. Weber W, Weber E. Mechanik der menschlichen gehwerkzeuge: eine anatomisch-physiologische untersuchung. Göttingen: Dieterich; 1836.
  2. Marey EJ. Animal mechanism: a treatise on terrestrial and aerial locomotion. London: Henry S. King & Company; 1874.
    CrossRef
  3. Muybridge E. Animal locomotion. Boston (MA): Da Capo Press; 1887.
    CrossRef
  4. Lamine H, Bennour S, Laribi M, Romdhane L, Zaghloul S. Evaluation of calibrated kinect gait kinematics using a vicon motion capture system. Comput Methods Biomech Biomed Engin 2017;20(Suppl 1):111-2.
    Pubmed CrossRef
  5. Albert JA, Owolabi V, Gebel A, Brahms CM, Granacher U, Arnrich B. Evaluation of the pose tracking performance of the azure kinect and kinect v2 for gait analysis in comparison with a gold standard: a pilot study. Sensors (Basel) 2020;20(18):5104.
    Pubmed KoreaMed CrossRef
  6. Regazzoni D, de Vecchi G, Rizzi C. RGB cams vs RGB-D sensors: low cost motion capture technologies performances and limitations. J Manuf Syst 2014;33(4):719-28.
    CrossRef
  7. D'Antonio E, Taborri J, Palermo E, Rossi S, Patanè F. A markerless system for gait analysis based on OpenPose library. Paper presented at: 2020 IEEE International Instrumentation and Measurement Technology Conference (I2MTC); 2020 May 25-28; Dubrovnik, Croatia. Piscataway (NJ): IEEE; 2020;1-6.
    CrossRef
  8. D'Antonio E, Taborri J, Mileti I, Rossi S, Patané F. Validation of a 3D markerless system for gait analysis based on OpenPose and two RGB webcams. IEEE Sens J 2021;21(15):17064-75.
    CrossRef
  9. Barker S, Craik R, Freedman W, Herrmann N, Hillstrom H. Accuracy, reliability, and validity of a spatiotemporal gait analysis system. Med Eng Phys 2006;28(5):460-7.
    Pubmed CrossRef
  10. Lu Z, Nazari G, MacDermid JC, Modarresi S, Killip S. Measurement properties of a 2-dimensional movement analysis system: a systematic review and meta-analysis. Arch Phys Med Rehabil 2020;101(9):1603-27.
    Pubmed CrossRef
  11. Baker NA, Cham R, Cidboy EH, Cook J, Redfern MS. Kinematics of the fingers and hands during computer keyboard use. Clin Biomech (Bristol, Avon) 2007;22(1):34-43.
    Pubmed CrossRef
  12. Reznick E, Embry KR, Neuman R, Bolívar-Nieto E, Fey NP, Gregg RD. Lower-limb kinematics and kinetics during continuously varying human locomotion. Sci Data 2021;8(1):282.
    Pubmed KoreaMed CrossRef
  13. Wang S. Biomechanical analysis of the human knee joint. J Healthc Eng 2022;2022:9365362.
    Pubmed KoreaMed CrossRef
  14. Younes G, Asmar D, Elhajj I, Al-Harithy H. Pose tracking for augmented reality applications in outdoor archaeological sites. J Electron Imaging 2016;26(1):011004.
    CrossRef
  15. Weiss PL, Rand D, Katz N, Kizony R. Video capture virtual reality as a flexible and effective rehabilitation tool. J Neuroeng Rehabil 2004;1(1):12.
    Pubmed KoreaMed CrossRef
  16. Hwang J, Kim E, Hwang S. Accuracy comparison of spatiotemporal gait variables measured by the Microsoft Kinect 2 Sensor directed toward and oblique to the movement direction. Phys Ther Korea 2019;26(1):1-7.
    CrossRef
  17. Ota M, Tateuchi H, Hashiguchi T, Kato T, Ogino Y, Yamagata M, et al. Verification of reliability and validity of motion analysis systems during bilateral squat using human pose tracking algorithm. Gait Posture 2020;80:62-7.
    Pubmed CrossRef
  18. Cai L, Ma Y, Xiong S, Zhang Y. Validity and reliability of upper limb functional assessment using the Microsoft Kinect V2 Sensor. Appl Bionics Biomech 2019;2019:7175240.
    Pubmed KoreaMed CrossRef
  19. Choppin S, Wheat J. The potential of the Microsoft Kinect in sports analysis and biomechanics. Sports Technol 2013;6(2):78-85.
    CrossRef
  20. Pfister A, West AM, Bronner S, Noah JA. Comparative abilities of Microsoft Kinect and Vicon 3D motion capture for gait analysis. J Med Eng Technol 2014;38(5):274-80.
    Pubmed CrossRef
  21. Gabel M, Gilad-Bachrach R, Renshaw E, Schuster A. Full body gait analysis with Kinect. Annu Int Conf IEEE Eng Med Biol Soc 2012;2012:1964-7.
    Pubmed CrossRef
  22. Tanaka R, Takimoto H, Yamasaki T, Higashi A. Validity of time series kinematical data as measured by a markerless motion capture system on a flatland for gait assessment. J Biomech 2018;71:281-5.
    Pubmed CrossRef
  23. Mentiplay BF, Perraton LG, Bower KJ, Pua YH, McGaw R, Heywood S, et al. Gait assessment using the Microsoft Xbox One Kinect: concurrent validity and inter-day reliability of spatiotemporal and kinematic variables. J Biomech 2015;48(10):2166-70.
    Pubmed CrossRef
  24. Schlagenhauf F, eeram S Sr, Singhose W. Comparison of Kinect and Vicon motion capture of upper-body joint angle tracking. Paper presented at: 2018 IEEE 14th International Conference on Control and Automation (ICCA); 2018 Jun 12-15; Anchorage, AK, USA. Piscataway (NJ): IEEE; 2018;674-9.
    CrossRef
  25. Tipton CC, Telfer S, Cherones A, Gee AO, Kweon CY. The use of Microsoft Kinect™ for assessing readiness of return to sport and injury risk exercises: a validation study. Int J Sports Phys Ther 2019;14(5):724-30.
    Pubmed KoreaMed CrossRef
  26. Sun K, Xiao B, Liu D, Wang J. Deep high-resolution representation learning for human pose estimation. Paper presented at: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2019 Jun 15-20; Long Beach, CA, USA. Piscataway (NJ): IEEE; 2020;5686-96.
    CrossRef
  27. Cao Z, Simon T, Wei SE, Sheikh Y. Realtime multi-person 2D pose estimation using part affinity fields. Paper presented at: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); 2017 Jul 21-26; Honolulu, HI, USA. Piscataway (NJ): IEEE; 2017;1302-10.
    Pubmed KoreaMed CrossRef
  28. Badave H, Kuber M. Evaluation of person recognition accuracy based on OpenPose parameters. Paper presented at: 2021 5th International Conference on Intelligent Computing and Control Systems (ICICCS); 2021 May 6-8; Madurai, India. Piscataway (NJ): IEEE; 2021;635-40.
    CrossRef
  29. Raaj Y, Idrees H, Hidalgo G, Sheikh Y. Efficient online multi-person 2D pose tracking with recurrent spatio-temporal affinity fields. Paper presented at: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2019 Jun 15-20; Long Beach, CA, USA. Piscataway (NJ): IEEE; 2020;5686-96.
    CrossRef
  30. Pusara A, Heamawatanachai S, Sinsurin K, Jorrakate C. Reliability of a low-cost webcam recording system for three-dimensional lower limb gait analysis. Int Biomech 2019;6(1):85-92.
    Pubmed KoreaMed CrossRef
  31. Bashinskaya B. Effects of obesity on walking patterns and adaptability during obstacle crossing. Boston (MA): Boston University; 2011. Doctoral Dissertation.
    CrossRef
  32. Williamson J, Liu Q, Lu F, Mohrman W, Li K, Dick R, et al. Data sensing and analysis: challenges for wearables. Paper presented at: The 20th Asia and South Pacific Design Automation Conference; 2015 Jan 19-22; Tokyo, Japan. Piscataway (NJ): IEEE; 2015;136-41.
    Pubmed KoreaMed CrossRef
  33. Zhu S, Anderson H, Wang Y. Reducing the power consumption of an IMU-based gait measurement system. In: Lin W, Xu D, Wu J, He Y, Cai J, Ho A editorss. Advances in multimedia information processing, PCM 2012. Berlin: Springer; 2012;105-16.
    CrossRef
  34. Prasanth H, Caban M, Keller U, Courtine G, Ijspeert A, Vallery H, et al. Wearable sensor-based real-time gait detection: a systematic review. Sensors (Basel) 2021;21(8):2727.
    Pubmed KoreaMed CrossRef
  35. Cho YS, Jang SH, Cho JS, Kim MJ, Lee HD, Lee SY, et al. Evaluation of validity and reliability of inertial measurement unit-based gait analysis systems. Ann Rehabil Med 2018;42(6):872-83.
    Pubmed KoreaMed CrossRef
  36. Zhong Z, Chen F, Zhai Q, Fu Z, Ferreira JP, Liu Y, et al. A real-time pre-impact fall detection and protection system. Paper presented at: 2018 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM); 2018 Jul 9-12; Auckland, New Zealand. Piscataway (NJ): IEEE; 2018;1039-44.
    CrossRef
  37. Ahn S, Choi D, Kim J, Kim S, Jeong Y, Jo M, et al. Optimization of a pre-impact fall detection algorithm and development of hip protection airbag system. Sens Mater 2018;30(8):1743-52.
    CrossRef
  38. Oh D, Lim W, Lee N. Concurrent validity and intra-trial reliability of a Bluetooth-embedded inertial measurement unit for real-time joint range of motion. Int J Comput Sci Sport 2019;18(3):1-11.
    CrossRef
  39. Zhu R, Zhou Z. A real-time articulated human motion tracking using tri-axis inertial/magnetic sensors package. IEEE Trans Neural Syst Rehabil Eng 2004;12(2):295-302.
    Pubmed CrossRef
  40. Wei W, Kurita K, Kuang J, Gao A. Real-time 3D arm motion tracking using the 6-axis IMU sensor of a smartwatch. Paper presented at: 2021 IEEE 17th International Conference on Wearable and Implantable Body Sensor Networks (BSN); 2021 Jul 27-30; Athens, Greece. Piscataway (NJ): IEEE; 2021;1-4.
    CrossRef
  41. Raab FH, Blood EB, Steiner TO, Jones HR. Magnetic position and orientation tracking system. IEEE Trans Aerosp Electron Syst 1979;5:709-18.
    CrossRef
  42. Hashi S, Toyoda M, Yabukami S, Ishiyama K, Okazaki Y, Arai KI. Wireless magnetic motion capture system for multi-marker detection. IEEE Trans Magn 2006;42(10):3279-81.
    CrossRef
  43. Kanetaka H, Yabukami S, Hashi S, Arai KI. Wireless magnetic motion capture system for medical use. In: Sasano T, Suzuki O editorss. Interface oral health science 2009. Tokyo: Springer; 2010;329-31.
    CrossRef
  44. Roetenberg D, Baten CT, Veltink PH. Estimating body segment orientation by applying inertial and magnetic sensing near ferromagnetic materials. IEEE Trans Neural Syst Rehabil Eng 2007;15(3):469-71.
    Pubmed CrossRef
  45. Wu T, McGinley J, Duffy V, Liu L. Application and validation of a mechanical motion capture-based industrial ergonomics system. Paper presented at: 2005 Digital Human Modeling for Design and Engineering Symposium; 2005 Jun 22-27; Iowa City, IA, USA. Warrendale (PA): Society of Automotive Engineers, 2005; 2005.
    CrossRef
  46. Rahul M. Review on motion capture technology. Glob J Comput Sci Technol 2018;18(1):23-6.