시스템 아키텍처

서비스 모델

포즈 인식 기술

포즈 식별 유형에 따라 두가지로 구분된다.

Dense Pose

인체의 외형을 모두 식별하기는 기술로 인체의 움직임, 크기를 식별하는데 사용된다.

https://github.com/facebookresearch/DensePose

Untitled

Keypoint Pose

일반적으로 포즈 식별은 keypoint 식별을 의미하며 인체의 관절지점을 중심으로 식별하는 방법

스포츠, 인체 움직임을 식별하기 위해 관절의 움직임을 식별하는 방법으로 활용

Keypoint는 데이터셋, 모델에 따라 식별하는 갯수가 상이하다.

포즈를 추정하는 방법은 Y로 예측하는 Regression 기반, 이미지 전반에 대한 분석을 통해 식별하는 Heatmap 기반으로 구별된다.

2D Pose Estimation

OpenPose

가장 잘 알려진 기본적인 모델로, 25개의 키포인트를 식별한다.

keypoint 식별에 대한 오류가 높으며 성능 오버헤드가 높아 최근 많이 활용되지 않는다.

https://cmu-perceptual-computing-lab.github.io/openpose/web/html/doc/md_doc_02_output.html

Untitled

Stacked-Hourglass Network

2d Pose 식별 구조에서 가장 좋은 성능을 보이는 포즈 식별을 위한 아키텍처 제시

Hourglass를 스택 형태로 쌓은 모습으로, 다양한 pose estimation의 백본으로 활용

https://github.com/anibali/pytorch-stacked-hourglass

3D Pose Estimation

방식은 크게 이미지→3D 포즈, 이미지→2D포즈→3D포즈, 형태의 기술 유형으로 구분된다.

CLIFF: Carrying Location Information in Full Frames into Human Pose and Shape Estimation (Dense기반)

https://github.com/huawei-noah/noah-research/tree/master/CLIFF

Untitled

Exploiting Temporal Contexts with Strided Transformer for 3D Human Pose Estimation (Keypoint 기반)

https://github.com/Vegetebird/StridedTransformer-Pose3D

Untitled

경량화 기술 (CPU에서 성능 30FPS이상 보장)

PoseNet

MobileNet을 기반으로 하는 가장 기본적인 모델.

이미지를 채널로 구분하여 처리하고, Heatmap을 구성하여 인체의 포즈 위치를 식별

히트맵이 복잡하면 세밀한 분석이 가능하지만 성능 저하가 발생하고, 히트맵이 단순하면 정교한 포즈 식별 어려움

Untitled

BlazePose (Mediapipe, Google)

구글이 인수한 Mediapipe에서 개발한 기술로, 모든 것을 딥러닝을 통해 처리하지 않고, 일부는 시뮬레이션을 통해 성능 보장

빠른 속도와 안정성을 보이지만, 1인만 식별할수 있는 한계점

https://google.github.io/mediapipe/solutions/pose

Untitled

LitePose

최근, BlazePose의 단점을 극복하며 해결할수 있는 기술을 제시

Pose Estimation에서 우수한 성능을 보이는 HigherHRNet을 경량화하기 위해 모델의 파라메터 테스트를 통해 적절한 모델을 크기를 찾아 경량화 성공

https://github.com/mit-han-lab/litepose

Untitled

포즈 분석 기술

자세를 분석하는 것은 단일 Pose Estimation 기술로만 이루어지기 어렵다.

기본적으로 포즈식별은 이미지에서 키포인트만을 식별하고 있고, 이미지마다 사람의 위치, 인체의 크기가 상이하므로, 식별된 키포인트로 인체의 움직임을 식별하는 것은 어렵다.

따라서, 가장 대표적으로 포즈 분석을 위해 사용되는 방법은 키포인트간의 각도 정보를 이용해 팔을 넓게 폈는데, 접었는지, 어느정도로 움직였는지 등을 판단할수 있는 방법이 널리 사용된다. (구글의 Mediapipe의 가이드라인)

https://google.github.io/mediapipe/solutions/pose_classification.html

Untitled

유사 서비스 및 앱

사이버 태권도 | #1 집에서 온라인 무술 훈련 프로그램

HIT Coach - The AI martial art coach app that uplift your skills

참고 문헌 (일단은 분류 없이)