GenealogyModelProjector 개발일지 1편, 시스템 구성과 처리 파이프라인

GenealogyModelProjector 는 사진과 영상에서 인체 3차원 모델을 생성하는 도구이다. 본 편에서는 구현에 착수하기 전에 확정한 시스템 구성, 처리 파이프라인, 산출물 형식, 판올림 계획을 기술한다. 기준 인체 모델의 선정 과정은 본편 게시물에서 다루었다.

1. 시스템 구성

연산은 GPU 가 있는 장비에서 수행하고, 저장과 게시는 별도 장비가 담당한다. 장비별 역할은 다음과 같다.

의상과 표정 변경은 서버가 아니라 방문자 브라우저에서 수행한다. 따라서 게시 서버의 연산 부하는 파일 전송에 한정된다.

원본은 SMB 로 읽되 처리 전에 Windows PC 의 로컬 저장장치로 복사한다. 저사양 서버에서 영상을 직접 디코딩할 경우 해당 구간이 병목이 되기 때문이다.

2. 처리 파이프라인

단일 시점 영상을 입력으로 하며, 9단계로 구성한다.

C4 는 프레임마다 독립적으로 수행되므로 형상 계수가 프레임 간에 변동한다. C6 에서 이를 하나의 값으로 통합한다.

3. 형상 계수 최적화

한 인물의 형상 계수는 영상 전체에서 단일 값이다. 이 제약을 이용하여 다음 항목을 동시에 최소화한다.

• 2차원 키포인트 재투영 오차
• 분할 마스크와 투영 실루엣의 불일치
• 입력 신체 치수와 모델 측정값의 차이. 신장, 가슴둘레, 허리둘레, 엉덩이둘레를 사용한다
• 형상 사전분포 항. 비현실적 체형을 억제한다

프레임별 가중치는 C2 의 품질 점수에 비례한다. 정면 및 측면 관측 프레임에 높은 가중치를 부여한다.

치수 측정은 기준 모델의 정점 번호로 측정 평면을 정의하고, 중립 자세에서 해당 평면의 단면 둘레를 계산한다. 모든 개체가 동일한 메시 위상을 공유하므로 정의는 1회로 충분하다.

단안 영상에서 절대 크기는 원리적으로 결정되지 않는다. 신장 입력값이 척도 인자를 고정하는 역할을 한다.

4. 산출물 형식

신뢰도는 사용 프레임 수, 관측 각도의 범위, 의복의 여유량 추정치로 산출하여 함께 게시한다.

5. 웹 뷰어 기능 배치

제작 도구의 3차원 확인 창과 웹 뷰어는 동일한 Three.js 코드를 사용한다. 게시 전후의 표시 결과를 일치시키기 위한 조치이다.

6. 판올림 계획

7. 제약 조건

• 절대 크기는 기준 물체나 신장 입력이 없으면 수 cm 이상의 오차를 가진다
• 의복 아래의 체형은 추정값이다. 여유량이 큰 의복에서는 둘레 치수의 신뢰도가 낮다
• 정지 이미지 1장에서는 자세와 비율까지만 복원한다. 체형 복원에는 다수의 관측 각도가 필요하다
• 실존 인물의 형상과 신체 치수는 초상권 및 개인정보 쟁점을 수반한다. 게시 대상 범위와 동의 절차를 공개 전에 확정한다