3D Pose, Motion, SMPL ...

NeRF를 위한 기본기 공부 이것저것 하는 중...

git issue에 조각글 던지고 있는데 슬슬 감당이 안되어서 블로그에 쓴다.

일단 정리하려는 것은,

- MOCAP 데이터 확인

- COLMAP 기능 간단하게 알아보기

- CMU learning3D 강의노트 체크, 논문 리스트업

- 그 외 살펴본 자료

 

---

일단은 모션 데이터 잠깐 찾아봤다.

AMASS
"AMASS: Archive of Motion Capture As Surface Shapes"
ICCV 19
https://amass.is.tue.mpg.de/index.html

지금 AMASS Dataset에 있는 SFU mocap(SMPL+H G) subset 사용하고 있어서 이거 잠깐 보려고함.

 

TMI: 조사하기전 궁금했던 것

• Mocap Dataset 검색하면 뭐가 이렇게 많아? CMU Mocap도 있고 SFU Mocap도 있고 대체...
• 그리고 AMASS에는 SFU mocap dataset이 있다. 뭐임? 다른 mocap들은 뭐고 AMASS는 뭐길래 SFU가 들어있는거지
• https://mocap.cs.sfu.ca/ 이게 원래 SFU

AMASS 데이터셋

• Large scale 모션 데이터셋들이 나오고 있는데, 각각의 데이터셋끼리 body parameter가 통일이 안되어있어서 같이 활용하기가 어려움. 이걸 통일하기 위해서 MoSh++라는 방법을 제안했는데, 이게 기존 mocap 데이터들을 SMPL 형태로 변환하는 것 같다.
• unifies 15 different optical marker-based mocap datasets by representing them within a common framework and parameterization
•  We achieve this using a new method, MoSh++, that converts mocap data into realistic 3D human meshes represented by a rigged body model. Here we use SMPL [26], which is widely used and provides a standard skeletal representation as well as a fully rigged surface mesh.
• Our dataset is significantly richer than previous human motion collections, having more than 40 hours of motion data, spanning over 300 subjects, more than 11000 motions

사이트 들어가서 다운로드 보면 각종 mocap dataset들이 있다. 이름 누르면 원본 데이터셋 페이지로 연결되는 것 같고, 옆에 버튼 4개로 AMASS에서 변환한 데이터를 받을 수 있다.

그런데 SMPL+H G, SMPL-X {G, N}, Render 이렇게 4개가 있다. 무슨 차이임?

• 여기서 읽음 https://github.com/vchoutas/smplx
• SMPL+H: body + hand. https://mano.is.tue.mpg.de/  
  • MANO = hand model
  • SMPL + MANO = SMPL+H
  • 둘다 같은 논문. "Embodied Hands: Modeling and Capturing Hands and Bodies Together"
  • MANO is learned from around 1000 high-resolution 3D scans of hands of 31 subjects in a wide variety of hand poses. The model is realistic, low-dimensional, captures non-rigid shape changes with pose, is compatible with standard graphics packages, and can fit any human hand. MANO provides a compact mapping from hand poses to pose blend shape corrections and a linear manifold of pose synergies.
  • We attach MANO to a standard parameterized 3D body shape model (SMPL), resulting in a fully articulated body and hand model (SMPL+H).
• SMPL-X (SMPL eXpressive)
  • SMPL-X is a unified body model, with shape parameters trained jointly for the face, hands and body.
  • SMPL-X uses standard vertex based linear blend skinning with learned corrective blend shapes, has N=10475 vertices and K=54 joints, which includes joints for the neck, jaw, eyeballs and fingers.
  • https://smpl-x.is.tue.mpg.de/      

아무튼 궁금했던 파일

poses랑 trans 읽어와서 씀.

poses (429, 156)

trans (429, 3)

첫번째 dimension은 시간. 두번째 dimension이 SMPL+H 파라미터.

72까지가 smpl 파라미터고, 그 뒤에있는게 SMPL+H에서 추가된 것.

 

Q. 그럼 smplx를 불러오게 되어있는건 뭐고... faces는 뭐고

일단 models/smpl.py ㄱㄱ

 

이젠 본론으로 넘어가서 NeRF 기본기 관련 강의자료를 조지자