※ 개인적으로 보고 적는 감상글이기 때문에 정확한 해석이 아니며, 추측성 글임을 참고하시기 바랍니다.
겉핥기 시리즈는 시그라프 내용을 하나하나 보고 해석해보는 '구경하기' 시리즈와는 달리 한 번 시청하고 나서 전체적인 흐름이나 다루는 주제만을 보는 시리즈입니다.
이번 영상의 주제는 실제 사진을 가지고 cloth simulation을 연산하는 주제에 대한 것 같다.
영상을 보면 캐릭터 모델의 움직임이 상당히 자연스러운데 이제 실제 사진을 이용해서 만든 거라고 한다. input motion을 보면 스켈레톤도 형성되어있다.
100개 이상의 수 많은 카메라로 전방을 찍어서 학습시킨다. 테스트 영상을 보면 정말 정교하다.
이전에도 NeRF라는 것을 이용해서 애니메이션을 만들거나, full-body로 실제 사람을 찍어 아바타를 생성하는 시도가 있었던 것 같다.
실시간으로 동적인 아바타의 움직임을 잡아내는 연구나, 아바타에 옷을 입히는 코덱에 대한 연구가 있었던 것 같다.
아바타의 동작에 위와 같이 cloth simulation으로 옷을 잡아당기면 늘어나거나 하는 것 같다.
photorealistic animation 구현을 동작과 모양 두 가지로 나누어 동작은 물리기반 시뮬레이션, 모양은 뉴럴 렌더링으로 구현하는 구조이다.
기술 구현 순서도를 표현하였는데, 일단 input pose 뼈대에 body avatar를 통해 body geometry를 생성하고, 이 avatar에 맞는 body texture도 생성한다.
body에는 cloth simulator로 인해 cloth geometry가 몸에 맞게 simulation될 수 있게 준비되고, body 정보를 통해 학습된 옷의 모델과 텍스처를 입혀 전체적인 모습을 완성하는 것 같다.
body와 clothing geometry사이의 ambient occlusion을 이용한다는 설명이 있는데, 이는 모델에서 들어가고 나온 공간에 대한 빛의 정도를 표현하는 맥락에서 있는 것 같다.
body를 기반으로 만든 의상의 geometry 실제 의상처럼 움직이지만 사실은 고정된 템플릿이라는 것을 말하는건가?
각 segment로 분리해서 reconstruction을 통해 template를 생성한다.
cloth mesh를 생성하고 나면, uv texture를 생성하고, uv texture를 통해 특정한 처리를 통해서 밀도 즉 두께를 만들어내는 것 같다.
output으로 나온 unwrapped texture가 옷이 움직임에 따라 주름의 명암 텍스처 등이 달라지는 것이 보인다.
옷 geometry를 texture로 만들기 위해서 이용한 network를 설명하는 것 같다.
cloth geometry를 이용해서 normal map을 만들고 diffuse light를 통해 texture를 만드는 과정인 듯 하다.
texture를 보는 specular 즉 시야의 위치에 따라서 처리하는 과정인 듯 하다.
cloth 와 body geometry를 이용해서 ambient occlusion연산을 하여 shadow map을 만드는 과정도 있는 것 같다. 이렇게 만들고 나면 texture와 합쳐서 옷감을 만들어내는 모델이 구성되는 것 같다.
해당 모델은 기존의 다른 모델보다 옷의 주름이 더 실감나게 표현되도록 한다.
옷에 추가되는 텍스처가 블러처리되어 보이는 문제도 해결되어 잘 나타나는 결과를 보인다.
다른 옷도 학습시켜 적용할 수 있다.
VR장비로도 export 가능하도록 구현한 모양이다.
multi-layer 즉 여러겹의 옷은 힘든 것 같고, 시뮬레이션 매개변수가 정확하지 않다고 한다.
