데일리게임은 지난 20일(미국 현지 시각) 'GDC'가 열리고 있는 미국 샌프란시스코 모스콘 센터 인근에 위치한 유니티 사옥에서 온마인드 김형일 대표와 유니티 김범주 본부장을 만났다. 김형일 대표는 "유니티 디지털 휴먼 패키지 2.0의 훌륭한 최신 기술 덕분에 완성도 높은 'Y'와 'TK'를 만들 수 있었다. '수아' 업그레이드도 진행할 예정"이라며 "기술 발전이 이어지고 AI와 결합하면 5년 안에 정말 사람 같은 디지털 휴먼이 나올 수 있을 것"이라고 말했다.
김범주 본부장은 "한국에 있는 유망한 기업을 글로벌에 소개하려 하는데 첫 사례로 온마인드 'GDC' 발표로 이어져 뜻깊다"며 "게임뿐만 아니라 영화, 디지털 휴먼까지 많은 분야에서 보다 손쉽게 양질의 콘텐츠를 만들 수 있도록 적극 지원하겠다"고 밝혔다.
다음은 김형일 대표, 김범주 본부장과의 일문일답.
Q 양사가 긴밀한 협력 관계를 유지하고 있다.
A 김형일=설립한지 얼마 되지 않았지만 'CES'도 참가했고 유니티를 통해 'GDC'에 나올 수 있어 영광이다. 글로벌 기업으로 성장할 수 있는 계기가 될 수 있을 것 같다.
A 김범주=온마인드가 '수아'를 만들 때부터 지원 많이 해드리려고 노력했다. 유니티로 좋은 결과 만들고 계시다. 한국에 있는 유망한 콘텐츠 기업을 글로벌 시장에 소개해서 도움 드리려 하고 있는데 첫 사례로 온마인드 'GDC' 발표로 이어져 뜻깊게 생각하고 있다.
Q 유니티 엔진을 선택한 이유가 있다면.
A 김형일=아티스트로 개발을 시작했다. 아티스트들도 개발 수월하게 할 수 있어 유니티를 선택했다. 지금은 고도화된 부분도 있지만 아직까지는 쓰기 쉬운 면이 있다. 디지털 휴먼은 인간이 할 수 있는 부분을 많이 대체할 수 있어 많은 산업에서 쓰이고 있는 유니티가 안성맞춤이지 않을까 생각했다. 유니티가 고도화되면서 최신 기술 빠르게 써볼 수 있는 점도 장점이다. 버추얼 휴먼 피부 색감이나 그런 부분에서 디지털 휴먼 패키지 2.0 기술이 큰 도움이 됐다.
Q 'Y'와 'TK'에서 '수아'보다 나아진 부분이나 새롭게 적용된 기술이 있다면.
A 김형일='Y'와 'TK'가 이번 'GDC'에서 공개됐다. 둘 다 유니티 디지털 휴먼 패키지 2.0을 활용했다. 피부 셰이더나 루나 셰이더, 눈썹과 털들이 피부에 붙어 움직이는 어태치먼트 시스템이 적용돼 있다. 얼굴의 혈류 흐름이나 늘어짐과 수축을 측정할 수 있어 주름이나 혈류를 표현할 수 있는 기능이 적용됐고, 유니티 헤어도 사용됐다. 모든 버추얼 휴먼 관련 신기술이 다 적용됐다고 보면 된다.
수만 가닥의 머리카락은 인간 표현에서 가장 어려운 부분이다. 머리털 시뮬레이션은 난이도 높은 기술이다. 얇은 머리카락은 렌더링하기도 어렵다. 그런데 그 모든 것을 유니티 헤어가 해결해줬다. 유니티 헤어로 빠르고 정확한 머리카락 렌더링이 가능하다. 'TK'는 이 모든 기술을 사용했고, 실제와 구분하기 어렵다는 반응까지 나왔다.
페이셜 애니메이션 만들 때 지바 다이나믹스의 머신 러닝 기반 표정 생성 솔루션을 사용했다. 모델 얼굴이 있으면 표정을 자동으로 생성해준다. 불과 몇 시간만에 고품질의 표정을 생성할 수 있는 것을 확인했다.
'수아'를 처음 만들 때 손으로 한땀 한땀 만들었다면 지금은 많은 부분이 자동화됐다. 속눈썹은 스킨 어태치 먼트 헤어 시스템이 없으면 한땀 한땀 만들어야 한다. 굉장히 시간 오래 걸리는 작업인데 유니티 신기술을 통해 한방에 해결이 됐다. 미세한 얼굴 근육 표현도 작업량이 많을 수밖에 없는데 지바 다이나믹스를 통해 퀄리티는 높아지고 제작 시간은 훨씬 단축됐다.
Q 지바 다이나믹스 인수로 기대했던 효과는 달성했는지.
A 김범주=유니티가 '개발의 민주화'라는 캐치프레이즈로 유명해졌다. 게임뿐만 아니라 영화나 디지털 휴먼까지 모든 영역의 개발을 보편적으로 할 수 있게 하려 한다. 머신 러닝 기반으로 하면 페이셜 애니메이션의 어색함을 해결할 수 있다. 그런 문제 해결하기 위해 지바 다이나믹스를 선택했다. 많은 비용과 시간을 절감하면서 디지털 휴먼이나 VFX를 보다 저렴하게 이용할 수 있게 하려 했다. 온마인드 사례처럼 성과를 내고 있는 초창기다. 앞으로도 다양한 프로젝트 통해 더 넓은 영역으로 크리에이터들한테 전달될 수 있을 것이다.
Q 버추얼 휴먼 개발에 나선 계기는.
A 김형일=사이버 가수 '아담'이 20년 됐다. 아주 오래 전에 나온 개념이기는 하다. '아담'이 성공하지 못한 이유는 제작비가 너무 많이 들어서 감당할 수 없었다고 들었다. 엔진에서 실시간으로 캐릭터를 돌리면 제작비를 절감할 수 있다. 엔진이 이 정도 말전했으면 인간과 유사한 캐릭터를 실시간으로 돌릴 수 있겠다 싶었다.
처음 '수아' 만들 때는 엔진의 한계가 있어 캐릭터적인 디자인을 섞었는데 당시에도 리얼하고 예쁘다는 평가를 받았다. 그 정도 퀄리티의 캐릭터가 리얼 타임으로 움직이는 사례로는 국내 최초였다. 유니티 웨비나 통해 생중계하기도 했다.
유니티 디지털 휴먼 패키지 2.0과 유니티 헤어가 나오면서 정말 사람과 흡사한 형태의 캐릭터를 만드는 게 가능한 시점이 왔다. 'Y'는 더 개발할 여지가 있지만 'TK'는 실제 모델인 사람과 똑같이 만든 캐릭터다. 정말 높은 수준의 퀄리티를 유니티를 통해 구현했다. 유니티 엔진 상에서 초당 60번을 그릴 수 있다. 렌더링 걸어도 몇 분 걸리는 걸 실시간으로 돌릴 수 있는 유니티 기술에 감탄했다.
Q 온마인드의 차별화 포인트나 비교우위에 대해 말한다면.
A 김형일=온마인드는 친근하고 친숙하게 주위에서 볼 수 있을 법한 캐릭터 만드는데 중점을 두고 있다. 'Y'도 미인형은 아니지만 친숙하고 거부감 들지 않는 모습을 하고 있다. 그런 부분에서 기술을 갖고 있는게 온마인드의 장점이라 할 수 있다.
Q 앞으로 버추얼 휴먼의 발전 방향에 대해 말한다면.
A 김형일=눈에 보이는 모습으로는 한계까지 왔다고 생각한다. 사람과 구별이 불가능할 정도로 엔진에서 구현되고 있다. 일부러 사람과 엔진에서 나온 사람 사진 두 장을 올려놓은 적이 있는데 구별을 못했다. 사람다워지기 위해서는 움직이고 말을 해야 하는데 페이셜과 동작 모션 캡처를 얼마나 정교하게 하느냐가 중요할 것 같다. 감정 표현까지 더해지면 사람과 흡사한 캐릭터가 등장할 것이다. 거기까지는 시간이 더 걸릴 것 같지만 챗 GPT가 나오면서 방향을 정리해야 할 것 같다. 5년 안에는 사람과 흡사한 캐릭터가 나오지 않을까 생각한다.
Q 음성도 유니티 엔진 안에서 만들 수 있는지, 다른 노하우가 있는지 궁금하다.
A 김범주=유니티 안에서 음성 합성 엔진을 가져다 쓸 수 있다. 다양한 API를 가져와서 유니티 안에서 활용하는 개발자가 많다. 챗 GPT를 유니티 안에 가져와서 NPC 캐릭터에 연결해서 대화할 수 있게 하는 경우도 있다. 유니티는 기술 허브로 음성 합성이나 챗 GPT 등을 연결해서 쓸 수 있는 플랫폼을 만들어 뒀다.
A 김형일=SK텔레콤 에이닷 광고를 찍으면서 목소리를 인공지능화시키기는 했다. 그쪽 인공지능 부서와 협력해서 제작했고, 굉장히 일반적인 방식으로 만들었다.
Q 광고나 뮤직비디오 등 미리 짜여진 콘텐츠 위주로 활동하는 버추얼 휴먼이 많다. 더 길게 나갈 수 있는 콘텐츠도 준비 중인지.
A 김형일='수아' 초기 컨셉트도 아이돌 지망생이기는 했다. 라이브 콘서트를 여는 것이 목표였다. 지금도 그 생각에는 변함이 없지만, 걸림돌이 많다. 좋은 장비와 큰 공간, 손가락 캡처를 제대로 할 수 있는 장비도 필요하고 카메라 시스템이나 여러가지가 필요했다. 다소 늦기는 했지만 올해 안에 온마인드가 제대로 된 라이브 콘텐츠를 선보일 수 있지 않을까 생각한다.
지금이 시기가 더 좋다고 생각한다. 회사 내부적으로 시스템 구비를 완료했다. 회사 역량을 총동원해서 콘서트를 연다면 지금까지 없었던 새로운 콘텐츠가 나오지 않을까 생각한다.
Q 상대적으로 구버전이 된 '수아' 리메이크 계획은 없나.
A 김형일='수아'는 유니티 디지털 휴먼 패키지 1.0과 유니티 헤어가 섞여 있는 중간 단계 캐릭터다. 유니티 디지털 휴먼 패키지 2.0이 너무 좋게 나와서 업그레이드를 안할 수가 없겠더라. 신기술 나올 때마다 업그레이드를 할 수 있다는 게 디지털 휴먼의 장점이기도 하다. 'GDC' 끝나고 바로 업그레이드 작업을 할 예정이다.
Q 실제 모델이 존재하는 'TK' 활동 계획은.
A 김형일=실제 존재하는 모델의 동의가 필요한 것은 사실이다. 모델 분이 착하고 순한 분인데 외모가 우락부락하셔서 무서운 이미지가 있다. 반전 매력이 있어서 야쿠자를 그만두고 걸그룹에 빠져 걸그룹 댄스를 추는 사람으로 설정했다. 실제 모델은 춤을 잘 추지 못하지마 다른 사람의 춤을 그대로 넣을 수 있다.
Q 버추얼 휴먼 하나로는 애매할 수 있다. 배경 공간의 변화도 따라줘야 할 텐데.
A 김범주=유니티 테크 데모 '에너미즈'에서도 빛 처리에 신경을 많이 썼다. 어댑티브 프루브 볼륨 같은 반사 처리 기술을 강조했다. 캐릭터는 사실적인데 배경이 어색하면 안된다. 유니티는 빛 반사 처리 기술 등이 더 빨라지고 좋이지고 있기 때문에 레이 트레이싱이나 어댑티브 프루브 볼륨 같은 기술 활용해서 배경 처리에도 신경을 쓰고 있다.
나무나 풀 만드는데 쓰이는 스피드 트리도 도움이 딜 수 있다. 디지털 휴먼이 자연 속에서 활동할 수 있는데 광선 효과뿐만 아니라 스피드 트리도 사실적인 배경을 만드는데 큰 도움이 될 거라고 말할 수 있다.
Q 유니티 엔진이 더욱 쉬워진다고 해도 진입장벽은 있다. 교육 계획에 대해 말한다면.
A 김범주=교육이 정말 중요하다. 실시간 엔진의 기반을 이해하고 자유자재로 쓸 수 있게 만들기 위해 교육의 힘이 중요하다. 유니티 런이라는 사이트 통해 초보자부터 고급 이용자까지 도움 받을 수 있게 하고 있다. 한글화까지 해서 국내 이용자에게 제공하는 유니티 스퀘어도 있다. 학교나 기업에서 원하는 영역에 대해 커스텀화된 커리큘럼을 제공하는 교육팀도 따로 있다.
Q 'Y'의 활동 계획은.
A 김형일=아직 기획 단계에 있다. 구체적인 세계관이나 IP 활동은 차차 논의하고 있는 단계다. 제대로 외부 공개하기까지는 시간이 조금 걸릴 것 같다.
Q 힘들었던 부분에 대해 말한다면.
A 김형일=아주 사람과 흡사한 형태의 캐릭터 만드는 일 자체가 힘들다. 'TK'는 모델 스캔 받아서 모델링했는데, 스캔이 잘됐다. 'Y'도 원래 모델이 있었는데 스캔이 잘 되지 않아 새로 제작했다.
'수아'도 처음부터 만든 캐릭터이지만 쉐이더나 여러 제약이 있어 라이팅 표현이 잘 되지 않았다. 'Y'는 유니티 디지털 휴먼 2.0 패키지에서 쉐이더 업그레이드가 되면서 어느 정도 표현이 가능해졌다.
Q 마지막으로 한 마디 한다면.
A 김범주=AI 기술이 우리 생활에 녹아들고 있는 단계이다. 지금은 대부분 텍스트 기반으로 소통하고 있는데, 디지털 휴먼이 AI와 연동되면 실시간 대화를 음성으로 소통할 수 있는 때가 올 것이다. 온마인드 디지털 휴먼처럼 실시간으로 표정까지 표현 가능하다면 감정적인 캐릭터가 될 수 있을 것이다. 만들어진 콘텐츠뿐만 아니라 다양한 주제를 나눌 수 있는 친구 같은 관계로 나아갈 수 있을 것이다. 기업에서도 많은 관심 가질 것이고. 샵에서 디지털 휴먼이 상담을 대신 한다던지 많은 일이 가능할 것이다.
A 김형일=온마인드에서 디지털 휴먼을 만드는 방식은 풀 3D 방식이다. 딥페이크 등 다른 방식도 있지만 AI와 결합하기 가장 좋은 방식은 풀 3D 형태다. 다른 기술은 사진이나 영상으로 만드는 것이고. 온마인드는 풀 3D 디지털 휴먼 만드는 곳이고 인공지능과 결합에 굉장히 큰 장점이 있을 것 같다. 합성으로 만든 캐릭터는 한계가 있다. 라이브 콘서트도 열기 어렵고. 풀 3D로 가상 공간에 실체가 존재해야 실시간 콘텐츠 제작이 가능하다.
GDC게임기자클럽 공동기자단/이원희 기자 (cleanrap@dailygame.co.kr)
