디즈니, 고해상도로 얼굴을 바꾸는 딥러닝 기술을 개발

 

미국 '디즈니 리서치'와 '스위스 취리히 연방공과대학'의 연국팀이 개발한 'High-Resolution Neural Face Swapping for Visual Effects'는 영상속 얼굴을 다른 얼굴과 바꾸는 딥러닝 베이스의 알고리즘입니다. 빛이나 명도를 반영해 100만화소의 해상도로 출력합니다.

 

 

동영상속 인물의 특징을 유지하면서 얼굴만 바꾸는 방법은 딥러닝을 사용하여 큰 성과를 내고 있지만, 메모리의 한계나 학습순서의 불안정성, 데이터샘플의 선택 등, 고해상도 출력이 어려운 경우가 많습니다.

 

이번 방법은 얼굴의 변경을 고해상도 + 사실적으로 하는 자동 학습 아키텍쳐입니다. 명암과 빛(저주파조명)을 유지하는 합성스텝과 시간적으로 안정된 비디오 시퀀스를 생성하기 위한 랜드마크 안정화 알고리즘을 포함하고 있습니다.

 

 

우선 타겟 사진으로 부터 검출된 얼굴의 랜드마크를 특정해, 1024x1024의 해상도로 정규화 합니다. 그리고 정규화한 얼굴을 네트워크에 넣어 소스영상을 기반으로 한 마스크를 출력 후 보존합니다. 마지막으로 소스영상의 얼굴을 타켓영상의 얼굴영역에 합성. 화상간의 조명조건이 크게 다를 경우는 자연스러운 연결을 위해 콘트라스트의 양을 더 조절해 통합합니다.

 

이와 같이 학습한 모델은 고해상도로 조작할 때에 발생하는 흔들림이나 어색함, 시간적인 불안정성, 데이터의 조명조건이 다른 경우에도 일어날 수 있는 많은 문제를 극복하고 고해상도로 사실적인 합성영상을 생성 가능하게 합니다.