High-Resolution Neural Face Swapping for Visual Effects

내 맘대로 Introduction

 

딥페이크가 한창 유행할 시기, 2020년 디즈니에서도 연구했던 face swap 2D model이다. 이제는 4년 전 알고리즘이라 아주 낡은 기술이 됐다. 앞선 논문 읽다가 래퍼런스 달려있길래 그냥 간단히 읽어봤는데, 구석에 두긴 아까워서 초간단 메모만 남겨둔다.

 

메모

디즈니 연구팀은 예전부터 Auto encoder 구조를 엄청 좋아하는 것 같다. 개인적으로 엄청 효과적인 구조라고 생각하긴 하지만 이런 방식 논문이 자주 등장한다.

identity에 상관없이 human to latent로 보내는 encoder를 하나 shared weight로 학습해두고 decoder는 일부만 shared weight, 나머지는 사람 specific하게 N개를 따로 두는 구조.

1) 데이터를 1024 1024로 눈코입 기준으로 이미지 중앙에 얼굴이 위치하도록 normalization해서 준비 -> 아래 논문에서 상세설명 되어있지만, 이건 과거에 각종 off-the-shelf 알고리즘이 없을 시절이라 이제 굳이 볼 필요없음. 2) Auto encoder 통과 (decoder는 원하는 대상) 3) 이미지에 stitching. (denormalize)

내용이 길지만 shared encoder, seperate decoder를 주어진 모든 데이터를 활용해서 학습 완료 시키고 loss는 생성된 이미지를 마스크 영역만 SSIM으로 비교하면 끝.

2D face swap은 이미 완성된 수준이어서 이젠 그냥 과거의 유물 정도로 보면 될 듯.

shared encoder를 쓰는게 좋다. N=2라고해서 encoder 마저 speicific 하게 가면 더 잘 될 줄 알았는데 face prior를 오히려 더 못찾아서 성능 저하로 이어지나봄. 이 사실은 참고할 만 한듯.