[2018 CVPR] Look at Boundary: A Boundary-Aware Face Alignment Algorithm #172
Labels
Data
Related with data
Discriminative
Discriminative Modeling
Vision
Related with Computer Vision tasks
Human face boundary line을 이용하는 boundary-aware face alignment algorithm인 LAB를 제안한 논문
(해당 논문에서는 facial landmark detection을 face alignment라고 표현)
저자들은 3가지 질문들과 그에 대한 답을 위주로 논문을 전개
저자들은 human face는 다양한 pose, occlusion에서도 ambiguity가 없기에, unique facial structure을 사용하면 facial landmark localization에 도움이 될 것이라고 생각했음
따라서, human face의 geometric structure를 represent할 수 있는 facial boundary를 이용
2 step으로 face alignment task 수행
1st step (boundary heatmap estimator) : estimate facial boundary heatmaps
2nd step (bounary-aware landmarks regressor) : derive facial landmarks using boundaries
boundary estimation 성능이 좋아지면 landmark localization 성능도 좋아짐
또한 evaluation을 unify하기 위해 new large dataset Wider Facial Landmarks in-the-wild (WDLW)을 제안함
중요하다고 생각되는 부분만 간단히 요약
1. Boundary-Aware Face Alignment
Facial boundary는 head pose, dataset에 무관하게 잘 정의되는 detailed, well-defined geometric structure representation이며, landmarks와도 밀접한 관계가 있음
(landmarks는 boundary lines에 위치하기에)
따라서, facial boundary를 예측하고 이를 이용하여 landmark regression을 하는 순서로 모델을 설계
(facial boundary estimation → landmark regression)
1.1. Data preprocessing
Landmark로부터 boundary heatmap을 생성하기 위한 전처리 과정은 다음과 같음
(threshold :
전처리 과정의 detail이 부족해서, 만약 재현한다면 어떻게 해야할지 좀 고민해봐야할듯
(코, 왼쪽 눈과 같이 각 부위를 어떻게 아는지 + 어떻게 interpolate하는지)
1.2. Boundary heatmap estimator
intra-level message passing : different boundary heatmaps간의 정보를 공유
(visible boundary에서의 정보를 occluded boundary로 전달)
inter-level message passing : lower stack에서의 message를 higher stack로 전달
(다양한 depth의 stack에서도 boundary heatmap의 quality를 유지하기 위해 사용)
1.3. Boundary effectiveness discriminator
Boundary heatmap estimator를 MSE loss로 학습하다보니, blurry하고 implausible한 prediction이 나오는 경우가 종종 있음
이를 극복하기 위해, GAN에서의 adversarial learning을 적용
즉, boundary effectiveness discriminator는 prediction과 ground truth를 잘 구분하도록 학습하고, boundary heatmap estimator는 boundary effectiveness discriminator를 속일 수 있을 정도의 좋은 quality를 내도록 학습
1.4. Boundary-aware landmarks regressor
Boundary heatmap의 rich information을 fully utilize하기 위해, multi-stage boundary heatmap fusion을 사용
1.4.1. Input image fusion
Heatmap을 input image에 곱한 masked image와 original input image를 concat해서 input으로 넣어줌$M_T$ 에서의 T가 뭔지 안나와있는데, 왼쪽 눈썹, 코 같이 각 부위별로 넣어주는건지? 싶음)
(여기서
Masked image는 background가 없어서 모델이 boundary 주변의 detailed texture에 집중할 수 있도록 해줌
Original input image가 가지고 있는 other valuable information을 유지하기 위해 concat해서 넣어줌
1.4.2. Feature map fusion
모델 중간중간마다 feature map에 boundary heatmap 정보를 fuse해주는 feature map fusion layer (FMF)를 넣어줌
참고로 transform function T는 boundary heatmap M의 dimension을 feature map size에 맞춰주기 위해 사용되며, hourglass structure subnet 구조를 사용함
2. Experiments
LAB의 성능이 좋으며, LAB + Oracle의 성능은 더 좋음
→ boundary information을 사용하는 것이 성능에 매우 중요하며, boundary가 정확할수록 성능이 좋아짐
LAB은 occlusion, pose, shape variations에 대해 robust함
이외에도 모델의 설계 관련 ablation study가 존재하는데, 이는 논문 참고
(ablation on boundary information, boundary information fusion, message passing, adversarial learning)
The text was updated successfully, but these errors were encountered: