Apple Face ID 과연 얼마나 잘될까?

드디어 RGB-D 카메라가 대중들에 손에 가장 많이 들리는 폰중 하나인 아이폰X에 달려 나왔다. 키넥트가 매우 저렴한 가격에 처음나와서 게임시장은 물론 컴퓨터비전과 로봇비전 분야를 휩쓴지.. 7년정도 되었지만, 여전히 RGB-D 카메라는 Kinect를 이용한 게임을 하는 사람이 아니고서야, 대중들에게 친근하게 사용되는 기기는 아니었다. Google에서 Project Tango로 RGB-D 카메라를 사용자들에게 친숙한 태블릿등에 사용하기도하고, Intel에서 Real Sense를 무척 예쁘고 작게 잘만들어서 노트북등에 장착하여 보급을 해보고 있으나, 여전히 관련 분야에 있는 전문가/개발자들을 위한 전문 기기였을 뿐이었다. 이 유용한 센서가 보급이 되지 않는 큰 이유는 대중들에겐 그다지.. 필요가 없어서 였을 것이다. 보통은 사진 찍으면 사진 예쁘고 선명하게 나오는게 더 좋지 그 사진의 Depth정보가 왜필요하단 말인가? 어짜피 사람들의 시각정보 처리 능력은 컴퓨터 입장에서 보면 "갓" 이기 때문에, Depth 정보 없이 사진만 보면 이 사진에 배경이 뭔지, 사진에 누가 있는지, 어떤게 멀리 있고 가까이 있는지 알 수 있으니까..

그래서 개인적으로는 RGB-D 카메라는 로봇분야에서 널리 쓰이다가, 비전관련 소프트웨어/하드웨어 기술의 발전으로 스테레오 비전이나 그냥 무지 좋은 RGB카메라 하나를 이용하는 방향으로 발전해 나가지 않으려나 생각하고 있었다.

하지만 여기서 Apple은 한가지 Application을 들고 나왔다. 바로 Face ID!!

아이폰X 디자인의 유일한 흠 이라고 할 수 있는 터치 액정 상단부의 검은 배젤. 아마 디자이너들은 저 베젤을 뜯어 죽이고 싶을 만큼 없애고 싶었겠지만.. 그러려면 갤럭시 따라하듯 뒷면에 지문인식을 넣어줘야 하고.. 그럼 이미 카툭튀로 정신없는 뒷면이 더 정신 없어지고.. Face ID는 미래지향적이고 기술 선도 모습을 위해 넣어야 한다는 기술적/상품전략적 견해에 두손을 들고 포기 했을 것 같은 그 베젤에!! 내가 알고 있는한 가장 작은 IR Pattern Projector형 RGB-D 카메라가 장착되어 있고, 이 카메라의 주 사용용도는 일단은 Face ID 이다. 지문을 50,000명중 한명이 풀 수 있다면, Face ID는 1,000,000명중 한명이 풀 수 있다고 하니 수치적으로 보안성이 매우 높아보인다. 누군가는 그렇게 생각 할 수 있다.. 뭐 주인 사진 훔쳐서 보여주면 열리는거 아니야? 이건 100% 보장하는데 사진찍어서 초정밀 프린트로 출력한다고 해서 절대 Face ID를 해제 시킬 수는 없다. 그게 바로 Depth 라는 정보가 갖는 힘이다.

전면 카메라의 구조 (keynote 발표중)

여기서 잠깐 애플 전면 카메라가 Depth정보를 얻어내는 방법을 소개하자면 (키넥트 1과 유사한 방식), 우측에 있는 Dot Projector 에서 사람눈에는 보이지 않는 적외선 점들을 사방에 발사 시킨다. 그리고 그 발사 된 점들을 왼쪽의 Infrared Camera가 읽고, 투영 된 적외선 점들 간의 거리정보/왜곡 정보를 이용하여 해당 부근의 깊이정보를 파악하는 것이다. 그리고 이렇게 파악 된 깊이 정보는 Front Camera와 같이 합쳐져서, 모든 픽셀이 칼라정보인 RGB정보 뿐만 아니라  Depth정보를 함께 갖게 되는 것이다. 즉 사진을 보는데 그 사진에 있는 각 점들이 카메라로 부터 얼마나 떨어져 있는지 알게 되는 것이고, 이것을 3D 가상 공간에 투영하면 얼굴이 3D 스캐너로 스캔하듯 둥둥 떠있게 만들 수 있다.

RGB-D 카메라를 이용하면 요로코롬 얼굴정보가 들어온다는 것이다 (이것보단 보통 저퀄리티)

그렇기 때문에 2D 평면의 얼굴 사진을 RGB-D카메라가 캡쳐한다면 저런 입체 모양이 아니고, 아 이놈 평면이네~ 아니네~ 하고 별 다른 연산 없이 바로 걸러 낼 수 있다. 그래서 얼굴이 정말 똑같은 쌍둥이가 아니고서야 보통의 사람들이 이 Face ID를 풀기는 어렵지 않나 싶은데, 애플의 발표에서는 위에 그림에서 처럼.. 할리우드의 전문가들이 만든 얼굴 모형으로도 안풀린다고 주장하니.. 과연 어떤 특징점들을 어떻게 사용했는지 그 원리가 조금 궁금하다.

1억개의 데이터를 가지고 학습을 했다고 하니 꽤 Robust하리라 보고 있다. 안경/모자/헤어스타일 변화에도 invariant 한건 주로 턱선/콧날/입술모양/얼굴 부위별 피부톤 (화장고려) 정도려나.. 딥러닝을 활용했다면, 실제 어떤 Feature가 사용되는지도 잘 모르겠지만… 하지만 1억개의 얼굴 데이터는 주로 사진(Depth정보가 없는) 정보이고, Depth를 이용한 사람별 ID는 별도로 학습했을 가능성을 점쳐본다. 1억명의 RGB-D 얼굴 정보가 있다는 건 들어본적이 없다.. (대중적이지 않은 RGB-D 센서이기에, 내가 얼굴인식쪽은 잘 몰라서 모르고 있는 것일 수도..)

아무튼 애플은 미완성된 기술을 시간에 쫓겨서 부랴부랴 막 넣는 스타일은 아니기 때문에 여러가지 테스트를 많이 거쳤을거라 보지만 그동안 다양한 RGB-D 카메라를 써온 입장에서 몇가지 기술적 우려사항들 (또는 어떻게 풀었을지 궁금한 부분들) 이 있다.

1. 보통 RGB-D 카메라는 특정 Range에서만 작동하기 때문에 너무 멀거나 가까우면 Depth정보가 제대로 들어오지 않는다. 실제 keynote 데모에서 보여졌던 모습을 보면 다들 Face ID로 잠금을 해제하기 위해 아이폰을 약간 멀찌감치에서 지켜보는 모습을 보여줬는데, 아마 그정도 거리가 가장 Optimal한 거리일 거고, 그보다 가깝거나 멀면 Noise가 꽤 낄 가능성이 있다. 특히 얼굴을 어디에 위치시켜주세요.. 이런 가이드가 없다보니.. 별의 별 사람들이 요상한 자세로 Face ID 잠금을 풀려고 시도 할텐데.. 이 Range문제가 얼마나 잘 해결 되었을지..

2.  키넥트(적외선 Projection) 방식의 카메라가 가장 크게 겪는 대낮의 야외에서의 문제를 어찌 풀었을지는 지켜봐야 할 듯 싶다. 야외에는 태양광이 가시광선 뿐만아니라 자외선/적외선을 무진장 쏘아내기 때문에, 휴대폰에서 쏘는 적외선 Pattern은 태양광에 잡아먹힌다. 노출을 만땅으로 시킨 카메라마냥.. 적외선 패턴이 하나도 잡히지 않게 된다. 과연 태양을 이길 수 있을지.. 아니면 너무 밝아요~ 약간 어두운데서 잠금을 풀어주세요~~ 할지.. 궁금.. (Depth 센서는 오히려 어두운 환경에서 작동을 더 잘함- 키넥트게임 할 때도 불끄고 해야 엄청 잘됨 ㅎㅎ)

3. 정밀 3D 스캐닝을 통한 잠금해제, 위에 할리우드 얼굴 모형은 잠금해제에 실패 했지만, 정말 좋은 3D 스캐너로 전면부만 찰칵 찍고, 이를 컬러 재현율이 좋은 (아직은 그리 좋은게 없는 걸로 알고 있다만..) 3D 프린터를 이용해 출력한다면 잠금해제가 쉬울 수 있다. 지문은 의외로 훔치기 쉽지 않고 복원이 어렵지만, 사람의 3D 얼굴은 장비만 된다면 휴대폰을 훔치는 것과 동시에 주인의 얼굴을 Real Sense만큼 작은 3D 카메라로 찰칵 찍어서 해제하는.. 첩보영화 같은 일이 의외로 쉬울 수도 있다는 점...은 Face ID가 오랫동안 생체보안 방식으로 남기 어렵게 만드는 부분이라고 본다. 어쨌든 보안도 보안이지만.. 폰을 쓰고 싶을 때  대기시간 없이 잠금이 해제 되는 것도 무엇보다 중요하기 때문에.. 그 Trade off를 끊임없이 고민해야 되지 않나… 생각해본다.

아무튼 Face-ID와 더불어 소개 된 Animoji는 정말 탐나는 기능이다. 게임이나 FX영화에서 주로 사용 되던 애니메이션에 Facial Expression을 담는 기술이 작은 휴대폰에 들어 오다니..(물론 이건 요즘은 Depth카메라 없어도 꽤 높은 수준의 인식률로 잘 된다) 써보고 싶다 흐억..

아무튼 이 Depth 카메라가 향후에는 전/후면 다 붙어서 많은 사람들이 깊이 정보가 있는 사진을 찍게 만들고.. 그걸 가지고 자신의 여행기록을 3D로 담아내고.... 그 기록을 VR로 실제 그곳에 있는 것처럼 여행하고… 친구들에게 공유하고… 하는 시대가 한발자국씩 다가오고 있는 것 같다.

Kinect를 이용하여 집의 3D Data를 모으는 중

(연구레벨에서는 이미 많은 성과가 이루어졌다만.. 아직까지는 대중에게 크게 쓸데는 없는 상태.. 하지만, 연구레벨의 로봇에겐 매우 유용!!한 상태..)

https://www.youtube.com/watch?v=71eRxTc1DaU&feature=youtu.be