스마트폰에서 카메라는 가장 많이 쓰이는 기능 중 하나다. 카메라 성능은 스마트폰 선택에 있어 주요 기준으로 제조사도 가장 신경 쓰는 부분이다. 하드웨어 관점에서 중요한 디지털카메라 성능은 센서 크기다. 스마트폰에서 카메라 센서 크기는 내부 공간 한계로 제약이 상당히 크다. 그런데도 결과물은 그 이상이다. 올해 출시된 전략 스마트폰을 살펴봐도 다양한 기술을 활용해 카메라 성능을 끌어 올리고 있다.

김태우 넥스트데일리 기자 tk@nextdaily.co.kr

최근 출시된 애플 아이폰11 프로 시리즈는 처음으로 세 개 카메라를 장착했다. '인덕션'이라는 별명이 붙을 만큼 디자인 측면에선 아쉽지만, 써본 사람은 한결같이 카메라 칭찬을 아끼지 않는다. 애플뿐만이 아니다. 삼성전자도 올해 출시한 갤럭시 S10과 노트10에 트리플 카메라를 장착했고, LG전자는 이미 작년에 내놓은 V40 씽큐에 트리플 카메라를 쓰기 시작했다(하반기에 내놓은 V50S 씽큐 카메라는 듀얼이다).

우선 제조사가 스마트폰에 카메라 수를 늘리는 건 넓은 화각을 제공할 수 있어서다. 스마트폰 카메라는 렌즈를 교환할 수 없기 때문에 화각이 고정이다. 현재 트리플 카메라에는 망원과 초광각 카메라로 구성되고 있다. 특히 애플은 아이폰11 프로 시리즈의 세 개 카메라 전환을 매끄럽게 연결해 하나의 카메라를 쓰는 사용자 경험을 제공하고 있다. 더 많은 카메라를 장착한 스마트폰도 있지만 세 개 카메라 적용은 이제 스마트폰에서 보편적으로 쓰인다. 카메라가 하나 더 늘어난 네 개가 된다면 어떻게 구성이 될지 궁금해진다.

아이폰11 프로 시리즈의 카메라 중 와이드 카메라 제원을 보면 100% 포커스 픽셀이라는 설명이 있다. 포커스 픽셀은 애플이 아이폰6을 내놓을 때부터 쓰기 시작한 것인데, 카메라 AF(자동 초점)를 빠르게 잡아주는 역할이다. 포커스 픽셀이라는 말로 포장하긴 했지만 방식은 위상차 AF를 쓰는 것이다. 디지털카메라에서 위상차 AF는 별도 AF센서를 활용하지만 스마트폰에서는 AF센서를 따로 넣을 수 없기 때문에 센서 일부 픽셀을 위상차 AF로 활용하는 방식을 쓴다. 그만큼 화질에 저하가 생길 수 있는 요소다.

캐논은 이미지 센서 자체를 위상차 센서로 사용할 수 있는 듀얼 픽셀 CMOS AF 기술을 2013년에 개발했다. 이미지 센서 촬상 소자 하나를 둘로 나눠 각각의 소자가 빛 정보를 받아들이고, 이걸 위상차 센서처럼 작동해 초점을 맞추는 방식이다. 라이브뷰로 사진을 찍을 때도 초점을 빠르고 잡고, 촬상 소자가 AF 센서이기 때문에 화질 저하 문제도 없다. 센서 전체가 AF 기능을 해 동영상 촬영 시 움직이는 피사체를 따라 초점을 잡는 성능도 더 좋다. 듀얼 픽셀을 처음 적용한 제품은 2016년에 나온 갤럭시 S7이다. 이 후 구글 픽셀2, LG V50 씽큐 등 다양한 스마트폰 카메라에 쓰이고 있다. 아이폰은 그동안 듀얼 픽셀을 쓰지 않았는데, 이번에 처음 듀얼 픽셀을 와이드 카메라에 적용했다. 스마트폰 AF 기능이 이것 이상으로 좋아질 수 있을지 의문이다.

지금까진 스마트폰 카메라 하드웨어에 관한 이야기를 했는데, 분명 한계가 있다. 하지만 스마트폰에서는 이를 소프트웨어로 극복하고 있다. 인공지능(AI)이 밀접하게 작용한다. 아이폰11 시리즈에 새로이 추가된 딥퓨전은 A13 바이오닉 칩에 내장된 AI 연산 기능을 활용해 결과물을 뽑아낸다. 셔터 버튼을 눌리기 전에 이미 장노출 사진 4장, 단노출 사진 4장이 메모리에 담기고, 셔터 버튼을 누르면 노출값이 긴 사진을 한 장 더 찍어 총 9장 사진을 함께 처리한다. 노이즈는 줄이고, 세밀함은 살려낸 한 장의 결과물을 만들어낸다.

최근 발표된 구글 픽셀 4도 AI를 적극적으로 활용한다. 픽셀 4는 듀얼 카메라를 쓰는데 사진을 찍으면 AI가 프레임 안의 피사체를 파악해 최적 색을 찾아준다. 구글은 구글 포토나 구글 렌즈의 방대한 데이터를 머신러닝에 활용해 왔다. AI가 사진을 읽는 능력이 상당한 수준이며 마치 사람이 색을 판단하듯 결과물의 화이트 밸런스를 맞춰준다.

인물을 분리해 배경을 흐릿하게 만드는 기술은 이제 기본이다. 이를 넘어 배경에서 광원으로 인식되는 부분은 보케(Bokeh)로 만들어 버린다. 장노출을 활용한 전체 사진을 찍으면 배경과 피사체에 따라 적절한 사진 밝기도 만들어 낸다. 사람이 후보정으로 하던 일을 셔터를 누르는 순간 AI가 해버린다.

요즘 나오는 풀프레임 미러리스 디지털카메라와 스마트폰 카메라를 비교하는 건 무리다. 체급 자체가 다르다. 하지만 스마트폰 카메라는 어떤 환경에서도 별다른 촬영 기술이 없어도 그럴싸한 결과물을 만들어 내도록 진화하고 있다. AI와 결합은 하드웨어 자체 한계를 넘어 그 이상 결과물을 요술방망이처럼 만들어 내고 있다. 바야흐로 스마트폰 카메라는 새로운 단계로 나아가고 있는 셈이다. 과연 앞으로 AI가 어떤 기교를 보여줄지 기대된다.