기획연재 ① 전방위 카메라의 역사와 전망

<사진 3>은 그가 water camera 또는 fish-eye camera라고 부른 장치의 개념도이다. 그는 양동이 내부에 중간 턱(rim)을 만들고, 조리개(diaphragm)를 붙인 금속 원반(metal disk)과 단초점 렌즈(short focus lens)를 올려놓았으며, 양동이 밑바닥 쪽에는 사진 건판(plate)을 배치한 뒤, 양동이에 깨끗한 물을 가득 채우고 어두운 방에 놓았다. 양동이 위에는 얇고 투명한 유리판을 덮어서 물결이 일어나는 것을 방지하였다. 이 카메라의 노출 시간은 양동이 바깥쪽에 보이는 손잡이에 연결된 금속 컵으로 렌즈를 덮거나 열어서 조절할 수 있었다. 이후 렌즈 없이 바늘구멍(pinhole)이 뚫린 금속 원반만으로 더 좋거나 최소한 나쁘지 않은 영상을 얻을 수 있었다고 한다.

<사진 4>는 그의 논문에 실린 샘플 영상의 하나인데, 이 사진의 화각(FOV)은 원리적으로 정확하게 180°이다.
1922년 Reading 대학교의 물리학 교수인 W. N. Bond는 Wood 교수의 어안 카메라를 물을 사용하지 않는 형태로 개량하였다. 이 카메라는 유리공을 절반으로 자른 것과 같은 반구(hemisphere) 형상의 렌즈의 평탄한 면에 바늘구멍이 뚫린 얇은 스크린을 접합한 단순한 형태인데, 하늘의 구름이나 번개를 포착하는 것이 주목적이었다. 그런데, 이 렌즈의 F-수(F-number)는 40 정도이므로 사진을 찍기 위하여 오랜 노출 시간이 필요했을 것이다. 일반적인 카메라 렌즈의 F-수를 1.4에서 22 정도까지 바꿀 수 있다는 것을 생각하면 얼마나 어두운 렌즈인지 짐작할 수 있다.
1924년 캠브리지(Cambridge) 대학교의 Robin Hill은 Bond의 고안과 유사한 어안 렌즈의 조리개 앞에 음(-)의 메니스커스 렌즈 요소(negative meniscus lens element)를 추가하여 지평선 아래 20°까지 볼 수 있었는데(따라서, 어안 렌즈의 화각은 220°이다.), 이와 같은 어안 렌즈를 이용하여 높은 하늘에 떠있는 구름뿐만 아니라 지평선 근처에 있는 구름도 선명하게 포착할 수 있었다. <사진 5>의 윗 부분은 Hill이 개발한 전천(全天) 렌즈(whole sky lens)의 구조를 보여준다.

<사진 5>의 아래 부분은 전천 렌즈의 투사 방식(projection scheme)을 보여주는데, x-축은 어안 렌즈에 입사하는 입사광의 입사각(angle of incidence) φ이며, y-축은 그 입사광이 사진 건판에 도달한 지점, 즉 상점(image point)이 사진 건판의 중심에서부터의 떨어진 거리, 즉 상 크기(image height)이다. 이 그래프에서 입사각과 상 크기가 거의 비례하는 것을 볼 수 있는데, 입사각과 상 크기가 비례하는 투사 방식을 등거리 투사 방식(equidistance projection scheme)이라고 한다.
화각이 180°가 넘는 어안 렌즈는 일반적인 렌즈와 다른 투사 방식(projection scheme)을 가질 수 밖에 없다. 초등학교 미술시간에 배우는 원근법(perspective)에 맞게 피사체를 포착할 경우 직선은 항상 직선으로 포착된다. 바늘구멍 사진기(pinhole camera)는 원리적으로 정확하게 직선을 직선으로 포착한다. 이와 같이 직선을 직선으로 포착하는 렌즈를 직선수차보정(Rectilinear) 렌즈라고 한다. 직선수차보정 렌즈가 흔히 말하는 왜곡이 없는 렌즈이다.
그런데, 직선수차보정 렌즈는 원리적으로 화각이 180°를 넘을 수 없다. 그래서 어안 렌즈는 직선수차보정 투사 방식(rectilinear projection scheme)이 아닌 등거리 투사 방식을 갖도록 설계한다. 그리고, 실제 어안 렌즈의 투사 방식과 등거리 투사 방식과의 차이를 f-θ distortion(왜곡)이라 하는데, 여기서 f는 렌즈의 초점 거리(focal length)이고, θ는 입사광의 입사각이다. 일반적으로 f-θ 왜곡이 적을수록 좋은 어안 렌즈이다. <사진 5>를 보면 이 비교적 단순한 구조의 어안 렌즈도 등거리 투사 방식을 훌륭하게 만족하고 있는 것을 알 수 있다.

<사진 6>은 Hill의 어안 렌즈로 포착한 어안 영상과, 이 어안 렌즈의 작용을 역으로 하여 얻은 normal view(Hill의 표현)를 보여준다. 쉽게 말하면, 같은 어안 렌즈 두개를 가지고 하나는 카메라를 만들고 하나는 환등기(projector)를 만든 뒤, 카메라에서 얻은 필름을 환등기에 장착해 원통형이나 반구형 스크린에 투사하면 다시 원래의 풍경을 스크린에서 볼 수 있다. Hill은 이를 정상 영상(normal view)이라고 표현했지만, 사실은 360° 전방위 영상의 일부분임을 알 수 있으며, 어안 렌즈의 개발 초기부터 전방위 영상을 얻기 위한 시도가 있었음을 알 수 있다.
그 후 사진기용 어안 렌즈를 개발하려는 다양한 시도들이 있었으나, 가장 큰 기술적 진전은 1964년 나고야(Nagoya) 대학교의 Kenro Miyamoto 교수가 Journal of the Optical Society of America(JOSA)에 화각 170.8°, F-수 7.98의 어안 렌즈 디자인을 게재한 것이었다. <사진 7>은 Miyamoto의 어안 렌즈 디자인을 렌즈 디자인 전문 프로그램인 Zemax로 모사한 결과이다.

<사진 7>에서 알 수 있듯이 Miyamoto의 어안 렌즈는 레트로포커스(retrofocus) 구조의 현대적인 어안 렌즈의 모습을 하고 있으며, f-θ 왜곡도 작은 편이다. 그러나, 렌즈의 매수가 10매로 많은 편이고, F-수도 7.98로 어두운 렌즈이며, 화각이 180° 이하이고, 해상도도 낮은 편이다.
1970년대에는 Nikon, Minolta, Olympus 등 주요 카메라 제조사들이 독자적인 어안 렌즈들을 선보였다. 그 중에서 나중에 Nikon Corporation으로 개명한 Nippon Kogaku K.K.(Japan Optical Industries Co., Ltd.)의 Yoshiyuki Shimizu는 1973년에 화각 220°의 어안 렌즈 특허를 미국에 등록시켰다. Nikon에서 1972년에 출시한 화각 220°의 어안 렌즈인 Nikkor 6㎜ f/2.8 fisheye lens는 사진작가들 사이에서 가장 희귀하고 갖고 싶은 렌즈 중의 하나로 손꼽힌다.
이 렌즈의 무게는 5.2㎏에 달하므로 카메라에 렌즈를 장착하는 것이 아니라, 렌즈에 카메라를 장착하며, 삼각대도 렌즈에 연결한다.

2006년 Sunex사의 Alex Ning은 F-수 2.0, 화각 180°의 소형 어안 렌즈(miniature fisheye lens) 특허를 미국특허청(USPTO)에 등록시켰는데, 그 회사의 렌즈 카탈로그에 의하면 실제 상품으로 판매되는 제품(DSL215)의 화각은 185°이다. <사진 9>은 이 어안 렌즈의 종단면 사진이다.
이 렌즈가 획기적인 점은 단 6매의 렌즈 요소만을 사용하면서도 화각이 180° 이상이고

, f-θ 왜곡도 적으며, 해상도가 우수하다는 점이다. 더구나 렌즈의 앞면에서부터 영상면(image sensor plane)까지의 길이인 렌즈의 전장(overall length)은 20.7㎜에 불과하다. 이와 같은 놀라운 특성은 부분적으로 고 굴절률 유리(1.910)를 사용하였기 때문이지만, 그 이전까지 발표된 경쟁사들의 제품이 주로 8매에서 12매의 렌즈 요소들을 사용하는 것을 생각하면 얼마나 놀라운 제품인지 알 수 있을 것이다.
그런데, 등록 특허 US 7,023,628대로 모사를 해보면 제 1렌즈 요소와 제 2렌즈 요소가 겹쳐버려서 물리적으로 제작이 불가능하다는 것을 알 수 있다. 그리고 <사진 9>에 보이는 DSL215의 렌즈 종단면 사진과 대응 특허를 비교해보면 전체적인 형상은 동일하지만, 그 구체적인 치수에서 차이가 있는 것을 알 수 있다. 필자의 추측으로는 마구잡이 복제가 매우 심한 렌즈업계에서 모방을 방지하고자 일부러 치수를 거짓으로 기재한 것 같다. 그럼에도 불구하고 이 렌즈를 그대로 복제한 렌즈를 어렵지 않게 찾아볼 수 있으니, Ning의 수고는 별 보상을 받지 못한 듯하다.
필자가 2007년에 전방위 영상 처리 알고리즘을 개발하고 이에 사용할 어안 렌즈를 구하고자 하였으나, 국내에서 제작된 소형 어안 렌즈들은 화각이 180°미만일뿐만 아니라, 해상도도 아주 저조하였다. 인터넷으로 검색하여 Sunex사의 어안 렌즈를 구매하고자 하였으나, 외국 업체들이 한국에서 무단 복제가 많이 이루어진다는 공포심을 가지고 있어서 필자에게도 판매를 거부하였다. 이에 미국의 유명한 렌즈 설계자이자 필자의 공동 연구자인 Milton Laikin씨에게 부탁하여 렌즈 샘플을 겨우 구매할 수 있었다.

이후 2008년에는 필자가 국내 최초로 화각 190°의 메가픽셀급 어안 렌즈(FEED802)를 개발하였는데8, <사진 10>은 이 렌즈의 사진이며 <사진 11>은 3차원 부분 절개 투시도이다.
필자가 어안 렌즈를 직접 설계하고 제작한 이유는 정확한 어안 렌즈의 설계도가 있다면 전방위 영상 처리 알고리즘을 구현하는데 있어서 아무것도 실험적으로 측정할 필요가 없다는 이점 때문이었다. 이 경우 유일하게 필요한 노동은 어안 렌즈의 중심과 카메라 내 이미지 센서의 중심을 맞추는 것이다.

당사는 2014년에 아파트의 지하 주차장 관제용으로 화각 190°의 어안 렌즈(FEED1407)를 개발하였는데, 특히 최대한 높은 해상도를 갖도록 설계하였다. <사진 12>는 그 당시 구할 수 있었던 최대 해상도의 IP 카메라에 장착하여 포착한 아파트 지하 주차장 전경인데, IP 카메라의 해상도는 1200만 화소이다.

<사진 13>은 <사진 12>의 오른쪽 아래에 보이는 자동차의 번호판 부근을 400%로 확대한 사진이다. 이 사진을 보면 주차장 중앙 통로 정중앙의 천정에 카메라를 장착했을 때 최소한 6대의 자동차 번호판을 동시에 인식가능한 정도로 포착함을 알 수 있다.

구형 번호판인 경우에는 한글 부분이 훨씬 작게 인쇄되어 있어 잘 보이지 않는 경우도 있는데, 일단 주차장에 진입하거나 아파트에 등록된 자동차는 자동차 번호가 DB에 등록되므로, 한글 다음의 4자리 숫자만으로 특정 자동차를 식별하는데 아무런 문제가 없을 것이다.
여담이지만 동일한 어안 렌즈를 200 화소급의 HDI 카메라에 연결하였을 때 번호판을 완전히 식별하는데 아무런 문제가 없었다. 오히려 200만 화소급의 아날로그 카메라로 500만이나 1200만 화소급 IP 카메라보다 더 선명하게 번호판을 볼 수 있었다.
이로 미루어 보면 고해상도 IP 카메라의 압축 알고리즘이 영상의 화질을 많이 떨어뜨리는 것으로 보인다.
지평면에 설치하여 하늘에 떠있는 구름이나 별자리를 포착하거나 지하 주차장 천정에 설치하여 주차된 자동차들을 모니터링 하고자 한다면 어안 렌즈의 화각은 180° 이상이면 된다. 하지만 화각이 딱 180°이면 시야가 좀 답답한 느낌이 들기 때문에 190° 정도가 적당할 것이다.
당사의 어안 렌즈 FEED802의 경우 화각을 190°로 설계하였지만, 정밀 측정해 본 결과 제작된 어안 렌즈의 실제 화각은 약 205°이었다. 화각이 190°라는 의미는 입사각이 95°인 입사광이 선명하게 상을 맺는다는 것을 보장한다는 의미이지, 이보다 입사각이 더 큰 입사광이 상을 맺지 않는다는 뜻은 아니다. 굳이 화각을 정확하게 180°나 190°로 하고 싶다면 렌즈에 차양(shade)을 씌워서 화각을 제한하는 방법이 있다. 이 경우 차양으로 인하여 얻어진 어안 영상의 경계면이 선명하게 되는 추가적인 장점도 있다.

그런데, 원탁 위에 놓아서 원탁 주위에 모인 회의 참가자들을 모두 포착하거나, 경찰 순찰차 위에 설치하여 도로 주변의 상황을 모두 기록하고 싶다면 어떻게 하여야 할까? 한 가지 방법은 헝가리의 Pal Greguss 교수가 발명한 PAL(Panoramic Anular Lens) 같은 전방위 렌즈를 사용하는 것이다. <사진 14>는 PAL 렌즈를 들고있는 Pal Greguss 교수의 모습이며, <사진 15>는 PAL 렌즈의 대락적인 구조를 보여준다.
세계적인 대기업 가운데 일본의 Sony는 유일하게 오래전부터 전

방위 카메라에 깊은 관심을 가져 왔으며, 한국에도 등록된 Sony의 전방위 카메라 관련 특허들이 있다. Sony는 2003년에 영상 처리 기반의 전방위 카메라를 선보였는데, 이 카메라는 어안 렌즈를 사용한 버전(RPU-C352)과 PAL 렌즈를 사용한 버전(RPU-C251)이 있다. C352는 천정에 장착하기 위한 제품이며, C251은 탁자 위에 놓기 위한 제품이라고 한다.
PAL 렌즈는 그 구조의 복잡성으로 인하여 제작이 매우 곤란하다는 단점이 있다. 특히 제1 렌즈 요소의 구조가 매우 복잡하여 정확하게 가공하기가 어려울 뿐만 아니라, 일부분은 무반사 코팅(AR coating: anti-reflection coating)을 해야 하고, 일부분은 거울 코팅(mirror coating)을 해야 하므로, 어려움이 배가된다.

C251에 장착된 PAL 렌즈는 지평선 아래 17°까지 볼 수 있다고 하는데, 어안 렌즈의 화각이 180°+(2×17°)=214°가 된다면 PAL 렌즈와 동일한 영역을 볼 수 있다. <사진 16>은 당사가 2009년에 세계 최초로 상용화한 화각 240°의 어안 렌즈의 광학적 구조 및 광선의 경로를 보여주며, <사진 17>은 이 렌즈의 사진이다.

<사진 18>은 PAL 렌즈를 장착한 200만 화소급 USB 카메라를 승용차 지붕에 설치한 모습이며, <사진 19>는 이 카메라로 얻은 주변의 풍경이다. 은색으로 보이는 고리(ring)는 렌즈에 포착된 승용차 지붕이다. 따라서, 렌즈의 윗부분이 승용차 지붕에서 10cm 정도 올라갔음에도 불구하고 승용차 지붕에 가려서 더 많이 보지 못하였음을 알 수 있다.
구글의 무인 자동차를 보면 지붕에 설치된 레이더가 상당히 높이 설치된 것을 볼 수 있는데 아마 같은 이유에서일 것이다. <사진 20>은 <사진 19>의 왼쪽 부분을 확대한 것인데, 이와 같은 어안 렌즈를 장착하여 승용차 주변을 모두 볼 수 있음을 알 수 있다.