센서와 렌즈

Nyquist Frequency에서의 이미징

<공식1>에 정의된 나이퀴스트 주파수(Nyquist Frequency)에서 이미징 처리를 시도해볼 수는 있다. 하지만 관찰하고자 하는 피처가 정확히 하나의 픽셀 위에 맞아떨어지기 때문에 나이퀴스트 한계에서는 이미징을 피하도록 주의해야 한다. 이미징 시스템이 ½ 픽셀까지 이동할 수 있다면, 관심 피사체는 두 개의 픽셀 사이에 맞아 떨어지면서 완전히 흐릿한 형체가 될 것이다.

이러한 이유로 나이퀴스트 주파수에서의 이미징은 권장되지 않는다. 서브 픽셀 보간법(sub-pixel interpolation)을 사용하지 않는다고 가정할 경우 일반적으로 나이퀴스트 주파수 절반에 해당하는 주파수에 서의 이미징이 대체로 권장된다.

부적절하게 설계되는 또 다른 가정으로는 사용 중인 센서의 나이퀴스트 주파수에서 콘트라스트가 20% 이상으로 충분하지 않을 시 렌즈가 특정 카메라와 사용하기 적합하지 않다는 것이 있다. 하지만 실제로는 그렇지가 않다. 앞서 언급했듯이 나이퀴스트 한계(Nyquist limit)에서의 이미징은 적절치 못한 예로서 여러 가지 문제를 유발할 수 있다. 일단은 렌즈가 카메라 센서에 적합한지 여부를 파악하기 위해 시스템 전체를 검토해봐야 하며, 이때 적합성 유무는 대체적으로 어플리케이션에 따라 달라질 수 있다.

머신 비전 시스템을 디자인하고 구현하는 데 있어서 굉장히 중요한 부분 중 하나는 카메라 센서와 이미징 렌즈의 상호 작용을 이해하는 것이다. 이러한 상호 관계를 최적화하지 못하고 종종 지나치는 경우도 있어 시스템이 갖는 해상도에 전반적으로 지대한 영향을 미치기도 한다. 카메라/렌즈의 부적절한 조합은 이미징 시스템에 들어가는 비용의 낭비로 이어질 수 있다. 안타깝게도 어느 어플리케이션에서든 렌즈와 카메라를 선택하는 일은 결코 쉬운 작업이 아니다.

신규 제조 역량과 향상된 성능을 활용할 수 있도록 더 많은 카메라 센서와 렌즈가 (직접적인 결과를 위해) 꾸준 히 설계 및 제작되고 있다. 이와 같은 신규 센서는 렌즈가 극복해야 할 몇 가지 과제를 제시해주어 올바른 카메라/렌즈의 조합을더 쉽게 이해할 수 있도록 만들어 준다.

우선적인 과제는 픽셀의 크기를 지속적으로 소형화하는 것이 다. 픽셀이 작다는 것은 일반적으로 시스템의 해상도 레벨이 높다는 것을 의미하지만, 신중을 기해 광학 부품을 사용할 경우 항상 그런 것만은 아니다. 시스템 내부에 회절이나 광학적 오류가 발생 하지 않는 완벽한 현실에서의 해상도는 단순히 픽셀 크기와 검사할 피사체의 크기만을 근거로 해야 한다.

간단히 요약하자면 픽셀 사이즈가 줄어들수록 해상도는 증가한다. 소형의 피사체라도 작은 픽셀로 분해가 가능하고 피사체 사이에 있는 공간들이 작아지 더라도 이러한 간격을 분해할 수 있어 이는 곧 해상도의 증가로 이어지게 된다. 여기에서는 노이즈나 기타 매개 변수는 참작하지 않는 굉장히 단순화된 모형으로 카메라 센서가 피사체를 감지하는 방법에 대해 다룬다.

뿐만 아니라 렌즈는 해상도에 관한 상세한 사양을 가지고 있지 만, 픽셀로는 구체적인 정보를 보여주지 않기 때문에 센서를 이해 하는 것만큼이나 기본적인 정보를 알아내기란 상당히 어렵다. 하지만 렌즈를 통해 이미지를 처리할 때 픽셀로 특정 피사체의 특징을 나타내는 콘트라스트 재현력(MTF)을 궁극적으로 규정짓는 요소로는 회절과 광학 수차 두 가지가 있다.

빛이 조리개를 통과하면서 언제든지 발생할 수 있는 것이 회절 이며, 이러한 회절은 콘트라스트의 감소를 일으킨다. 광학 수차는 모든 이미징 렌즈에서 생기는 오류로서 수차의 유형에 따라 이미지 정보를 흐리게 하거나 잘못된 곳에 이미지를 위치하게 한다. Fast lens(≤f/4)를 이용할 때 광학 수차는 대개 회절 한계에 의해 좌우되며 ‘완벽함’과는 거리가 먼 시스템의 원인이 되곤 한다. 요약하자면 대부분의 경우 광학 렌즈는 <공식2>에서 볼 수 있듯이 이론적인 cutoff frequency (ξCutoff)에서 제 기능을 발휘하지 못하는 것뿐이다.

이 공식을 다시 카메라 센서에 대입시키면, 픽셀의 주파수가 증가할수록 콘트라스트는 감소하게 된다. 즉, 모든 렌즈가 늘 이와 같은 경향을 따른다. 하지만 이러한 내용이 실제로 사용되는 렌즈의 하드웨어적 성능을 대변하는 것은 아니다. 얼마나 엄격한 허용 오차와 제조 과정이 렌즈에 적용되는지 또한 렌즈의 광학 수차에 영향을 주기 때문에 실제 성능은 설계 성능이 보여주는 공칭 수치와 다를 수 있다.

공칭 데이터를 기반으로 실제 렌즈가 어떠한 성능을 보여줄지 짐작하기는 어려우나, 실험실에서의 테스트는 특정 렌즈와 카메라 센서가 호환 가능한지 여부를 판단하는 데 도움이 된다.

특정 센서와 렌즈가 어떻게 작용하는지를 파악하기 위해 USAF 1951 bar target을 이용해 해상도를 테스트할 수 있는 한 가지 방법이 있다. Bar target은 정사각이나 사각 픽셀로 이루어진 라인 업을 특징으로 하기 때문에 start target에 비해 렌즈/센서의 호환성을 결정짓는 데 더 나은 역할을 한다.

다음의 예는 세 종류의 카메라 센서를 이용해 동일한 조도의 환경에서 고해상도 50mm focal length lens로 촬영된 이미지를 보여준다. 그런 다음 각각의 이미지를 렌즈의 nominal on-axis MTF curve(공칭의 정축 MTF 곡선, 청색 곡선)와 비교한다. 콘트 라스트가 측정된 관심 영역은 센서 중심의 일부만을 커버하기 때문에 이 경우에는 정축 곡선만 사용된다.

<그림1> 2.2μm 픽셀의 ON Semiconductor MT9P031(a), 3.45μm 픽셀의 Sony IXC655(b), 7.4μm 픽셀의 ON Semiconductor KAI-4021(c)상에 있는 고해상도 50mm 렌즈를 예로 들어 공칭 성능 대 실제 성능을 비교한 이미지. 적색·자 주색·녹색선은 각각 Nyquist limit를 나타냄. 황색·청색·연녹색선은 각각 센서의 Nyquist limit 절반을 나타냄.

<그림1a>는 배율이 0.177X일 때 2.2μm 픽셀의 1/2.5” ON Semiconductor MT9P031과 함께 사용된 50mm 렌즈의 성능을 보여준다. 센서의 나이퀴스트 주파수(ξSensor)를 구하면 227.7lp/mm가 됨에 따라 이는 0.177X의 배율에서 시스템으로 이미징 할 수 있는 최소 피사체의 크기는 12.4μm임을 의미한다.

이러한 계산법에는 앞서 설명한 것과 관련된 콘트라트스 값이 없다는 것을 명심해야 한다. <그림1a>의 좌측은 USAF 1951 target에 있는 두 개의 element 이미지를 보여주며 왼쪽 이미지는 피처당 두 개의 픽셀, 그리고 오른쪽 이미지는 피처당 한 개의 픽셀을 보여준다.

센서의 나 이퀴스트 주파수(227 lp/mm)에서 시스템이 타깃을 이미징할 때 8.8% 콘트라스트에서 수행되며 이때 이미징 시스템의 신뢰성을 위해 20% 최소 콘트라스트보다 낮은 값이 권장된다. 피처 크기를 24.8μm로 두 배 가량 늘림으로써 콘트라스트는 거의 세 배 가량 증가됨을 명심해야 한다. 이는 나이퀴스트 주파수의 절반에서도 훨씬 신뢰할만한 이미징 시스템이 될 수 있다는 실질적인 의미를 나타낸다.

이미징 시스템이 12.4μm 크기의 피사체를 신뢰할만한 이미지로 처리하지 못한다는 결론은 수치상으로 시스템 역량 범주 내에 피사체가 존재하기 때문에 공식에서 보여주는 내용과 정면으로 배치된다. 이와 같은 모순은 이미징 시스템이 특정 해법을 산출 해내는 유무를 결정하는 데 있어서 일차적 계산 방식과 근사치가 역부족임을 강조한다.

게다가 나이퀴스트 주파수 계산법은 시스 템의 기초적 분해능 역량을 다지기에는 충분치 않은 계측법으로 서 시스템이 갖고 있는 한계에 대한 가이드라인 정도로만 활용되 어야 한다. 8.8%의 콘트라스트라는 너무 낮은 조건에서는 미러의 움직임만으로도 콘트라스트가 저하돼 해상이 불가능하므로 정확한 참작에 어려움이 따른다.

<그림1b>와 <그림1c>는 Sony ICX655(3.45μm 픽셀) 및 ON Semiconductor KAI-4021(7.4μm 픽셀) 센서로 촬영한 것과 유사한 이미지를 보여준다. 각각의 그림 상단에 위치한 이미지는 피처당 두 개의 픽셀 그리고 하단 이미지는 피처당 한 개의 픽셀 이미지를 나타낸다. 이 세 가지 그림이 가지고 있는 주요 차이점은 <그림1b>와 <그림1c>의 전체 이미지 콘트라스트가 20%를 초과 한다는 점으로서 이는 한눈에 봐도 본래 크기대로 해상이 가능하 다는 신뢰성을 의미한다.

물론 해상이 가능한 피사체의 최소 크기가 <그림1a>에 있는 2.2μm 픽셀과 비교해봐도 더 크다. 다만 나이퀴스트 주파수에서의 이미징은 피사체가 살짝만 움직여도 두 픽셀 사이에서 찾고자 하는 특징을 변화시켜 해상이 불가능하게 만들 수 있기 때문에 여전히 문제의 소지가 있다. 픽셀 크기가 2.2μm에서 3.45μm, 그리고 7.4μm로 증가할 때 피처당 한 개 픽셀에서 두 개 픽셀까지는 저마다 콘트라스트의 강도가 증가하지만 이에 미치는 영향력은 적다는 것을 주목해야 한다. ICX655(3.45μm 픽셀)에서는 콘트 라스트가 두 배 이하로 변하므로 KAI-4021(7.4μm 픽셀)에서는 이와 같은 영향이 훨씬 더 줄어든다.

현실적인 이미지에서 보이는 <그림1> 간의 주요 모순은 렌즈의 공칭 MTF와 실제 콘트라스트 사이에 차이점이 존재한다는 점이 다. <그림1a> 상단에 있는 렌즈의 MTF 곡선은 생성된 콘트라스 트가 8.8%일 때 227 lp/mm의 주파수에서 대략 24%의 콘트라 스트를 갖게 됨을 보여준다. 이러한 차이점은 두 가지 원인(센서의 MTF와 렌즈의 허용 오차)으로부터 비롯된다.

센서 제작업체 대부분이 자회사 센서에 대한 MTF 곡선을 게재 하지만, 대체로 렌즈가 보유한 것과 동일한 일반 형태를 가지고 있다. 시스템 레벨의 MTF는 시스템이 사용되는 전체 부품에 대한 MTF로부터의 결과물이기 때문에 시스템의 전반적인 분해 성능을 좀 더 정확하게 도출하기 위해 렌즈와 센서의 MTF를 반드시 복합적으로 적용해야 한다.

위에서 언급한 바와 같이 렌즈의 MTF 허용 오차는 공칭 수치의 출발점이기도 한다. 이러한 요소들을 전부 다 결합하여 시스템의 예상 해상도를 자체적으로 변경하더라도 렌즈의 MTF 곡선으로 시스템 레벨의 해상도를 표현하기에는 정확성이 떨어진다.

<그림2> 동일한 렌즈와 조명 조건 하에 픽셀 크기가 세 가지인 세 종류의 카메라 센서로 촬영한 이미지. 위쪽 이미지는 피처당 4 픽셀로 촬영, 그리고 아래쪽 이미지는 피처당 2 픽셀로 촬영.

<그림2>에서 볼 수 있듯이 시스템 레벨의 최대 콘트라스트는더 큰 픽셀로 촬영된 이미지에서 관찰된다. 픽셀의 크기가 감소할 수록 콘트라스트 또한 상당히 저하한다. 가장 적절한 예는 머신 비전 시스템에서 최소 콘트라스트를 20%로 지정하는 것이다. 이는 20% 이하의 어떠한 콘트라스트 값이라도 온도 변화나 조명의 누화로부터 발생하는 노이즈 변화에 쉽게 영향을 받기 때문이다.

50mm 렌즈와 2.2μm 픽셀로 촬영한 <그림1a>의 이미지는 8.8% 의 콘트라스트를 갖고 있으나 렌즈 자체가 시스템을 제한하는 요소가 됨에 따라 2.2μm와 일치하는 피사체의 피처 크기에 필요한 이미지 데이터만 의존하기에는 수치가 너무 낮다.

2.2μm 미만의 픽셀로 이루어진 센서가 실존하며 많이 사용되고 있지만, 2.2μm보다 훨씬 작은 크기로는 개별 픽셀 레벨까지 광학적 해상이 거의 불가능하다. 옵틱 자체가 픽셀 전체를 해상할 수 없더라도 픽셀들을 무효화하지 않으므로 픽셀 크기가 아무리 작다 해도 여전히 이용 가치가 있다.

Blob analysis나 optical character recognition (OCR)처럼 신뢰성 있는 알고리즘에서는 렌즈가 개별 픽셀 레벨로 실제 해상할 수 있는지에 관한 것이 아니라, 어떠한 식으로 다수의 픽셀을 특정 위치에 놓을 수 있는지가 더 관건이다. 픽셀의 크기가 작을수록 서브픽셀 보간법(subpixel interpolation)을 피할 수 있으므로 측정 정확도가 향상된다. 이외에도 Bayer pattern filter를 사용하면 컬러 카메라로 전환 시 해상도 손실에 의한 불이익이 줄어든다.

상기해야 할 기타 주안점으로는 특징당 한 개의 픽셀에서 두 개의 픽셀로 이동할 경우 충분한 양의 콘트라스트가 원상태로 회복 된다는 점(특히, 더 작은 픽셀 위에 있는 경우)이다. 주파수를 ½ 로 반감함으로써 해상 가능한 최소 크기의 피사체가 사실상 두 배로 증대된다. 싱글 픽셀 레벨로까지 반드시 관찰을 해야 한다면, 대개는 옵틱의 배율을 두 배로 늘리고 FOV를 ½로 반감하는 게더 바람직하다.

이렇게 되면 대다수의 픽셀과 콘트라스트가 훨씬 더 증가하여 피처 크기가 두 배에 이르게 된다. 이와 같은 해결책은 전체 시야가 안보일 수 있다는 불리한 면을 가지고 있다. 이미지 센서 관점 에서의 최상책은 픽셀 사이즈는 유지하면서 이미지 센서의 포맷 사이즈를 두 배로 늘리는 것이다. 예를 들어 2.2μm 픽셀의 ½” 센서를 사용하는 1X 배율 이미징 시스템의 시야와 공간 해상도는 2.2μm 픽셀의 1” 센서를 사용한 2X 배율 이미징 시스템과 동일 해지지만 2X 시스템에서는 이론상 콘트라스트가 두 배가 된다. 공교롭게도 센서를 두 배로 늘리면 렌즈와 관련된 문제가 추가 적으로 발생한다.

이미징 렌즈 작업 시 가장 많은 비용을 불러일 으키는 것 중 하나가 바로 설계 시 포맷 사이즈이다. 더 큰 포맷의 센서를 위한 대물렌즈를 설계할 경우에는 더 많은 광학 부품이 개별적으로 필요하다. 단, 이를 위한 광학 부품들은 규격이 더 커져야 하고 시스템의 허용 오차는 더욱더 엄격해져야 한다. 앞서 언급된 예제를 계속 설명하자면, 1” 센서 용도로 디자인된 렌즈는 동일 픽셀로 제한된 해상도 사양과 일치하지 않더라도 ½” 센서 용도의 렌즈보다 소요 비용이 다섯 배가량 더 많이 발생할 수 있다.

자료제공: 에드몬드옵틱스(www.edmundoptics.co.kr)