머신 비전을 위한 6가지 이미지 센서 선택 방법
이미지 센서에서 광자는 전자로 변환되고 디지털화 후에는 이미지 정보로 변환된다. 이미지 처리로 인한 자동화, 인간-로봇 협업 또는 자율 주행 자동차 등 이미지 센서는 모든 비전 애플리케이 션의 핵심이다. 올바른 센서를 선택하는 것은 애플리케이션과 원하는 출력에 따라 크게 달라진다. 6가지 중요한 기준과 올바른 평가는 비전 엔지니어가 사양을 선택하고 애플리케이션에 가장 적합한 이미지 센서를 선택하는 데 도움이 된다.
애플리케이션 평가및 정확한 기술 사양은 센서 선택에 필요한 기준에 대한 초기 사양을 제공한다. △ 애플리케이션에 필요한 프레임 속도? △ 측정 시의 정밀도와 공차? △ 조명 조건? 이러한 질문에 대한 답은 필요한 센서의 기본 속성과 최적 값을 결정한다.
이미지 센서의 기본적이고 가장 중요한 특성은 △해상도 △감도 △다이내믹 레인지 △속도 △셔터 방식 △컬러/흑백 등이다. 애플리케이션에 따라 센서를 선택할 때 위의 기준에 중점을 둔다. 따라서 센서 해상도는 정확한 측정을 결정하는 데 중요한 역할을 한다. 바코드 판독과 같은 다른 애플리케이션은 일반적으로 높은 해상도를 요구하지 않는다. 보안 분야와 같은 애플리케이션은 저조도 또는 까다로운 조명 조건으로 인해 감도와 다이내믹 레인지에 중점을 두어야 한다. 또한 움직이는 물체는 센서의 속도와 셔터 유형을 요구한다.
1. 측정할 가장 작은 세부 사항이 해상도를 결정한다.
센서 해상도는 사진에 사용할 수 있는 센서의 라인과 행 내에서 빛에 민감한 표면의 픽셀 수를 결정한다. 예를 들어, VGA 해상도는 640픽셀 열 x 480픽셀 라인에 해당하며 30만7200픽셀(즉, 0.3메가픽셀이다. 필요한 최소 픽셀 수는 감지할 가장 작은 특성에 의해 결정된다. 이론적으로 개체의 한 가지 특성을 해결하는데 2픽셀만이 필요하다. 그러나 불충분한 콘트라스트나 이미지 노이즈와 같은 요소가 결과에 영향을 미치므로 실제로는 물체 특성을 해결하기 위해 적어도 4~5픽셀이 중첩되어야 한다.
<실제 예 - 오류 감지> 이 예에서 개체 크기는 150mm x 105mm 이고 치수 공차는 5mm이고 위치 공차는 10mm이다. 최소 시야는 물체 크기에 크기 허용 오차를 더하고 위치 허용 오차를 두배로 늘린 결과이다. 따라서 계산된 시야는 반올림했을 때 최소 180mm x 135mm가 된다. 감지 가능한 가장 작은 오류 크기가 0.5mm인 경우 정확한 감지를 위해 최소 0.5mm당 5픽셀 또는 mm당 10픽셀의 시야를 사용할 수 있어야 한다. 따라서 첫 번째 선택 기준은 1800 x 1350 픽셀의 최소 센서 해상도이다.
<실제 예 – 측정 작업> 동일한 허용 오차로 동일한 크기(150mm × 105mm)의 물체를 정확하게 측정하기 위해 최소 센서 해상도를 계산하는 데 다른 기준이 적용된다. 0.5mm의 측정 정확도와 10의 필수 분해능 계수를 가정한다. 이 경우 0.05mm이며 경험 법칙으로 간주된다. 여기서 FOV 180mm x 135mm는 최적의 센서를 위한 최소 해상도인 3600 x 2700 픽셀의 해상도가 된다. 수평 해상도 = (FOV의 폭(mm)) / (오차 (mm) / 10) 수직 해상도 = (FOV 높이(mm)) / (오차 (mm) / 10)
2. 저조도에서도 물체를 인지하는 감도
센서 감도는 모든 응용 분야에서 중요하지만 특히 조명이 약하고 이미지 품질에 대한 요구가 높은 애플리케이션에서 중요하다. 이러한 요소는 감시 또는 특정 의료 애플리케이션에서 분명하다. 감도는 광자가 전자로 변환되는 효율적인 속도를 정의한다. 이러한 이유로 센서가 사용 가능한 이미지를 얻기 위해 필요한 시간과 조도를 결정한다.
그러나 사용 가능한 이미지는 센서의 노이즈 동작에 크게 영향을 받는다. 따라서 신호의 노이즈 성분에 대한 생성된 이미지 신호의 비율은 애플리케이션에 중요하다. 이 기능은 친숙한 개념인 SNR(signal-to-noise ratio, 신호 대 잡음비)로 정의된다. SNR이 높을수록 저조도 애플리케이션에서 이미지 품질이 높아진다.
양자 효율과 판독 노이즈는 주로 픽셀 구조의 영향을 받는다. Sony, e2v 및 ON Semiconductor와 같은 모든 센서 제조업체는 더욱 민감한 센서를 시장에 제공하는 픽셀 기술을 지속적으로 개발하고 있다. 센서 감도는 모든 데이터 시트에 표시되어 있지만, 다른 제조업체에서 사용하는 다른 측정 단위와 감도를 비교하는 것은 쉽지 않다(표1 참조).
<표1> 다양한 제조업체의 데이터 시트 감도
EMVA 1288 호환 센서 테스트 또는 평가 보드 사용은 개별 애플리케이션 요구 사항에 맞는 최적의 센서를 선택하는 데 적합하 다. 두 경우 모두 전문 센서 유통업체가 좋은 연락 창구이다. 측정 결과는 특정 유형의 센서에 대해 이미 사용 가능하거나 기존 테스트 설정으로 더 빨리 얻을 수 있다. 이 배열을 통해 서로 다른 센서, 다양한 설정 및 서로 다른 파장 범위에서 동작을 테스트할 수있으며 센서 결정을 더 쉽게 내릴 수 있다.
3. 이미지 차별화 수준의 동적 범위
최소 이미지 신호(노이즈 전자)와 픽셀의 포텐셜 웰 용량(즉, 전체 웰 용량)의 최대 전자수 사이의 비율은 이미지의 동적 범위를 정의한다. 동적 범위는 상주 이미지에 수용할 수 있는 다양한 밝기 수준의 수를 정의한다(그림1 참조). 이 기능은 그레이스케일을 기반으로 다양한 조직 유형을 식별하는 것이 중요하고 넓은 동적 범위가 필요한의료 기술의 진단 응용 분야에서 특히 중요하다. 예를 들어 실외 감시와 같이 극한의 조명 조건을 가진 애플리 케이션은 역광을 받는 얼굴을 식별하기 위해 가능한 한 넓은 다이내믹 레인지가 필요하다.
<그림1> 다양한 동적 범위: 왼쪽에서 오른쪽으로 감소
동적 범위가 애플리케이션과 이미지 분석에 중요한 정도는 다양한 환경 및 카메라 설정을 테스트하여 가장 잘 알 수 있다. 대부 분의 데이터 시트에서 동적 범위는 한눈에 읽을 수 있으며 쉽게 비교할 수 있는 dB 단위로 읽을 수 있다. EMVA 1288 표준을 기반으로 한 측정 결과와 평가 보드를 사용하면 동적 범위에 영향을 미치는 기본 값을 올바르게 추정하는 데 도움이 된다.
4. 프레임률이 속도를 결정
센서 속도는 프레임 속도로 측정되며 센서가 전자적으로 읽을 수있는 초당 이미지 수를 결정한다. 특히 움직이는 물체가 있는 조립 라인과 같은 애플리케이션에서는 높은 이미지 주파수가 중요 하다. 이러한 유형의 적용을 위한 한 가지 전제 조건은 짧은 노출 시간이다. 모션 블러나 아티팩트가 없는 사진은 정확한 평가를 보장한다.
컨베이어 벨트는 감지 가능한 제품이 벨트를 통과하는 빈도, 벨트 속도 및 필요한 최소 프레임 속도를 결정해야 한다. 예를 들어 초당 20개의 부품을 테스트하는 경우 센서의 최소 프레임 속도는 초당 20프레임(fps)이어야 한다. 프레임 속도는 모든 데이터 시트에 표시되며 그에 따라 센서를 선택할 수 있다. CMOS 센서는 우수한 판독 기술로 인해 CCD 센서보다 더 높은 프레임 속도를 달성한다.
센서 처리에 사용되는 픽셀 수가 많을수록 최대 프레임 속도의 전송 속도가 느려진다. 예를 들어 이미지가 VGA 품질로 처리되면 전체 해상도에서 25MP 센서를 사용하는 것보다 더 높은 프레임 속도를 얻을 수 있다. 우수한 카메라 시스템의 경우 센서의 프레임 속도로 제한되지 않고 비디오 인터페이스를 통해 달성 가능한 최대 데이터 전송 속도이다.
고해상도의 센서와 최대 가용 대역폭 으로 높은 프레임 속도를 달성하려면 센서가 ROI(관심 영역) 설정을 지원하는 것이 유리하다. 이러한 관심 영역은 이미지 처리를 위해 감지될 하나 이상의 이미지 영역을 정의한다. 다른 모든 이미지 영역은 처리되지 않으므로 전송 해상도가 낮아지고 프레임 속도가 증가하며 응용 프로그램을 더 빠르고 효율적으로 실행할수 있다.
5. 움직임에 따라 셔터 유형이 결정됨
이미지 센서는 글로벌 셔터와 롤링 셔터의 두 가지 판독 방법을 사용한다. 이러한 셔터 유형은 일반적으로 CMOS 센서에만 사용 된다. 그러나 ‘progressive scan’ 판독 방법을 사용하는 CCD 센서는 CMOS 센서의 글로벌 셔터 속성과 비교할 수 있다.
롤링 셔터 방식은 센서의 픽셀을 노출하고 한 줄씩 읽는다. 이시간 기반 오프셋 노출 시퀀스는 종종 움직이는 물체를 왜곡하여 묘사한다. 롤링 셔터는 글로벌 셔터보다 픽셀당 더 적은 수의 트랜지스터를 필요로 한다. 따라서 롤링 셔터 센서는 종종 노이즈가 적고 글로벌 셔터 기술을 사용하는 센서보다 민감하고 저렴하다. 롤링 셔터 센서가 애플리케이션에 적합한지 신중하게 고려하는 것이 중요하다. 예를 들어 움직이는 물체가 없는 고정 설비가 있는 애플리케이션은 롤링 셔터 센서에 더 적합하다.
또는 글로벌 셔터 기술은 모든 픽셀을 동시에 노출한다. 롤링 셔터 방식과 달리 모든 픽셀의 동시 노출 및 판독으로 인해 픽셀 라인 사이에 ‘캡처 지연’이 없다. 글로벌 셔터 방식으로 동시 캡처를 통해 빠르게 움직이는 물체를 아티팩트 없이 매우 선명하게 이미지화 할 수 있다. 크게 향상된 이미지 품질과 최신 CMOS 센서 의 효과적인 가격 책정으로 글로벌 셔터 방식이 새로운 판독 표준 으로 자리 잡았다.
6. 컬러 또는 흑백
애플리케이션의 정확한 이미지 분석을 위해 컬러 센서가 필요할 까? 대답은 보안 애플리케이션이나 모바일 장치의 센서에 컬러 센서를 사용하는 것이 사실상 의무라는 것이다. 대부분의 경우 단색 이미지 센서는 오류 감지, 존재 모니터링 및 기록 측정과 같은 일반적인 머신 비전 작업에 충분하다. 흑백 센서는 상응하는 색상에 비해 이점을 제공한다.
컬러 필터는 센서가 컬러 이미지를 제공하기 위해 픽셀 단위로 적용되며 RGB 필터는 일반적으로 Bayer 패턴으로 배열된다. 이 배열에는 빨간색 또는 파란색 필터 보다 두 배 많은 녹색 필터가 포함된다. 인간의 눈은 녹색 스펙트럼 범위에서 가장 민감하며 주관적인 색상 인식은 이 방식으로 가장 자연스럽게 나타난다(그림2 참조).
각 픽셀은 단일 색상에 대한 밝기 정보를 제공한다. 따라서 센서는 입사 파장 범위의 약 1/3만 감지할 수 있으므로 감도와 해상 도가 크게 낮아진다. 풀 컬러 이미지는 색상 보간을 위해 인접 픽셀이 필요하다. 이 Bayer 색상 보간에서 추가 세부 정보가 손실되고 측정 정확도가 감소한다. 따라서 애플리케이션에 색상 정보가 필요한 경우에만 색상 센서를 선택해야 한다.
<그림2> 이미지 센서의 컬러 필터로서의 Bayer Matrix
애플리케이션에 따라 센서 선택
위에 나열된 6가지 기준은 각 애플리케이션에 적합한 센서를 초기에 유효하게 선택하는 데 유용하다. 그럼에도 불구하고 각 애플리케이션은 구체적이다. 비전 시스템의 다른 구성 요소는 센서 선택에 영향을 미치며 환경 조건도 중요한 역할을 한다. 궁극적으로 모든 센서 속성, 광학 및 환경 조건은 상호 작용하고 상호 의존적 이다. 단일 기준의 최소한의 변경은 전체 시스템과 다른 모든 기준에 영향을 미칠 수 있다.
따라서 애플리케이션 내의 모든 센서 설정과 기능을 정확하게 평가하고 사용하려면 비전에 대한 광범 위한 전문 지식이 필요하다. 이 전문 지식을 사내에서 사용할 수없는 경우 시스템 통합자 또는 이미지 처리 전문가가 광범위한 지원을 제공할 수 있다. 센서는 또한 적절한 광학 장치를 사용하여 현지 조건에서 테스트하여 의도한 애플리케이션 내에서 적합성을 평가할 수 있다.
완벽한 센서의 평가
EVB(EVB, Evaluation Boards, 평가 보드)는 애플리케이션에 대한 최적의 센서를 선택하기 위한 매우 유익하고 신뢰할 수 있는 테스트 방법이다. 데모 키트는 센서 및 작동 매개변수에 대한 완벽한 액세스를 제공한다. 따라서 이러한 키트는 특정 센서가 애플 리케이션 및 필요한 이미지 품질에 적합한지 여부를 결정하는 테스트 도구이다.
EVB는 모든 센서 설정에 대한 완벽한 액세스 및 테스트를 제공 하여 애플리케이션에 대한 최적의 레지스터 설정을 찾는다. 다양한 출력 모드, 노출 시간 또는 트리거와 같은 다양한 설정을 테스 트하여 이러한 특성이 애플리케이션 환경에 적합한지 확인하고 이미지 결과를 개선할 수 있다. 센서의 실제 성능을 테스트하기 위해 데이터를 RAW 픽셀 데이터로 출력할 수 있다. 따라서 이미지 파이프라인의 개발은 초기 단계에서 시작할 수 있다.
또한 EVB를 사용하면 여러 렌즈를 사전 테스트하고 조명, 스트 로브 컨트롤러 및 전체 워크플로 동기화와 같은 외부 트리거를 포함할 수 있다. 요청 시 레이아웃 데이터(Gerber 레이아웃 파일), 회로 다이어그램 및 BOM을 포함하여 완전한 참조 설계 키트가 기판에 제공되는 경우가 있다. EVB는 카메라 설계를 완전히 이해하는 데 필요한 모든 데이터가 포함된 개발 도구이다. 개별 응용 분야 및 요구 사항에 맞는 최적의 센서를 찾는 가장 신뢰할 수 있는 방법을 나타낸다. 따라서 개발 시간과 비용을 크게 줄일 수 있다.
표준 설정이 있는 비교적 간단한 응용 분야용 센서는 건전한 조언을 받고 센서에 대한 자체 사양을 집중적으로 평가한 후 자신 있게 선택할 수 있다. 따라서 최적의 센서를 선택하기 위해 여기 에서 논의된 여섯 가지 기준은 유효한 출발점이다. 비전 엔지니어는 시스템 요구 사항을 인식하고 센서, 시스템 및 환경 간의 상호 작용을 고려해야 한다. EMVA 1288 준수 측정 데이터, 상담 및 복잡한 작업의 경우 EVB는 최적의 센서를 검증할 때 가능한 한 많이 포함되어야 한다.
자료제공: Framos(www.framos.com)
