이벤트 기반 비전(EVS), 고속 계수부터 설비 모니터링·AMR까지 적용 확대

산업용 머신비전은 더 높은 속도와 더 짧은 지연시간을 요구하고 있다.

생산라인의 처리속도가 빨라지고 로봇과 자율이동시스템의 움직임이 복잡해지면서, 일정한 간격으로 전체 이미지를 촬영하는 기존 프레임 기반 방식만으로는 순간적인 움직임을 효율적으로 포착하기 어려운 영역도 나타나고 있다.

이러한 한계를 보완하는 기술로 이벤트 기반 비전 센서(Event-based Vision Sensor, EVS)가 주목받고 있다. 기존 이미지센서가 정해진 프레임 속도에 따라 화면 전체를 반복적으로 읽는 것과 달리, EVS는각 픽셀에서 발생한 휘도 변화(luminance change)를 개별적으로 감 지한다. 설정된 임계값을 넘어서는 변화가 발생했을 때 해당 픽셀의 좌표와 시간, 변화 방향 등의 정보만 이벤트 형태로 출력한다. 각 픽셀은 서로 독립적으로 비동기 동작한다.

이 때문에 움직임이 없는 배경을 계속 전송할 필요가 없고, 변화가 발생한 부분의 정보를 높은 시간 해상도로 확보할 수 있다. Sony Semiconductor Solutions는 이러한 방식이 고속 물체 검출, 설비 모니터링, 동작 분석 및 이미지 인식 등 산업 분야에 활용될 수 있다고 설명한다. 필요한 데이터만 처리하기 때문에 마이크로초 수준의 빠른 응답과 낮은 전력 소비도 EVS의 특징으로 제시된다.

▲ 프레임 기반 영상과 이벤트 기반 비전의 데이터 획득 방식 차이를 개념적으로 표현한 이미지. 프레임 방식은 일정한 시간 간격으로 전체 영상을 획득하는 반면, 이벤트 기반 비전은 변화가 발생한 픽셀의 위치와 시간정보를 비동기적으로 감지한다. (이미지: AI 생성)

프레임이 아니라 ‘변화’를 읽는다

일반적인 프레임 기반 카메라는 설정된 프레임 레이트에 따라 센서 전체의 이미지를 반복적으로 획득한다. 물체가 움직이지 않는 순간에도 배경을 포함한 전체 영상이 계속 생성된다.

반면 EVS는 움직임에 따라 발생하는 휘도 변화에 반응한 다. Sony의 EVS에서는 각 픽셀이 기준 휘도와 현재 휘도의 차이를 감지하고, 그 변화량이 설정된 임계값을 넘었을때 이를 이벤트로 판단한다. 이벤트 정보에는 픽셀 좌표와 타임스탬프, 휘도가 밝아졌는지 어두워졌는지를 나타내는 극성 정보가 포함된다.

이 구조의 가장 큰 차이는 ‘언제 한 장의 이미지를 찍을 것인가’보다 ‘어디에서 언제 변화가 일어났는가’를 기록한다는 점이다. 고속으로 움직이는 물체에서는 이 특성이 특히 중요하다.

프레임 방식은 물체의 이동 속도가 빨라질수록 높은 프레임 레이트와 짧은 노출시간이 요구되는 반면, 이벤트 기반 센서는 움직임에 따른 변화를 픽셀 단위로 연속 검출할 수있다. Sony는 이를 통해 고속 물체의 궤적과 움직임을 높은 시간 해상도로 확보할 수 있다고 설명한다.

▲ 이벤트 기반 센서와 프레임 기반 센서의 데이터 획득 방식 비교. 이벤트 기반 센서는 움직임에 따른 휘도 변화를 시간정보와 함께 연속적으로 감지한다. (자료:Sony Semiconductor Solutions)

초당 1000개, 고속 카운팅에서 가능성 확인

이벤트 기반 비전의 고속 처리 특성을 보여주는 대표적인 산업 적용 사례 중 하나가 IMAGO Technologies와 Prophesee의 젤 캡슐 카운팅 애플리케이션이다. 이 애플리케이션에서는 진동 피더에서 떨어지는 투명한 노란색 젤 캡슐을 고속으로 계수해야 했다. 기존 투과조명 기반 라인스캔 시스템에서는 캡슐의 투명성과 낮은 대비 때문에 하나의 제품을 안정적으로 구분하는 데 한계가 있었다.

IMAGO Technologies는 기존 라인스캔 카메라 대신 Prophesee의 이벤트 기반 기술을 적용한 Vision Cam EB를 활용했다. 센서가 물체의 전체 이미지를 연속적으로 생성하는 대신 움직임으로 발생하는 픽셀 변화를 추적하면서 고속 이동 물체를 분리하고 계수하는 방식이다.

그 결과 공식 사례에서는 초당 1000개의 움직이는 물체를 계수할 수있다고 제시한다. 데이터 처리 역시 스마트카메라 내부에서 수행한다. Prophesee는 이러한 구조를 통해 초고속 계수를 위해 별도의 고성능 컴퓨팅 시스템에 의존하는 구성을 단순화할 수 있다고 설명한다.

이 사례는 이벤트 기반 비전의 장점이 단순히 카메라의 ‘속도’에만 있는 것이 아니라는 점을 보여준다. 변화가 발생한 정보만 처리하고, 데이터 처리를 스마트카메라 내부에서 수행함으로써 초고속 계수를 위한 별도의 고성능 컴퓨팅 시스템 의존도를 낮출 수 있다.

미세 진동까지 비접촉으로 포착

이벤트 기반 비전의 또 다른 산업 응용 분야는 설비 상태 모니터링과 고장 진단이다. 기존 머신비전은 제품의 외관이나 위치를 검사하는 용도로 주로 활용돼 왔지만, 이벤트 카메라의 높은 시간 해상도를 이용하면 기계에서 발생하는 미세한 움직임과 진동을 비접촉 방식으로 측정할 수 있다.

2023년 Measurement에 발표된 연구에서는 이벤트 기반 동적 비전 센서를 이용해 기계 시스템의 미세 진동을 측정하는 방법을 제안했다. 연구진은 이벤트 데이터에서 미세 진동을 추출하고, 이를 기계 상태 모니 터링에 활용할 수 있는 가능성을 검증했다. 이후 연구에서는 이러한 이벤트 기반 진동 정보를 활용해 회전기계의 상태 분석과 고장 진단 으로 적용 범위를 확장하는 방법도 제시되고 있다.

이벤트 카메라는 화면 전체를 일정한 프레임 속도로 촬영하는 대신각 픽셀에서 발생하는 밝기 변화를 비동기적으로 기록한다. 따라서 회전기계와 같이 빠르고 미세한 움직임이 반복되는 환경에서 진동 변화를 높은 시간 해상도로 추적하는 데 활용할 수 있다.

이 방식의 장점은 가속도 센서를 설비에 직접 부착하는 방식과 달리 비접촉으로 진동을 측정할 수 있다는 점이다. 또한 카메라 시야 안의 여러 위치에서 발생하는 움직임을 동시에 관찰할 수 있어, 설비의 미세 진동과 상태 변화를 영상 기반으로 분석하는 새로운 방법으로 활용될 가능성이 있다.

로봇과 AMR의 빠른 장애물 검출

이벤트 기반 비전의 높은 시간 해상도는 로봇 분야에서도 활용 가능성을 넓히고 있다. 물류창고와 공장에서는 가이드 없이 자율주행하는 AMR의 사용이 확대되고 있다. AMR은 주변 장애물을 빠르게 감지하고 이동 경로를 판단해야 하기 때문에 센서의 응답속도가 중요하다.

Sony Semiconductor Solutions는 물류용 센서 애플리케이션에서 EVS가 물체 외형의 특징을 휘도 변화에서 검출해 장애물을 고속으로 감지할 수 있다고 설명한다. 이를 기반으로 창고 내 자동 이송과 배송 로봇의 외부 환경 인식 등에 활용될 가능성을 제시하고 있다.

다만 EVS가 AMR의 모든 비전 센서를 대체하는 구조는 아니다. Sony의 물류 애플리케이션에서도 ToF 센서는 거리와 3차원 정보, 글로벌셔터 이미지센서는 객체 추적과 SLAM 등에 각각 사용 된다. 이벤트 기반 비전은 이들 센서와 함께 빠르게 발생하는 움직임을 검출하는 역할로 활용되는 구조다. 

이는 이벤트 기반 비전의 향후 적용방향을 보여주는 중요한 부분 이다. 하나의 센서가 모든 시각정보를 처리하기보다는 필요한 정보의 성격에 따라 서로 다른 센서를 조합하는 방식이다.

기존 영상과 이벤트 데이터를 하나의 시스템으로

이벤트 기반 비전이 기존 프레임 기반 카메라를 완전히 대체하기 보다는 두 센싱 방식을 결합하는 방향도 본격화되고 있다.

IDS Imaging Development Systems와 Prophesee는 2026년 3 월 차세대 산업용 비전 시스템 공동개발을 위한 협력을 확대했다. 양사는 기존 이미징 기술과 이벤트 기반 센싱을 결합해 더 빠르고 정확하면서 전력효율이 높은 머신비전 시스템을 개발하는 방안을 모색하고 있다.

양사의 협력은 이미 상용화된 IDS uEye EVS 카메라를 기반으로 다음 단계의 센싱 아키텍처로 확대되는 것이다. IDS는 산업용 카메라 통합과 멀티센서 설계를 담당하고, Prophesee는 이벤트 기반 센서와 개발도구, 소프트웨어 스택을 제공한다.

특히 양사는 기존 이미지와 이벤트 기반 데이터를 결합하는 새로운 센싱 구조를 검토하고 있다. 프레임 방식이 제품의 형태·색상· 텍스처 등 전체 영상정보를 제공하고, 이벤트 방식이 빠른 움직임과 순간적인 변화를 포착하는 식으로 서로 다른 강점을 보완할 수있기 때문이다. 이는 이벤트 기반 비전이 별도의 특수센서 영역을 넘어 기존 산업용 머신비전 시스템과 결합하는 단계로 이동하고 있음을 보여준다.

‘더 많은 영상’보다 ‘필요한 변화’에 집중

머신비전의 성능 향상은 오랫동안 더 높은 해상도와 더 빠른 프레임 레이트를 중심으로 진행돼 왔다. 이벤트 기반 비전은 이와 다른 접근을 제시한다.

센서 전체에서 이미지를 반복적으로 읽는 대신 실제로 변화가 발생한 픽셀과 그 시점에 집중하는 방식이다. 이러한 구조는 초고속 물체 계수, 미세 진동 모니터링, 로봇의 움직임 감지와 같이 시간 정보가 중요한 애플리케이션에서 새로운 선택지를 제공한다.

특히 최근에는 기술의 방향도 단독 EVS에서 기존 영상센서와의 결합으로 확대되고 있다. IDS와 Prophesee가 2026년 차세대 산업용 카메라에서 기존 이미징과 이벤트 기반 센싱을 함께 활용하는 방향을 제시한 것도 이러한 변화를 보여준다.

결국 이벤트 기반 비전의 의미는 단순히 더 빠른 카메라를 만드는 데 있지 않다. ‘전체 장면을 계속 촬영한다’는 기존 머신비전의 데이터 획득 방식에서 벗어나, 실제 변화가 발생한 순간과 위치를 중심으로 데이터를 확보한다는 것이다.

초고속 생산라인에서의 계수와 추적, 설비의 미세 진동 감시, 로봇과 AMR의 장애물 검출 등 시간 해상도가 중요한 애플리케이션이 늘어 날수록 이러한 센싱 방식의 활용 영역도 확대될 것으로 보인다.

자료제공: Sony Semiconductor Solutions, Prophesee, IDS Imaging Development Systems, Measurement