FLIR / 정교한 판독 기능 애플리케이션에 적합한 Firefly 머신비전 카메라
FLIR® Firefly® 카메라는 Intel® Movidius™ Myriad™ 2 비전 프로세싱 장치를 사용하여 장치 인식을 지원하는 머신비전 및 이미지 분석에 새로운 수준의 지능을 추가한다.
카메라로 캡처한 이미지의 자동분석은 우리가 자주 생각하지 못한 일상생활의 핵심 부분이다. 주머니에 있는 전화기의 품질과 경제성, 운전하는 자동차, 접시에 담긴 음식은 공정 자동화, 품질 검사 및 로봇 안내용 카메라를 사용하는 기계로 가능하다. 이러한 종류의 ‘머신비전’이 없으면 이러한 작업에 필요한 고속, 그리고 대용량으로 인해 사람이 안정적으로, 또는 경제적으로 처리하기에 지루하고 오류가 발생하기 쉽다.
머신비전은 이 기술이 발전함에 따라 기본 검사와 분류 작업을 수행하는 것으로부터 자동차 공장의 제조 로봇을 안내하고 감시 애플리케이션을 향상시키는 것과 같은 더 복잡한 작업으로 전환되었다. 그러나 사전에 설정된 규칙에 의존하기 때문에 이러한 시스템의 기능에 대한 엄격한 제한이 있었다. 예를 들어, 머신비전은 표준화된 바코드를 읽거나 규격에 따라 제조된 부품을 검사하는 데 적합하지만 과일 조각이 품질인증 여부에 대한 주관적인 판단에는 적합하지 않다.
현대의 심층 학습 기술을 사용하여 훈련된 신경 회로망은 이미지 분석을 다음 단계로 진행하여 높은 정확도를 가진 물체, 또는 사람을 인식할 수 있다. 신경 네트워크는 기계 학습 접근법(machine-learning approaches)을 사용하여 대용량 데이터 세트에 대해 교육을 받을 수 있으므로 매우 정확한 의사 결정이 가능하다.
이 접근법은 레거시 객체 인식 방법(legacy object-recognition methods)보다 더 높은 정확도를 제공할 뿐 아니라 명시적 규칙의 수작업 코딩의 필요성을 없애주며, 정교한 소프트웨어의 기능에 제한이 없다.
새로운 FLIR® Firefly® 머신비전 카메라에는 Intel® Movidius™ Myriad™ 2 Vision Processing Unit(VPU) 기반의 카메라 내장형 심층 신경 네트워크 가속기(deep neural network accelerator)가 통합되어 있다. Firefly 머신비전 카메라를 사용하면 정교한 머신비전 애플리케이션을 구현할 수 있으며 비용 효율이 높고 통합이 간단하며 이산 시스템(discrete systems)보다 안정적이다.
FLIR® Firefly®: 머신비전 + Deep Learning
FLIR 엔지니어는 그림 1에서 볼 수 있듯이 프로토타입 개발과 대규모 상업 생산 모두에 대해 Inte® Movidius™ 기술을 사용하여 Firefly의 개발주기를 가속화했다. Intel® Moviider™ Neural Compute Stick(NCS) 및 Neural Compute SDK에 기반을 둔 신속한 프로토타이핑은 카메라 학습의 초기 개발을 촉발시켰다.
Firefly의 프로덕션 버전은 소형의 독립 Intel Movidius Myriad 2 VPU를 사용하여 이미지 신호 처리와 개방형 플랫폼 추론이라는 두 가지 작업을 수행한다.
FLIR 엔지니어는 프로토타이핑 단계에서 신경 네트워크 성능에 만족하면 VPU의 온보드 이미지 신호 프로세서 및 CPU를 활용했다. 온보드 이미징, CNN (convolutional neural network) 및 칩의 프로그램 가능 컴퓨팅 기능을 활용하여 FLIR는 크기, 무게 및 전력 소비를 적극적으로 최소화할 수 있었다.
이 접근법은 프로토타입을 단순화하는 단일 하드웨어 및 소프트웨어 타겟을 제공하는 동시에 전체 카메라의 프로덕션 버전을 그림 2에서와 같이 약 1인치 제곱미터로 구현한다. 카메라에 직접 신경 네트워크 가속 기능을 배치하면 추론이 수행된다. 처리를 위해 원시 비디오 스트림(the raw video stream)을 다른 곳으로 전송하지 않고 네트워크 에지(network edge)에서 처리할 수 있다.
이 접근 방식은 다음을 포함하여 전체 솔루션을 향상시키는 여러 가지 장점을 제공한다.
- 실시간 운영: 현장에서 처리하면 카메라 외부 계산을 위해 데이터를 전송하는 것과 관련된 대기 시간이 제거되므로 실시간으로 탐지 및 후속 대응이 가능하다.
- 효율성: 네트워크를 통해 원시 비디오 데이터를 전송할 필요가 없으므로 대역폭, 스토리지 및 전력 소비와 관련된 비용이 절감된다.
- 보안: 온-카메라 추정(On-camera inference)은 공격 표면을 줄이는 단순화된 자체 포함 아키텍처를 가능하게 하며, 와이어를 통해 전달되는 비교적 적은 양의 데이터를 최소한의 영향으로 암호화할 수 있다.
FLIR Firefly 카메라는 우수한 이미지 품질과 소니 Pregius* 센서, GenICam* 준수 및 사용 편의성을 결합하여 머신비전과 심층 학습을 결합한다. 심층 신경망 추론을 수행하는 Intel Movidius Myriad 2 VPU Firefly의 초소형 풋 프린트와 저전력 소비로 핸드 헬드 및 임베디드 시스템과 같은 공간 및 전력 제약으로 구현하기에 이상적이다.
또한, 이 카메라에는 호스트 연결을 위한 USB 포트는 물론 다른 시스템과의 연결을 위한 4개의 양방향 GPIO(General-purpose Input / Output) 라인이 장착되어 있다.
Firefly의 초기 버전은 1.6 MP Sony Pregius CMOS 이미지 센서를 사용한다. 이 60-FPS 글로벌 셔터 센서는 까다로운 조명 조건에서도 탁월한 이미징 성능을 제공한다. Firefly 카메라의 향후 반복은 추가 센서 옵션으로 향상된 유연성을 제공한다.
FLIR Systems의 제품 마케팅 관리자 Mike Fussell는 “Firefly의 영감은 시각적 정보를 주관적으로 분석하는 것입니다. 예를 들어, 제조된 부품을 검사하고 아무도 본 적 없거나 심지어는 예상한 결함을 식별할 수 있습니다. 이전에는 사람이 처리할 수 있었던 시각적 작업의 자동화가 될 것입니다.”라고 말했다.
Intel Movidius Myriad 2 VPU는 그림 3과 같이 고성능의 카메라 온 이미지 처리 및 추론을 가능하게 하는 SoC(System-on-Chip) 디자인이다. VPU의 주요 기능은 다음과 같다.
- 이미지 처리를 위한 하드웨어 가속기가 이미징 및 컴퓨터 비전용으로 특수 제작되었다.
- 스트리밍 하이브리드 아키텍처 벡터 엔진(SHAVE, Streaming Hybrid Architecture Vector Engine) 프로세서 코어는 일반적인 목적보다 신경망의 분기 논리에 더 최적화된 벡터 데이터 처리를 포함하여 VLIW(Very Long Instruction Word) 아키텍처를 사용하여 CNN 기반의 카메라 추측을 가속화한다. 코어는 그래픽 처리 장치(GPU)에 있다.
- 범용 RISC CPU 코어는 다음과 같은 상호 작용을 지원한다. 외부 시스템, 작업로드 처리 구문 분석 및 예약 SHAVE 프로세서 코어에서 실제 온-카메라 추론을 실행한다.
Firefly와 함께 제공되는 고급 펌웨어는 중요한 가치를 추가한다. 주요 펌 웨어 머신비전 기능에는 USB3 Vision 프로토콜, 8비트 및 16비트 원시 픽셀 형식, 픽셀 비닝(binning) 및 선택 가능한 관심 영역이 포함된다. 또한, 펌 웨어는 4개의 GPIO 포트를 제어하여 다른 시스템에서 카메라를 트리거할 수 있을 뿐 아니라 카메라가 조명, 액추에이터, 또는 다른 카메라와 같은 외부 장비를 트리거할 수 있도록 한다.
적용 사례
인공지능은 판단이 필요한 질문에 대답할 수 있는 능력 때문에 머신비전 분야에서 파괴적이다. 즉, 추정치가 미리 설정된 규칙에 따라 구체적으로 정의될 수 없었기 때문이다. 심층 신경 네트워크에서 많은 양의 샘플 데이터에 대해 교육을 받고 결과로 만들어진 훈련된 모델은 Firefly 카메라에 업로드된다. 그림 4는 심층 신경 네트워크의 카메라 실행으로 쓸 수 있는 사례를 보여준다.
- 로봇 가이드는 산업, 의료 및 소비자 로봇이 익숙하지 않은 공간을 탐색할 때 장애물을 피하는 등 개체와 더욱 정교한 방식으로 상호 작용하는 데 도움이 될 수 있다.
- 직물 제조 시나리오에서 패턴의 변형이 허용되는지 여부를 측정하는 것과 같은 품질 검사는 자동화되고 정교해질 수 있다.
- 얼굴, 지문 또는 홍채 스캔과 같은 입력에 기반을 둔 생체 인식을 사용하여 시설, 컴퓨터 시스템, 또는 기타 자원에 대한 액세스 권한을 관리할 수 있다.
- 정밀 농업은 가시적인 적외선 스펙트럼에서 취한 작물 상태의 이미지를 분석하여 제초제 및 살충제의 효율적인 적용을 유도할 수 있다.
- 의료용 이미징 구현에는 1차 통과 선별 검사 또는 의료 인력에 의한 표준 판독 후 위 음성(false negatives) 확인을 위한 실패 안전 조치로서 생체검사에서 기형을 표시하는 조직학 용도(histology usages)가 포함된다.
혁신을 위한 개방형 표준 플랫폼
Firefly는 개방형 생태계의 한 부분으로, 다른 장비 및 소프트웨어와의 상호 작용 측면에서 엄청난 유연성을 제공할 뿐만 아니라 개발자가 자신이 선택한 도구를 최대한 활용할 수 있는 유연성을 제공한다. FLIR Spinnaker*SDK는 FLIR의 머신비전 제품 라인에서 사용되는 친숙한 도구를 사용하여 CNN을 카메라에 업로드할 수 있게 해주는 GenICam API 라이브러리다. 새로운 펌 웨어를 업로드하는 것과 비슷한 사용자 환경에서 훈련된 네트워크를 현장에 배치하는 간단한 방법을 제공한다.
개발자는 Intel Movidius NCS를 사용하여 적절한 비즈니스 로직뿐만 아니라 정확도와 속도의 최적 조합을 위해 조정된 CNN을 포함하여 특정 실제 시나리오를 충족하는 Firefly 애플리케이션을 즉시 시작할 수 있다. 또한, 훈련 세트 크기는 요구되는 수준의 주관적 의사 결정을 통해 실험적으로 변경될 수 있다.
결론
FLIR Firefly는 카메라 기반 추론을 사용하면 기존의 규칙 기반 시스템보다 더 빠르고 정확한 이미지 분석을 가능하게 한다. 카메라에서 직접 깊은 신경 네트워크를 실행하면 이벤트에 대한 실시간 응답을 위해 초저 대기 시간(ultra-low latency for real-time)의 에지 기반 이미지 분석이 가능하다.
자료 제공: FLIR(www.flir.com)
