머신 비전 애플리케이션의 두 가지 아키텍처, 스마트 카메라 방식 vs PC 기반 방식 ②
PC 기반 이미지 처리 소프트웨어 선택
머신 비전 인프라 및 이미지 라이브러리 솔루션: 머신 비전 소프트웨어 솔루션에서 분석 및 처리의 기반이 되는 이미지 라이브러리를 선택할 때 고려해야 할 기능에 대한 논의를 시작하기 전에, 기계제작자가 사용할 수 있는 세 가지 기본 대안을 이해하는 것이 좋다. 기계제작자는 상업적으로 이용 가능하 지만 독점적인 타사 이미지 라이브러리 및 이미지 처리 인프라 솔루션을 구매하거나, GigE와 결합된 OpenCV라는 오픈 소스 라이브러리에 의존하거나, 자체 이미지 라이브러리 솔루션을 개발할 수 있다.
첫째, 상업적으로 재 판매할 수 있는 여러 타사 이미지 라이브 러리 및 이미지 처리 패키지가 있다. 솔루션을 PC에 로드하고 기계 컨트롤러와 통합할 수 있다. 이러한 제품에는 이미지 처리(예:
에지 감지) 및 수천 건의 배포를 위해 시간 테스트를 거친 알고리 즘이 있다.
둘째, OpenCV는 상업적으로 이용 가능한 것과 동등한 오픈 소스이다. 많은 오픈 소스 솔루션의 경우와 마찬가지로 기계제작자는 이미지 처리 및 분석 라이브러리를 애플리케이션에 통합하는데 더 많은 책임을 져야 하지만 상용 대안과 같은 실행 시간 비용이 없기 때문에 매우 비쌀 수 있다.
세 번째 대안은 시장에서 제공하는 이미지 라이브러리의 도움 없이 이미지 처리 및 분석을 개발하는 것이다. 어려워 보이지만 일부 기계제작자는 상용 솔루션과 같은 런타임 비용이 없을 뿐만 아니라 특정 기계에 대한 이미지 분석을 최적화할 수 있기 때문에 이미지 처리가 경쟁 우위가 될 수 있다.
이미지 처리를 위한 머신 비전 소프트웨어: 최근까지 이미지 처리 및 분석 소프트웨어의 선택은 상대적으로 간단한 이미지 처리 작업을 수행하는 호출 가능한 라이브러리를 제공하는 많은 회사로 제한되었다. 여기에는 이미지 빼기와 같은 포인트 처리 작업, 이미지 필터링과 같은 이웃 작업 및 푸리에 (Fourier) 분석과 같은 전역 작업이 포함된다.
유용하지만 개발자는 이러한 각 기능을 이해하고 부품 측정과 같은 머신 비전 작업에 대한 솔루션을 제공할 수 있는 방법을 지정해야 했다. 종종 이러한 라이브러리를 지원하기 위해 소프트웨어 프레임워크를 구축해야 했기 때문에 그러한 프로그램을 개발 하는 데 많은 시간과 노력이 들었다. 실제 구현 측면에서 머신 비전 소프트웨어에 대한 하나의 구성은 시스템 구성 요소를 구성하고 머신 비전 기능 및 작업을 실행하는 방법을 애플리케이션으로 설명할 수 있다. 이러한 앱에는 직관적이고 그래픽으로 조작된 애플리케이션 구성 단계를 통해 사용 편의성에 중점을 둔 그래픽 사용자 인터페이스(GUI)가 있는 경향이 있다.
인프라에 관해서는 위에서 언급한 바와 같이 많은 상용 이미지 처리 소프트웨어 솔루션이 고유한 프레임 그래빙 및 IO 인프라를 제공하지만 표준의 힘 덕분에 GigE Vision이 기본 전송 기술 표준이 되었다. 즉, 대부분의 상용 및 오픈 소스 이미지 처리 소프트웨어는 두가지 구성 요소를 제공하는데 첫번째는 이미지 획득 및 이미지 분석 결과 공유를 위한 인프라이고 두번째는 실제 이미지 분석을 수행하기 위한 라이브러리이다.
결과적으로, 머신 비전 소프트웨어는 완전히 프로그래밍 가능한 개방형 아키텍처 머신 비전 시스템용으로 설계되었다. 일반적 으로 C, C++, C#, .NET 등과 같은 언어로 컴퓨터 프로그래밍에 대한 적절한 수준의 경험이 있는 사용자를 대상으로 하는 이러한 소프트웨어 제품은 ‘소프트웨어 개발 키트(SDK)’ 또는 ‘라이브러 리’라고 할 수 있으며 광범위한 선택 항목을 포함한다. 중간 수준의 연산자가 적절하게 결합되면 매우 기본적인 것부터 매우 복잡한 것까지 다양한 작업을 수행한다.
또한 대부분의 경우 머신 비전 애플리케이션 개발을 위해 특별히 설계된 라이브러리는 통합 개발 환경(IDE) 또는 라이브러리에 있는 기본 도구를 기반으로 구축된 구성 가능한 소프트웨어 애플리케 이션을 특징으로 한다. 이러한 제품 확장은 개별 도구 또는 알고리 즘의 전체 기능을 희생하지 않고 이러한 라이브러리를 사용하는 애플리케이션에서 개발 프로세스를 훨씬 쉽게 만들 수 있으며 경우에 따라 구성된 애플리케이션 코드 또는 스크립트를 하위 수준 프로그 래밍 언어로 자동으로 통합할 수 있는 경로를 제공한다.
OpenCV 이미지 분석 소프트웨어 요약
상용 또는 OpenCV 이미지 분석 소프트웨어를 선택하기 위한 결정 기준은 실제로 모든 오픈 소스 토론의 단순화된 버전이다. 상용 패키지와 오픈 소스 패키지 모두와 관련된 이점과 위험이 있지만 서로 다른 방식으로 나타난다.
상용 패키지를 사용하면 대부분의 통합 작업이 완료되고 라이 브러리가 견고하며 사용자 경험이 단순화되고 사용자가 성공적으로 시장에 출시할 수 있도록 지원 및 교육이 제공된다. 기계제작자가 지불하는 가격은 각 머신 비전 배포가 다소 비싸다는 것이다.
반대로 OpenCV를 사용하면 오픈 소스 솔루션 배포에 대한 로열티 비용이 거의 또는 전혀 없다는 이점이 있지만 통합 작업이 필요하고 사용 가능한 지원이 거의 없다. 문제는 기계제작자가 선불 엔지니어링 비용을 지불하기를 원하는지 아니면 막대한 로열티 비용을 지불하고 이미지 라이브러리가 독점적이기 때문에 공급업체에 종속되기를 원하는지 여부이다.
<그림1> SMT 장비의 실시간 비전으로 품질 향상
실시간 및 결정론적 머신 비전 추가의 가치
실시간 운영 체제(RTOS, Real Time Operating System)가 제공 하는 결정론적 기능은 성능, 품질 및 처리량을 개선하여 비전 시스템에 판도를 바꾸는 기능을 추가한다. 결정론적 시스템에서는 트리거 신호가 카메라로 전송된 직후 이미지 캡처가 시작된다. 이미지 데이터는 확정적이고 미리 설정된 기간 내에 수집, 전송 및평가되어야 한다.
트리거 신호와 이미지 획득 사이의 최대 허용 반응 시간에 대한 요구 사항은 마이크로초에서 초 범위까지 다양할 수 있다. 점점 더 많은 산업용 카메라의 경우 하드 실시간 이미 지가 필수 조건이다.
예를 들어, 생산 공정에서 구성 요소를 검사할 때 구성 요소는 컨베이어 벨트를 통해 고속으로 운송된다. 정확한 검사를 위해 카메라는 구성 요소가 이동하는 동안 빠르게 이미지를 획득해야 한다. 이를 정확하게 맞추려면 낮은 대기 시간이 필요한다. 즉, 트리거 신호 수신과 이미지 획득 사이에 약간의 시간 지연이 필요하 다. 또한 시간 지연은 달라지지 않아야 한다.
어떤 지터도 이미지 획득 순간에 영향을 줄 수 없다. 이미지 속도가 높은 애플리케이 션(예: 초당 300개 이미지)의 경우 필요한 지연 시간은 마이크로 초에 불과하다. 그리고 이 작업에는 RTOS를 사용해야 한다.
이는 특히 로봇 공학과 같은 비전 지향 모션 애플리케이션에 해당된다. 예를 들어 비전은 표면 마운터 칩 삽입 기계에서 칩의 방향을 지원하거나 4도어 차량의 이음줄을 용접하는 로봇을 안내하 고, 그 후에 순간적으로 2도어 차량의 이음줄을 용접하는 데 사용될 수 있다. 만약 강력한 실시간 비전이 결정론적 모션 루프의 일부가 아니었다면 대기 시간이 너무 커서 품질을 보장하기 위해 성능을 크게 저하시켜야 했을 것이다. 그리고 머신 비전 시스템이 로봇에게 볼 수 있도록 가르치는데 오랫동안 사용되어 온 로봇 공학의 세계에는 더 많은 예가 있다.
결국 로봇 팔은 카메라와 이미지 처리가 이동 위치를 정확하게 알려준 후에만 고정밀 그립핑 및 포지셔닝 동작을 수행할 수 있다. TCP/IP CAT 5 케이블에 연결하기만 하면 되는 작고 가벼운 산업용 IP 카메라는 일반적으로 로봇에 사용된다. 이 장치는 컴퓨터 칩조립 중 그리핑, 마운팅 및 위치 지정 작업과 같은 픽 앤 플레이스 애플리케이션에 이상적이다. 산업용 카메라는 모든 생산 단계 사이에서 다양한 제품 특성의 측정 및 품질 관리에도 필요하다.
생산 공정 중 안전은 항상 로봇 응용 분야의 주요 관심사이다. 이전에는 작업자가 회전하는 로봇이 있는 위험 구역에 들어가는 것을 방지하기 위해 장벽이 설치되었다. 구조는 비싸고 번거롭고 융통성이 없었다. IP 카메라는 상황을 근본적으로 바꿔 놓았다. 이제 네트워크 기술을 로봇 주변에 배치하여 바닥의 표시를 기반 으로 가상 케이지를 만들 수 있다. 카메라는 표시된 영역을 모니 터링하고 재료 또는 직원이 로봇의 작업 영역에 들어올 경우 기계를 정지할 수 있는 권한을 부여 받는다. 이러한 애플리케이션은 RTOS에서 실행되는 경우에만 100% 안정적으로 실행되므로 RTOS 기능은 이를 수용하는 기계제작자에게 경쟁력 있는 분리를 제공한다.
실시간 이미지 처리 소프트웨어의 경쟁 구도: 시장 조사에서 기계제작자는 결정론적 이미지 처리 기능을 차세대 기계에 추가하는 데 사용할 수 있는 세 가지 PC 기반 머신 비전 소프트웨어 솔루션이 있음을 발견할 것이다. 이러한 솔루션 중 두가지는 세계적 수준의 상업적으로 입증된 비결정적 이미지 처리 소프트웨어를 기반으로 한다. 이미지 처리 공급업체는 자체적으로 실시간을 포함하지 않고 대신 실시간을 추가하기 위해 타사 플러 그인을 제공하는 RTOS 공급업체에 관심 있는 당사자를 참조한다.
기계에 실시간 이미지 처리를 추가하기 위한 세 번째 옵션은 오픈 소스 OpenCV 머신 비전을 IntervalZero의 RTX64 RTOS와 같은 실시간 운영 체제(RTOS)로 이식하여 Real Time Machine의 약속을 이행하는 상용 솔루션을 사용하는 것이다. 실시간 머신 비전 솔루션은 IntervalZero RTX64 Vision 페이지 또는 KINGSTAR Vision 페이지에서 다운로드할 수 있다.
오픈 소스의 경우와 마찬가지로 새로운 기계 라이브러리를 통합하는 형태로 지불해야 하는 대가가 있지만 이미지 라이브러리에 대한 비용이 없다는 이점이 있다. 이와는 대조적으로 상업용 공급업체는 이미지 라이브러리에 대해 막대한 비용을 청구하며 일단 기계제작자가 이미지 라이브러리를 사용하기 시작하면 앞으로 몇 년 동안 해당 공급업체에 종속된다. 경쟁 구도를 파악하기 위해 각 접근 방식의 장단점을 요약했다.
요약
머신 비전을 제공할 수 있는 두 가지 일반적인 아키텍처는 스마트 카메라와 PC 기반 솔루션이다. 스마트 카메라는 놀라운 기능을 제공할 수 있지만 비용이 많이 드는 자동화의 경향이 있으므로 PC 기반 아키텍처만큼 다재 다능하지 않다. 이는 더 많은 에지 분석 및 클라우드와의 데이터 공유를 요구하게 될 인더스트리 4.0 시대에 특히 그러하다. 머신 비전의 궁극적인 목표는 머신 컨트롤 러와 실행 지침을 공유하는 것이다. 머신 비전과 머신 컨트롤러가 동일한 PC에 있으면 통합 노력이 최소화된다.
또한 기계제작자는 결정론적 또는 하드 실시간 이미지 처리가 비결정론적 접근 방식에 비해 품질과 성능이 크게 향상되는 동시에 설정 시간이 단축되기 때문에 경쟁력 있는 차별화를 제공할 수있는 기능이라는 사실을 발견하고 있다.
마지막으로, PC를 대상으로 하는 두 가지 견고한 상용 이미지 처리 솔루션이 있지만 결정론적이지 않으며 RTOS 공급업체의 타사 플러그인이 필요하다. 더 많은 구성 요소가 추가됨에 따라 비용이 증가하기 시작한다. 또는 머신 비전을 위한 오픈 소스 솔루 션인 OpenCV가 있다. OpenCV는 이제 세계적인 수준의 RTOS인 IntervalZero의 RTX64에서 실행된다. OpenCV는 오픈 소스이므로 이미지 처리 라이브러리에 대한 요금이 부과되지 않는다.
처음 부터 라이브러리를 사용자 지정하는 작업과 PC 및 운영 체제 비용이 있지만 이 실시간 머신 비전 솔루션은 기계제작자를 위한 가장 개방적이고 총소유비용이 가장 낮은 솔루션이다. 개방형 시스템 접근 방식을 통해 기계제작자는 OpenCV를 사용한 실시간 머신 비전과 머신 컨트롤러를 단일 PC에 배포할 수 있으므로 컨트 롤러 통합으로 인한 비용을 절감할 수 있다.
자료제공: Kingstar(www.kingstar.com)
