IDS, 3D 카메라 데이터 작업 간소화가 가능한 IDS
인더스트리 4.0 시대가 열리면서 생산 환경에서 작업자와 같이 혹은 단독으로 일하는 로봇의 도입이 많아지고 있다. 로봇이 사람이 하는 역할을 대체하거나 사람과 함께 일을 하기 위해서는 물체를 보기위한 ‘눈’이 필요하다. 이때 3D 카메라가 로봇의 눈이 될 수 있다. IDS의 3D 카메라는 Ensenso SDK 2.2와 새로운 5MP 카메라 모델을 통해 솔루션을 제공한다.
최근 부상하고 있는 3D 카메라 데이터
오늘날 3D 카메라 데이터를 이용한 환경 인식은 이전에는 인간만이 수행할 수 있었던 많은 혁신적인 애플리케이션을 가능하게 한다.
따라서 로봇이 인간과 같은 방식으로 물체를 인식하고 다양한 상황에 독립적으로 반응할 수 있게 됐다. 생산 현장의 공간 치수와 위치뿐만 아니라 기준 물체와 비교해 편차 혹은 결함에 대한 정확한 결론을 만들어낼 수도 있다.
3D 카메라와 해당 데이터를 사용하는 것은 매우 복잡하며 애플리케이션을 개발할 때 많은 준비 및 설정 시간이 필요하다. 특히 멀티 카메라 애플리케이션이나 로봇과 함께 데이터를 효과적으로 사용하기 전에 몇 가지 좌표계 상의 복잡한 보정이 필요하다.
시스템 의존성이 강하기 때문에 사용 가능한 데이터를 생성하기 위해 애플리케이션을 시스템 수준에서 직접 개발하는 경우가 많다.
또한 많은 3D 카메라의 시야와 해상도는 작업 공간이 더 큰 애플리케이션에는 충분하지 않다.
이러한 요구 사항은 새로운 Ensenso SDK 2.2와 5MP 변형 Ensenso X 시리즈를 개발할 때 고려된 사항이다. 따라서 신제품은 세부사항이 많이 개선돼 통합이 훨씬 쉬워졌다.
속도와 품질에 최적화된 다양한 모델
3D 카메라는 정지 및 이동 애플리케이션에 모두 적합하다. FlexView 기술과 정교한 SC 알고리즘(연속 상관관계)과 함께 사용하면 빈 픽킹 혹은 고정밀 물체 비교를 위한 카메라 모델 N35, X36 1.3MP, X36 5MP의 결과 정확도가 최적화된다.
조정 가능한 고성능 프로젝터는 임의의 패턴을 생성해 테스트 물체의 표면에 구조가 다른 이미지를 만든다. SC 알고리즘은 이 출력을 사용해 3D 개체 데이터를 계산하므로 각 추가 이미지 쌍(최대 16)의 이점을 통해 정확도를 높인다.
Ensenso는 연속 컨베이어 벨트 혹은 카메라가 스스로 움직이는 경우처럼 움직이는 물체를 카메라 모델 N30, X30, 1.3MP, X 30 5MP로 완벽하게 사용할 수 있도록 준비됐다. 최적화된 SGM 알고리즘(세미-글로벌 매칭)은 이미 단일 영상 쌍에서 상당한 정확도의 깊이 정보 획득을 달성했다. IDS 웹 사이트의 Ensenso 카메라 선택기를 사용하면 모든 애플리케이션에 적합한 카메라를 찾을 수 있다.
더 넓은 시야를 위한 더 큰 눈
두개의 소니(Sony) IMX 264 5MP 이미지 센서가 통합돼 있어 Ensenso 3D 카메라 제품군의 3D 이미지 해상도는 이전 1.3MP 버전에 비해 약 35% 증가하는 동시에 시야도 약 20% 까지 증가했다.
120×80×100(㎝)의 부피로 꽉 찬 유로 팰릿을 완전히 잡으려면 카메라와 테스트 물체 사이의 거리를 1.5m에서 1.25m로 줄일 수 있다. 그 결과 기본 센서 분해능이 훨씬 더 효과적으로 사용된다. 소니 센서의 낮은 픽셀 소음과 더불어 계산된 깊이 정보(Z 정확도)가 0.43㎜에서 훌륭한 0.2㎜로 개선된다.
신속한 계산을 통한 내장 애플리케이션
더 강력한 센서는 더 많은 양의 데이터를 생성하므로 결과를 사용할 수 있을 때까지 처리 시간이 길어질 수 있다.
5MP 모델을 사용한 기준 측정에서는 이미지 한 쌍 혹은 시간을 전체 3D 영상에 일치시키기 위해 약 4배 더 긴 처리 시간을 소모한다. 그럼에도 불구하고 고해상도 5MP 이미지 쌍을 사용한 시퀀스 상관관계의 전체 3D 이미지 계산 시간은 약 2.5초에 불과하다. 이것들은 대부분의 애플리케이션에 충분히 사용가능한 수치이다. 속도 요건이 더 까다로운 애플리케이션의 경우 5MP 이미지 쌍과 세미-글로벌 매칭은 1.1초의 계산 시간만으로 충분한 정확도를 제공한다.
중요한 계산은 부피가 더 큰 데이터와 관련 시간 손실을 상쇄하기위해 CUDA에 맞춰 최적화됐다. NVIDIA GPU의 추가 컴퓨팅 성능은 사용된 GPU와 해당 알고리즘의 파라미터화에 따라 처리 속도를 약 5배까지 높일 수 있다.
적합한 플랫폼은 NVIDIA Jetson TX2 보드이다. 스테레오 계산이 256 CUDA 코어에 액세스할 수 있지만 임베디드 장치용 HALCON을 사용한 후속 이미지 프로세스는 사용 가능한 ARM CPU에서 실행된다.
멀티 카메라의 기능과 장점
Ensenso 소프트웨어 라이브러리는 여러 대의 카메라가 하나의 애플리케이션에서 함께 작동할 수 있도록 다양한 기능을 제공한다.
서로 다른 뷰와 위치를 사용해 여러 카메라의 좌표계를 서로 조정하거나 실제 고정된 지점에 맞추고 균일한 물체 좌표계로 보정해야 한다. 만약 카메라가 로봇과 함께 작동하고 이것의 움직임이 카메라 데이터와 조정돼야 한다면, 교정이 또한 필요하다.
추가 Ensenso 스테레오 카메라 외에도 SDK는 동일한 애플리케이션에서 단안 2D-uEye 카메라의 매우 간단한 통합과 보정을 가능하게 한다. 2D 카메라 기능을 통해 3D 애플리케이션의 품질을 크게 개선할 수 있다. 스테레오 카메라가 경계 영역에 있는 물체를 식별하는데 어려움을 겪는 경우 에지 감지 혹은 색상 인식에 2D 카메라가 투입된다. 또한 2D 카메라는 바코드 콘텐츠와 같은 추가 정보를 획득할 수 있다. 따라서 Ensenso 소프트웨어에는 두 기술의 통합을 최적화한다.
또한 특별히 개발된 보정 패턴은 멀티 카메라 시스템의 설정과 조정을 용이하게 한다. NxLib 라이브러리는 여러 보정 플레이트를 사용해 상대적인 모든 크기의 물체 좌표 시스템과 카메라 위치를 인식하며 이 중 일부는 카메라에 의해 가려지더라도 서로 동기화를 통해 작업이 가능하다.
더 쉬운 개발과 디버깅의 가상화
애플리케이션 개발자는 특히 ‘파일 카메라’와 ‘가상 카메라’ 확장을 통해 이점을 누릴 수 있다. 알고리즘과 프로세스를 개선하려면 동일한 데이터를 여러 번 디버그 해야 한다.
파일 카메라는 시스템에서 실제 카메라처럼 움직이며 저장된 데이터 세트를 보관하는 로컬 폴더에서 가져온 이미지 차이를 나타낸다. 이렇게 하면 실제 시스템에 액세스하거나 상황을 재생성할 필요 없이 애플리케이션 시퀀스를 반복해서 시뮬레이션 할 수 있다. 또한 이상적인 디버깅 도구는 사용자가 문제가 있는 데이터 세트를 저장하고 이미지 처리 전문가에게 배포해 오류를 쉽게 재현할 수 있다.
‘가상 카메라’를 사용하면 오프라인 환경에서 시뮬레이션이 가능하다. 예를 들어, 서로 다른 카메라 모델을 사용해 데이터의 품질, 완전성, 해상도와 노이즈를 평가할 수 있다.
STL 혹은 PLY 형식(3차원 데이터 저장을 위한 일반 파일 형식)에서 물체를 원하는 대로 가져오거나 렌더링 및 배치 할 수 있다. 따라서 실제 시스템을 설정할 필요 없이 다양한 유형의 검사 프로세스에 대한 성능 평가를 수행할 수 있다. 수동 모델 생성 대신 장면 편집기가 이미 통합돼 있는 것이 특징이다. 예를 들어 상자 안에 자리한 서로 다른 부품과 방향을 가진 빈 피킹 애플리케이션을 쉽게 시뮬레이션 할 수 있다. 랜덤 기능을 사용하면 실제로 다양한 부품 공급과 같은 수많은 변형 모델을 테스트에 사용할 수 있다.
각 Ensenso 모델은 ‘가상 카메라’로 적용될 수 있다. 따라서 가능한 모든 모델은 온라인 카메라 선택기를 통해 선택할 수 있으며 시스템을 설정하기 전에 시뮬레이션 해볼 수 있다.
이러한 두 가지 툴을 사용하면 3D 애플리케이션에서도 예비 조사와 최적화를 쉽게 실현할 수 있다.
요약
3D 애플리케이션의 ‘최적화’를 통해 카메라 하드웨어와 데이터 작업의 복잡성은 불가피하게 증가한다.
Ensenso SDK 2.2 와 새로운 5MP 카메라 모델을 통해 IDS 는 시스템 통합 업체와 개발자를 위한 3D 데이터로 작업을 간소화하는 몇 가지 솔루션을 제공한다. IDS 는 하드웨어와 소프트웨어를 더욱 개선하여 더 강력한 3D 애플리케이션 개발을 지원한다. ‘빈 피킹’과 같은 어려운 작업에서도 품질, 사이클 속도와 경제성에 대한 요구 사항과 로봇 비전 애플리케이션의 빠른 가용성에 대한 요구 사항을 충족시킬 수 있다.
