손으로 느끼고 조작하는 실감나는 가상현실이 온다
서로 멀리 떨어진 곳에 있는 사람들이 하나의 가상공간에서 가상물체를 실제처럼 보고 손으로 직접 조작할 수 있는 세상이 올 수 있게 되었다.
국내연구진이 카메라형 센서로 가상현실과 실제 공간을 일치시켜 여러 사용자간 확장공간공유 및 상호작용하고 보급형 평면 입체 디스플레이 환경에서 입체가상물체를 실제 물체처럼 보고 맨손으로 조작할 수 있는 기술을 개발했다.
한국과학기술연구원(KIST, 원장 이병권) 로봇연구단 박정민 박사팀은 가상공간과 실제 공간간의 차이가 5mm로 몰입감이 우수한 가상현실공간을 개발했다. 이는 세계 최고 수준으로 알려진 기존 기술의 공간 차이가 10mm였던 것을 대폭 개선한 것으로 한층 더 높은 몰입감으로 현실처럼 가상물체를 조작할 수 있게 되었다.
보편적으로 사용되는 평면 입체 디스플레이를 이용함으로써 다양한 가상현실공간의 응용에 손쉽게 사용할 수 있으므로 기술 활용도가 매우 높을 것으로 기대되며, 가상물체를 실제 물체처럼 직접 손으로 조작(잡기, 들기, 움직이기 등)하는 기술은 훈련 및 교육 애플리케이션이나 의료용 시뮬레이터 등 다양한 응용분야에서 직관적인 사용자 인터페이스로 활용될 것으로 기대된다.
현실공간과 가상공간을 통합하는 기술의 발달
현실에 있는 사용자가 가상공간의 물체를 현실과 동일한 수준의 몰입감으로 조작하기 위해서는 현실공간과 가상공간을 통합하는 기술이 필요하다.
현실공간과 가상공간을 하나로 통합하는 기술은, 사용자가 영상을 보는 평면 입체 디스플레이와 사용자간의 상호작용을 위하여 사용자 움직임을 감지하는 카메라형 센서의 위치를 추정하는 기술이 핵심이다.
연구진은 거울을 이용해 디스플레이를 비추는 영상을 얻고 각각의 센서-디스플레이 쌍에 대해서 거울을 이용한 센서 변수 및 자세를 추정해 현실공간과 가상공간이 일치하는 정합결과를 얻는 기술을 개발했다.
특수한 장치로 고안된 가상공간과 현실공간을 통합하는 예는 기존에 있었으나, 특정한 입출력장치로 구성된 시스템에서 제한된 공간에서만 사용할 수 있는 한계가 있었다. 때문에 가정과 산업현장에서 보편적으로 사용하기 어려웠다.
반면, 평면 입체 디스플레이와 RGBD 센서인 키넥트(Kinect)를 사용, 색상(Color)과 깊이(Depth)를 이용하는 이 기술은 가상공간 구성비용이 저렴하고 보급형 출력장치인 3D TV와 같은 평면입체디스플레이를 사용하므로 손쉽게 몰입형 가상공간을 구축할 수 있는 장점이 있다.
또한, 현실처럼 가상공간에서 상호작용이 가능하고 몰입감이 뛰어나 산업용으로나, 일반 사용자용 및 다양한 새로운 서비스 창출이 가능할 것으로 예상된다.
개발한 기술은 네트워크를 통해 여러 사용자가 하나의 확장공간을 공유하여 같은 가상 물체와 동시에 사용할 수 있도록 하였다.
완전한 현실-가상공간 개발을 위해 연구 시작
사용자에게 가상공간에서 실감나는 몰입감을 제공하기 위해서는 실제인 사용자 공간에서의 사용자나 물체의 위치와 움직임을 가상공간에 반영하고, 가상공간 내의 가상물체의 공간 정보를 실제 현실 공간에 있는 사용자에게 나타낼 수 있어야 한다.
사용자가 가상공간과 물리적으로 상호작용하기 위하여 실제의 사용자 공간(현실공간)과 가상공간을 정합하는 기술이 필요하다.
현실-가상공간 정합기술은 가상공간과의 물리적 상호작용을 위해 반드시 필요한 필수 핵심 기술이지만, 아직까지 완전한 가상공간과 현실 공간과의 정합에 대한 연구가 진행된 바 없으며 응용 분야에 따라서 비교적 제한적인 접근 방법으로 이를 보완하고 있는 실정이다.
예를 들어 가상공간에 사용자의 아바타를 제시하고 이를 사용자가 조작하도록 하는 방법, 또는 실제 공간에 마커를 배치하여 실제 공간 영상에 가상 물체를 올려놓도록 하는 증강현실 방법 등이 연구된 바 있지만, 사용자가 존재하는 실제공간과는 완전히 별개로 구성되는 완전 가상공간에 정합하는 방법이 연구된 바가 없다.
평면 입체 디스플레이와 카메라형 센서간의 정합
센서-디스플레이 정합은 사용자 및 실제 세계 물체를 관찰하는 센서 좌표계와 가상 물체를 나타내는 디스플레이 좌표계 사이의 관계를 구하는 과정이며, 이 연구개발에서는 센서로서 RGB-Depth 영상을 제공하는 마이크로소프트의 키넥트 센서를, 디스플레이로서 3차원 평면 HDTV를 사용하였다.
다수 디스플레이와 다수 카메라형 센서간의 정합은 단일 디스플레이-센서간 변환을 추정한 뒤, 다수 디스플레이-다수 센서간 변환을 추정하는 두 단계로 이루어진다.
거울을 이용해서 아래 그림에서와 같이 디스플레이를 비추는 영상을 취득하고 각각의 센서-디스플레이 쌍에 대해서 거울을 이용한 센서 변수 및 자세를 추정함으로써 초기 정합결과를 얻는다. 개별 초기해로부터 얻은 카메라 파라미터와 자세정보로부터 재투영오차를 최소화하여 통일된 좌표계에서 최적화함으로써 정합 결과를 얻는다.
관련 기술은, 마이크로소프트의 MirageTable이나 Holodesk는 특정 출력장치(곡면 디스플레이와 프로젝터, 빔 스프린터)를 사용하여 가상물체를 조작하는 시스템이므로 기술 보급이 어려운 반면, 범용 제품인 입체 평면 디스플레이를 통해 몰입형 가상세계에서 상호작용할 수 있으며, 두 기술과 비교하여 2배~3배 넓은 공간을 조작할 수 있고, 가상공간과 실제공간 간의 일치정도(공간 정합 정밀도)면에서도 2배의 성능이 향상된다.
다양한 3차원 몰입 가상현실 응용기술 구축 기대효과
가상물체를 사용자가 보이는 곳에 실제로 존재하게 하며 포인터나 아바타를 이용하지 않고 가상물체를 손을 이용하여 잡기, 들기, 밀기, 잡은 가상물체로 다른 가상물체를 치기와 같은 다양한 조작을 할 수 있다.
몰입형 가상공간에서 가상물체를 직접 조작할 수 있는 인터페이스 핵심기술로서, 다양한 3차원 몰입 가상현실 응용기술을 구축하고 사용하는데 활용할 수 있다.
이 기술을 개발한 연구진에 따르면 이 기술을 사용하면 가상 물체를 직접 접촉하고 조작하는 것이 필요한 응용의 전 분야에 활용이 가능하다고 밝혔다. 예를 들면 체험형 교육, 3D 관광 안내지도, 3D 인터랙티브 광고, 가상 실감 쇼핑몰, 가상 체험전자 전시나 안내물, 장치 매뉴얼 등 다양한 분야에서 새로운 서비스를 제공할 수 있다. 또한 가상현실에서의 콘텐츠를 제어하는데 마우스 대신 맨손으로 사용할 수 있어 더욱 실감나는 물체조작 환경 구축에 응용이 가능하다.
연구책임자인 박정민 박사는 “이미 널리 보급된 입출력 장치를 사용하므로 다양한 가상현실 관련 산업을 견인하는 기술파급효과가 클 것으로 예측되며, 네트워크를 통해 연결함으로써 멀리 떨어진 곳에 있는 사람이 실제처럼 만나서 함께 일하고 재미있게 놀이할 수 있는 새로운 공간이 마련되므로 신서비스 창출에 기여할 수 있을 것”이라며, “손으로 직접 조작할 수 있는 기술 개발로, 누구나 손쉽게 사용할 수 있어서 웨어러블 인터페이스에서 한걸음 나아가 가상공간환경의 다양한 애플리케이션에서 가상물체를 다루는데 손쉽게 사용할 수 있는 차세대 인터페이스로 자리매김할 수 있을 것”이라고 밝혔다.
한편, 이 연구과제는 미래창조과학부 ‘현실과 가상의 통합을 위한 인체감응솔루션’ 글로벌 프런티어사업의 지원으로 개발되었으며 관련기술은 국내/외 특허가 등록(각 1건)되었고 국외출원(1건), 국내 특허 출원(1건)을 마쳤다.
자료제공 | 한국과학기술연구원(www.kist.re.kr)
