메타버스(Metaverse)는 1992년에 출간된 닐 스티븐슨(Neal Stephenson)의 SF 소설 ‘스노 크래시(Snow Crash)’에서 처음 등장한다. 이 작품에서는 메타버스를 ‘고글과 이어폰 등을 활용한 시청각 출력장치를 이용해 접근하는 가상세계’로 규정하고 있지만, 최근에는 ‘현실 세계와 같은 사회적·경제적 활동이 통용되는 3차원 가상공간’의 의미로 활용되고 있다. 온라인 비디오 게임으로 유명한 포트나이트 社 CEO 팀 스위니는 ‘메타버스는 인터넷 다음 버전’이며, ‘사람들은 메타버스로 일을 하러 가거나 쇼핑을 하면서 시간을 보내게 될 것’이라고 전망하기도 했다.
미국의 ASF(Acceleration Studies Foundation)에서는 메타버스를 아래 그림과 같이 네 가지 유형으로 구분하고 있다. 많은 사람이 메타버스라고 하면 가상현실(VR)을 떠올리지만, 이는 메타버스를 구현하는 여러 수단 중 하나라고 할 수 있다.
증강현실(Augmented Reality)은 현실 공간에 가상의 이미지나 영상을 덧입히고, 상호작용을 통해 메타버스를 구현하는 방법으로 몇 년 전 유행했던 포켓몬고가 가장 대표적인 예라고 할 수 있다.
라이프로깅(Lifelogging)은 가상의 공간에 일상의 경험과 정보를 저장하고 공유하며 현실의 사람들과 상호작용하는 구현 방법으로 우리에게 친숙한 페이스북, 인스타, 카카오스토리 등을 떠올리면 쉽게 이해할 수 있다.
거울 세계(Mirror Worlds)는 현실 세계를 복사하듯 가상세계로 가져오고, 일상생활에 유용한 다양한 정보를 추가하여 메타버스를 구현하는 방법으로, 대표적인 예로는 다양한 포털에서 운영하는 지도 서비스나 관광 안내, 내비게이션 서비스 등이 있다.
마지막으로 가상세계(Virtual Worlds)는 디지털 데이터로만 구축된 형태로 현실과 다른 대안적 세계를 구축하고 그 속에서 활동할 수 있는 메타버스를 구현하는 것으로, 포트나이트나 마인크래프트 같은 게임이나 로블록스, 제페토와 같은 가상 커뮤니티 등이 대표적인 예라고 할 수 있다.
목적에 따라 다양한 방법으로 메타버스를 구현할 수 있지만, 다양한 분야에 폭넓게 활용되기 위해서는 메타버스를 통해 실제와 같은 현실감을 제공할 수 있는 기술의 구현이 가장 중요하다. 특히 인간은 감각기관을 이용한 인지 기능 중 80% 이상을 시각에 의존하는 것으로 알려져서, 실제와 같은 가상공간을 표현하는 메타버스 시각화 기술 개발에 많은 관심이 집중되고 있다. 직관적으로 시각화 기술이라고 하면 디스플레이나 광학 기술을 떠올리게 되지만, 인간의 인지 기능을 대신할 수 있는 반도체와 센서 기술의 개발도 매우 중요하다.
시력이 1.0인 사람을 기준으로 해상도에 따른 이질감을 해소하기 위해서는 60PPD(Pixel Per Degree, 우리에게 익숙한 PPI(Pixel Per Inch)로 환산하면 5,000 ~ 6,000PPI 정도 된다.) 이상을 표현할 수 있는 디스플레이가 요구된다. 또한 가상의 영상이나 이미지를 시야의 범위 내에서 편안하게 인지하기 위해서는 8,000 X 8,000 이상의 픽셀 수가 필요한 것으로 알려져 있다. 다양한 기술적 난제로 이러한 요구 조건에 부합하는 디스플레이 기술은 아직 개발되지 못했지만, CMOS 백플레인을 활용하는 마이크로 디스플레이를 통해 이러한 요구 조건을 단계적으로 충족시키기 위한 기술 개발이 활발하게 진행되고 있다. 최근의 기술 수준은 1인치 내외의 2,500 X 2,500 해상도를 갖는 자발광형 마이크로 디스플레이를 채용한 VR 디바이스가 출시되고 있으며, R&D 단계에서는 4,000 X 4,000 해상도를 갖는 자발광형 마이크로 디스플레이가 개발된 것으로 알려져 있다.
그러나 이러한 디스플레이가 개발되더라도 원활하게 제어할 수 있는 반도체 기술 없이는 실감 나는 메타버스 구현이 어렵다. 미래의 메타버스는 VR 또는 AR 디바이스를 통해 제공될 가능성이 크다. 이 경우 단안을 기준으로 4,000 X 2,000 영상을 제공한다고 가정하면, 현재의 초고화질 TV 2대에 해당하는 영상 정보를 안경이나 고글과 같은 경량/박형의 착용형 디바이스 내에서 제어해야 한다. 따라서 충분한 메모리를 구비하고, 초고속의 정보처리가 가능한 반도체가 개발되어야 한다.
나아가 착용형 디바이스를 통해 제공되는 메타버스 서비스는 TV 등과 같이 일방적인 정보의 제공뿐만 아니라, 사용자의 위치나 움직임 등에 따라 다양한 상호작용도 함께 구현되어야 하므로, 반도체를 통해 처리해야 할 정보의 양은 기하급수적으로 늘어날 수 있다. 또한 착용형 디바이스에는 충분히 큰 용량의 배터리가 장착될 수 없으므로, 이러한 디바이스에 적용되는 반도체 부품은 초저전력으로 최고의 성능 구현이 가능해야 한다.
실감 나는 시각 정보 전달을 위해서는 착용형 디바이스가 사용자의 주변 환경, 움직임, 위치 등에 대한 정보를 실시간으로 파악할 수 있어야 한다. 이러한 정보를 획득하기 위해 다양한 센서 기술들이 개발되었지만, 더욱 혁신적인 성능의 개선이 요구되고 있다. 일반적으로 인간은 주변 상황이나 움직임에 따른 시각 정보의 변화를 인지하는데, 10 ~ 20msec의 시간이 소요되는 것으로 알려져 있다. 따라서 메타버스 서비스를 위한 센서 정보는 1초에 60회 내외의 업데이트가 필요하다. ToF (Time of Flight) 센서나 영상처리 방법을 통해 주변 환경을 파악할 수 있지만, 메타버스 서비스를 위한 착용형 디바이스에 적용하기 위해서는 센서의 무게와 부피, 소비전력, 속도 등에 대한 많은 개선이 필요하다. 사용자의 움직임이나 시각을 파악하기 위한 6DoF(Degree of Freedom)나 동공 추적 센서 기술도 많이 발표되고 있지만, 사용자의 신체 특성이나 움직임에 따른 보정이 지속해서 필요하여, 대중적인 활용을 위해서는 아직 많은 시간의 기술 개발이 필요할 것으로 예상된다. 나아가 시각 정보를 제공하는 디스플레이 정보는 다양한 센서 정보와 연동하여 초당 90fps(frame per second) 영상 제공이 필요하므로, 궁극적으로 디스플레이와 센서를 통합하여 관리, 제어할 수 있는 반도체 기술이 요구되고 있다.
메타버스 서비스를 위한 인프라 구축에도 다양한 반도체 기술이 요구된다. 가장 먼저 대용량의 초실감 메타버스 정보를 주고받기 위해서는 6G 통신속도(최대 1Tbps)를 처리할 수 있는 통신용 반도체 기술이 필요할 것으로 예상된다. 앞서 설명한 바와 같이, 대용량의 영상 정보를 실시간으로 센서 정보와 연동하여 서비스하기 위해서는 최소 수백 Gbps 수준의 신호처리가 필요하기 때문이다. 최근 상용화되어 활용되고 있는 5G 통신은 최대 50Gbps의 통신속도를 제공하기 때문에 최소 50배 이상의 성능 개선이 필요하다고 할 수 있다.
이와 더불어 데이터 전송의 효율을 높이기 위한 압축 전송의 속도 개선도 필요하다. 최신의 통신 기술은 압축 전송을 위해 활용되는 인코딩(encoding)과 디코딩(decoding)에 수백 msec의 시간이 소요되지만, 인간의 시각인지에 대한 반응 속도를 고려하면 최소 10msec 이내에 인코딩과 디코딩이 이루어져야 하기 때문이다.
한편 메타버스 서비스를 고려하면 착용형 디바이스를 통한 정보의 수신뿐만 아니라, 획득한 정보에 대한 송신에도 많은 반도체 기술의 개발에 필요할 것으로 예상된다. 실감 나는 메타버스 서비스를 위해 실사 중심의 영상을 상호작용 정보와 함께 획득한다고 가정하면, 개인이 착용하고 있는 디바이스를 통해 다양한 정보가 수집되어야 한다. 그리고 이 정보는 콘텐츠 생성을 위해 가공되어야 하므로 이 기능을 담당할 서버에 송신되어야 하기 때문이다.
카메라를 통한 영상 정보를 활용하는 경우 데이터의 용량이 기하급수적으로 늘어날 수 있기 때문에, 최근에는 최소한의 영상 정보 송수신으로 메타버스 서비스를 하기 위한 다양한 기술들이 검토되고 있지만, 이 역시 반도체 기술을 적용한 혁신적인 센서 개발이 선행되어야 구현이 가능할 것으로 예상된다.
다양한 매체를 통해 메타버스 세상이 곧 열릴 것으로 기대되었지만, 아직은 VR 기반의 온라인 게임이나 소셜 미디어 서비스 등에 머물러 있다. 다양한 메타버스를 실현할 수 있는 하드웨어 기술의 개발이 서비스 제공을 위한 요구사항을 아직 충족시키고 있지 못하기 때문이다.
메타버스를 위한 하드웨어 기술 개발의 핵심은 디스플레이와 반도체 기술이다. 인간의 시각인지 한계에 근접할 수 있는 가상 영상을 제공할 수 있는 디스플레이 기술과 인간의 반응속도를 뛰어넘을 수 있는 데이터 처리할 수 있는 반도체 기술, 인간의 감각기관을 모사할 수 있는 센서 기술 등이 핵심적이기 때문이다. 나아가 이러한 기술들은 최소한의 전력으로 구현되어야 하므로 생체의 정보처리 기능을 모방한 뉴로모픽 프로세서와 인공지능 알고리즘 기술 개발에 대한 관심이 더욱 집중될 것으로 예상된다. 이러한 기술이 단계에 따라 성공적으로 개발된다면, 2035년경에는 메타버스 서비스에 활용 가능한 ‘몰입 협업용 초저지연 입체 공간 구현’도 가능할 것으로 기대된다.
(출처: 한국정보디스플레이학회 디스플레이 미래기술 2035)
