급속한 기술 발전을 통해 터치 디스플레이는 오류를 줄이고 정확도는 높게 손가락 터치를 감지하며 사용자 의도대로 디스플레이에 피드백 해주고 있다. 그리고 스마트폰과 태블릿에서 대화형 키오스크와 노트북에 이르기까지 터치스크린은 사용자 중심으로 높은 편의성을 제공하며 정보 입력 방식을 혁신적으로 변화시켜 왔다. 기본적인 손가락 터치 감지부터 시작된 터치 기술은 이제 멀티터치 인터페이스, 증강현실 상호작용 및 햅틱 피드백 메커니즘 등과 같은 다양한 분야에서 기술 생태계를 주도하고 있다고 해도 과언이 아닐 것이다.
본 기고문에서는 터치 컨트롤러 IC의 관점에서 혁신을 주도하는 기술 및 연구 동향을 살펴보고자 한다. 좀 더 자세하게는 업무, 엔터테인먼트, 교육 등에서 없어서는 안 될 도구가 된 터치 장치에서 정확한 터치 인식, 손바닥 터치 제거 알고리즘, 고스트 터치(Ghost touch) 제거, 멀티터치와 같은 기능이 가능하도록 하는 기술을 소개하고자 한다.
○ 직관적인 터치 경험을 제공하기 위한 Touch Controller IC(Integrated Circuit) 기술들
● 손바닥 터치 제거 (palm rejection) 기술
태블릿이나 노트북 터치기기의 경우 펜으로 종이에 쓰는 듯한 질감과 느낌을 위해 스타일러스 펜을 사용한다. 스타일러스 펜을 사용할 경우 손가락 터치와 손바닥이 디스플레이에 자연스럽게 닿게 되고, 이때 정전용량 값이 변화되면서 터치로 인식되어 오류가 나타나기도 한다. 스타일러스 펜을 사용하면서 자연스럽게 손바닥이 터치 디스플레이에 닿아도 이를 터치로 인식하지 않고 스타일러스 펜의 움직임에만 인식이 되도록 하는 터치 필터링이 손바닥 터치제거기능(Palm rejection)이다.
미국의 카네기 멜론 대학에서는 스타일러스 펜 사용 시 손바닥이 터치되는 특징을 5가지로 정의하고 해당 조건이 만족 되었을 때 손바닥 제거 기능을 부여하는 기술을 소개하였다.
첫 번째로 하나의 작은 포인트가 인식되고 큰 면적의 포인트가 인식되었을 경우 스타일러스 펜과 손바닥이 동시에 인식되었을 때 손바닥 터치가 되었다고 판단한다. 두 번째로는 터치스크린에서 몇몇 군집을 이루어 큰 면적의 터치가 감지되었을 때이다. 세 번째는 큰 면적의 터치 부분도 서로가 약간 떨어져 군집을 이룬다는 것이다. 네 번째는 스타일러스 펜의 경우 일정한 면적을 가지고 있는 반면, 손바닥 터치는 인지되는 면적이 계속 변화한다는 것이다. 마지막으로 스타일러스의 포인트는 계속 움직임이 있는 반면 손바닥의 움직임은 둔하다는 것이 특징이라고 설명하고 있다.
즉, 스타일러스 펜의 작은 터치 포인트와는 별개로 긴 시간 동안 큰 면적의 터치가 많은 움직임 없이 인식된다면 손바닥 터치로 인지하여 디스플레이 피드백에서 제외시키는 것이다. 이러한 특징을 기반으로 98%의 손바닥 터치 제거 정확성을 보여주는 알고리즘 개발을 보고한 바가 있다.
국내에서도 주파수 성분을 분석하여 MCU(Micro controller unit)에서 손바닥 터치의 정전용량 프로파일을 검출하여 제거함으로써 과중한 계산 부하 없이 손바닥 터치를 제거하는 기술을 선보인 바 있다.
이처럼, 손바닥 터치 제거 기술의 경우 특정 조건 설정이 적절히 이루어졌을 때 사용자가 원하는 대로 손바닥을 인식하지 않는 피드백을 나타낼 수 있으며, 여러 사람의 멀티터치가 가능한 터치 디스플레이에서도 개별적인 손바닥 제거 기술이 적용되어 스타일러스 펜으로 글이나 그림을 그리는 모션을 오류 없이 처리되야 할 것이다.
● Ghost Touch 분류 기술
고스트 터치를 얘기하기 위해서는 먼저 정전용량 터치의 두 가지 방식에 대한 이해가 필요하다. 정전용량 방식에는 크게 Mutual(상호) 정전용량 방식과 Self(고유) 정전용량 방식으로 나뉜다.
상호 정전용량의 경우에는 X축과 Y축의 전극 사이에서 흐르는 정전용량값의 변화로 터치의 위치를 인지한다. 손가락이 터치되었을 때 정전용량값은 전도성 물질인 손가락으로 인해 감소하게 되며, 일정 수치 이상 정전용량값이 감소되었을 때 해당 위치에 터치가 되었음을 인지하게 된다. 고유 정전용량 방식의 경우 하나의 전극에서 나오는 정전용량값의 변화로 터치의 위치를 인지하게 된다. 손가락으로 패널을 터치하였을 때 해당 전극의 정전용량값이 증가하면서 터치의 위치를 인지하게 된다.
고스트 터치의 경우 상호 정전용량방식보다는 고유 정전용량 방식에서 두드러지게 나타나게 되며 터치하지 않는 포인트에서 터치로 인지되었을 때 제품의 품질 저하는 물론이거니와 잘못된 터치 인식은 심각한 위험 요소기 때문에 상당히 안정적으로 처리되어야 할 오류다.
고스트 터치를 개선하기 위해 다중 주파수 방식으로 전압을 측정하여 터치가 된 부분과 터치가 되지 않아 고스트 터치가 발생하는 정전용량값의 차이를 확연히 구분하는 알고리즘을 사용하여 약 5dB의 SNR(Signal and Noise Ratio)을 나타내는 연구도 진행되었으며, 15.4인치의 터치스크린에 동시 터치에도 높은 민감도로 고스트 터치를 분류하였다.
최근에는 보안 강화 이슈가 대두되면서 외부 공격으로 인한 고스트 터치를 방지하기 위해 케이블에 파형을 설계/주입하는 프레임워크가 개발되기도 한다. 외부 공격에 의한 고스트 터치는 전자기기의 소프트웨어 및 하드웨어의 오류로만 인식될 수 있기 때문에 방어가 철저히 되어야 하는 분야이기도 하다.
● 멀티터치 (Multi-Touch) 기술
멀티터치의 경우 일반적으로 정전용량 방식의 터치센싱 기술을 사용한다. 기본 터치 컨트롤러는 2포인트 또는 5포인트를 지원하지만 계속해서 터치 테이블과 같은 대형 터치 디스플레이가 출시되면서 많은 사람들이 동시에 사용할 수 있도록 10포인트 이상을 처리할 수 있는 터치 컨트롤러 IC에 대한 개발이 다양한 국내/외 기업 위주로 이루어지고 있다.
멀티터치의 특허는 아이폰이 등장한 2010년을 기점으로 그 수가 폭발적으로 늘었다. 특허청에 따르면 2006년 멀터터치 기술 특허 출원은 국/내외 통틀어 5건에 불과하였으나 09년 이후로 연평균 122건에 이르고 있다고 전하고 있다. 구체적으로는 멀티터치 시 터치 정확성 향상을 위한 전극 개선에 관한 특허가 가장 많았으며, 제어 방법에 관한 기술이 그 뒤를 이었고, 멀티터치가 된 신체 부위를 판별하는 방법 등 유저 인터페이스 관련 기술 및 기타 순으로 조사되었다. 터치 포인트 수용 갯수가 많아지면 멀티터치 기능이 가능함과 동시에 많은 사람들이 핀치투 줌 또는 회전과 같은 제스처를 동시에 수행할 수 있기 때문에 사용자 편의성을 위해 중요한 컨트롤 IC 부분이라 할 수 있다.
멀티 터치가 가능하기 위해서 다양한 간섭 노이즈를 줄이는 컨트롤 IC 기술이 국내외 기업들을 중심으로 개발되고 있다. 멀티 터치가 된 경우 정확한 감지를 위해서는 실제 터치 입력과 전자기 간섭 또는 기타 환경적 요인에 의한 노이즈를 먼저 구별해야 한다. 또한 낮은 지연속도와 빠른 응답성은 원활한 사용을 위해 중요한 요소이다. 지연속도가 낮은 터치 컨트롤 IC는 실시간 피드백을 제공하여 터치의 입력과 장치 응답 사이의 감지 가능한 지연을 줄여 많은 포인트의 멀티터치에도 빠르게 디스플레이 피드백이 가능하기 때문이다.
멀티터치를 위해 위 사항들이 중요하지만 기업에서는 무엇보다 호환성 및 안정성에 중점을 두기도 한다. 다양한 사이즈 및 형태의 터치 기기가 출시되고 있어 터치 컨트롤러 IC는 스마트폰, 태블릿, 노트북 및 기타 터치 기기를 포함한 다양한 장치에 쉽게 시스템 통합이 가능하도록 설계하고 있다. 또한 운영체제 및 소프트웨어 플랫폼과도 높은 호환성을 보여야 다양한 제품에서 멀티터치 기능을 구현할 수 있다.
● 공간 제스쳐 기술
터치방법으로 가장 많이 사용되는 정전용량방식의 터치에서 공간 제스쳐 기술 구현을 위해서 호버링 효과(Hovering effect)를 활용한다. 호버링 효과란 디스플레이에 직접 터치를 하지 않고 손가락이 근접한 상태에서 터치로 인식되는 것을 말한다. 잘못 설계되면 호버링 효과로 인해 터치를 하지 않은 상태에서 터치로 인식되어 오동작을 유도하지만 이러한 호버링 효과를 이용하여 제스처 기반의 동작 인식 센서로 작동하도록 유도하는 기술이 국내/외 대기업 위주로 연구되어지고 있다.
국내 S기업에서는 호버링 효과를 활용하여 약 10mm의 높이에서 37dB의 변화량을 갖는 알고리즘을 연구하였으며 특정 동작 입력 시 83%의 인식률을 나타내며 베젤리스 스마트폰에 적용하였다. 일본에서도 호버링에 관한 연구는 진행되고 있다. 19년도에 일반 터치의 경우 상호(Mutual) 정전용량을 이용하고 호버링의 경우 고유(Self) 정전용량 방식을 활용하여 50mm의 높이에서 32dB의 SNR을 나타내는 연구 결과를 보고하였다. 고유(Self) 정전용량의 경우 상호(Mutual)정전용량보다 디스플레이 상단으로 정전기력이 더 발생하는 원리를 이용하여 호버링에 활용한 예시라 할 수 있다.
타 전자기기의 경우 제스처 인식을 위해서는 광학센서 또는 초음파 센서 등을 이용하여 사람의 모션을 인지한다. 하지만 터치 센서의 경우 광범위한 공간은 아니지만 패널에서 발생하는 정전용량을 활용하여 제스처를 인지할 수 있다는 면에서는 경제적으로나 기술적으로 좋은 접근이라고 사료된다.
○ 맺음말
더욱 진보된 터치 기술을 위해 국내외 기업, 학교, 연구원에서 다양한 접근방법으로 연구개발에 매진해 왔다. 2010년 아이폰의 등장과 함께 컨트롤러 IC의 발전은 본격적으로 박차를 가하게 되었으며, 멀티터치, 고스트 터치 등 많은 문제점을 해결하고 사용자 편의를 위해 다양한 알고리즘이 개발되었다.
현재는 가격을 낮추고 여러 기기에 호환이 우수한 터치 컨트롤러 IC에 대한 개발이 기업을 중심으로 이루어지고 있으며, 학교나 연구원에서는 차세대 미래 기술을 위한 메타버스용 및 인공지능을 활용한 3D터치 알고리즘 관련한 기술을 지속적으로 연구 중이다. 터치 기기야말로 하드웨어와 소프트웨어가 잘 호환이 되었을 때야말로 매우 직관적이고 오류 없이 터치기기를 즐길 수 있을 것이다. 그리고, 터치기기가 계속 출시되는 이상 터치 컨트롤러 IC 기술 및 개발은 계속 이어져 나갈 것이다.
