AnkleType: 가상 현실에서의 손-및-눈 무사용 발 기반 텍스트 입력 기법

배경 및 소개

최근 VR에서 text entry를 어떻게 자연스럽게 할 것인지가 다시 화제입니다. immersive experience를 해치지 않으면서도, 손이 막혀 있거나 시선이 다른 곳에 가 있는 상황에서 입력을 이어가야 하는데요. 기존의 controller, hand gesture, gaze, speech 기반 방식은 각각 장점이 있지만, 손을 쓸 수 없거나 눈을 오래 쓰기 어려운 상황에서는 한계가 분명합니다. 이런 맥락에서 이 논문은 발을 새로운 입력 채널로 보고, 특히 ankle movement를 활용한 AnkleType를 제안합니다. 이는 VR에서 text entry를 단순한 입력 기능이 아니라, 자세와 인지 부담까지 고려해야 하는 상호작용 문제로 다시 바라본다는 점에서 의미가 있습니다.

주요 내용

AnkleType의 핵심은 발 전체를 크게 움직이는 방식이 아니라, ankle rotation과 발 앞쪽·뒤쪽의 tap을 조합해 최소한의 움직임으로 입력을 완성하는 데 있습니다. 저자들은 이 방식이 standing과 sitting 모두에서 작동해야 한다고 보고, 먼저 사용자들의 ankle 가동 범위가 자세에 따라 어떻게 달라지는지 확인했습니다. preliminary study 결과, sitting은 standing보다 절대적인 회전 범위가 더 작았는데요. 그런데 좌우 비율 자체는 크게 다르지 않았습니다. 이는 자세에 따라 key size는 달리 설계하되, 좌우 영역의 비중은 비슷하게 유지할 수 있다는 식으로 interface design을 정교화할 수 있음을 보여줍니다. 개인적으로는 이 부분이 꽤 흥미로운데, 단순히 “발로 입력한다”는 발상보다 실제 신체의 움직임 패턴을 기반으로 layout을 재구성했다는 점이 HCI다운 접근이라고 볼 수 있습니다.

그다음 단계에서는 keyboard layout과 interaction design을 따로 최적화했습니다. keyboard layout은 eye-free condition에서도 헷갈림이 적으면서, 발이 닿을 수 있는 범위 안에서 효율적으로 탐색할 수 있도록 설계했는데요. 이를 위해 computer-simulated language test를 활용해 자연스러운 ankle spatial awareness를 반영했고, word disambiguation과 pointing accuracy 사이의 균형을 맞추려 했습니다. interaction design에서는 navigation과 control을 분리해서 생각했습니다. cursor movement는 toe가 향하는 방향과 자연스럽게 매핑했고, confirm, delete, mode switching 같은 control은 사용자 선호를 elicitation study로 수집해 비교했습니다. 여기서 standing에서는 unipedal, sitting에서는 bipedal 방식이 각각 더 적합하다는 결론이 나왔는데요. standing에서 두 발을 모두 쓰면 피로가 늘 수 있고, sitting에서는 발을 번갈아 쓰며 효율을 높일 수 있다는 해석입니다. 이런 결과는 posture에 따라 “가장 좋은 입력 방식”이 달라진다는 점을 잘 보여줍니다.

성능 평가도 단계적으로 진행됐습니다. 첫 번째 in-VR study에서 first-time user 기준 평균 typing speed는 대략 8.99 WPM의 BPSit, 9.13 WPM의 UPStand 수준이었고, 7일 longitudinal study에서는 학습 효과가 꽤 뚜렷하게 나타났습니다. visual condition에서는 UPStand가 15.05 WPM, BPSit이 16.70 WPM까지 올라갔고, eyes-free condition에서도 각각 11.15 WPM, 12.87 WPM를 기록했습니다. error rate도 완전히 낮지는 않았지만, hands-free이면서 eye-free에 가까운 조건에서 이 정도 성과를 낸 점은 꽤 인상적입니다. 특히 이 방법이 기존 foot-based VR text entry보다 경쟁력 있고, VR에서 eye 부담을 줄이려는 방향과도 잘 맞는다는 점이 중요합니다. 즉, AnkleType는 단순히 새로운 입력 장치를 하나 더 제안한 것이 아니라, VR에서 입력이 요구하는 신체 부담의 분산 전략을 제시했다고 볼 수 있습니다.

결론 및 시사점

이 논문의 결론은 비교적 분명합니다. VR에서 text entry는 더 이상 손이나 눈에만 의존할 필요가 없고, ankle 같은 하체 움직임도 충분히 실용적인 입력 채널이 될 수 있다는 점입니다. 특히 standing과 sitting을 분리해 설계한 점, 그리고 user study를 통해 layout과 interaction을 함께 다듬은 점이 강점인데요. 이는 단일한 “범용 keyboard”보다, 신체 상태와 사용 맥락에 맞춘 적응형 설계가 더 중요하다는 사실을 보여줍니다. 다만 아직 초기 사용자 기준의 성능은 기존 입력 방식보다 낮은 편이고, 장기 사용에서 피로, 안정성, 상황별 유용성은 더 검토가 필요합니다. 그럼에도 hands-free와 eyes-free를 동시에 겨냥했다는 점에서, VR input design의 방향을 넓혔다는 의미가 있습니다.