Abstraction이 Realism을 능가한다: Physiological Visualizations가 VR Concert Recreations에서 Arousal Synchrony를 향상시킨다

배경 및 소개

최근 VR로 공연·전시 같은 라이브 문화 경험을 재현하려는 시도가 활발합니다. 문제는 영상·음향의 사실성만으로는 현장 특유의 ‘함께 고조되는 신체 각성’을 옮기기 어렵다는 점인데요. 기존 평가는 설문 위주라서 몰입을 끊거나 회상 편향이 생기기 쉽습니다. 이 연구는 라이브 관객의 생리 신호 패턴을 VR 속에 통합하고, VR 이용자의 순간적 각성 궤적이 원래 관객과 얼마나 맞물리는지를 보는 ‘cross-temporal physiological synchrony’라는 방법을 제안합니다. Electrodermal Activity(EDA)를 중심으로 시간 정렬은 Dynamic Time Warping(DTW)으로 처리했는데요. 핵심은 실감형 영상 충실도보다, 집단 생리 리듬을 얼마나 잘 불러일으키는지가 평가 기준이 될 수 있느냐입니다. 콘서트라는 맥락을 택한 것도 음악이 자율신경계 반응을 강하게 유발하고 집단 동조를 포착하기 좋기 때문입니다. 개인적으로는 VR 평가를 주관식 설문에서 생리 기반 ‘레퍼런스 재현성’으로 전환하려는 시도가 HCI에 필요한 방향 전환이라고 봅니다.

주요 내용

연구는 두 단계로 진행되었는데요. 1단계에서 실제 피아노 콘서트 관객 50명에게서 EDA·BVP를 수집하고 품질 검증 후 40명의 데이터를 확보했습니다. 같은 공연을 360-degree 영상으로 기록해두고, 2단계에서는 실험실 참가자 22명이 세 가지 VR 조건을 순서 상쇄로 모두 경험했습니다. 조건은 Video(실사 360° 영상), Mixed(영상 위에 생리 시각화 오버레이), Symbolic(공연자·객석을 지우고 관객 생리만 추상적으로 표현)입니다. 시각화는 모듈식 3D로 구성했는데, 각 관객을 상징하는 유기적 오브젝트를 만들어 BVP로 ‘꽃’의 크기 변화를, EDA로 꽃과 잔디의 높이를 구동하게 했습니다. 이때 HMD는 HTC Vive Pro Eye, 생리 측정은 현장과 동일한 Shimmer3 GSR+를 사용했는데요. 분석은 VR 참가자 EDA와 라이브 관객 집계 EDA의 시간적 정합을 DTW 기반 상관으로 산출했습니다.

가장 흥미로운 결과는 사실성보다 추상이 동조를 더 잘 만들었다는 점입니다. Symbolic 조건이 라이브 관객의 tonic EDA와 가장 강하게 동기화되었고 r(258)=.96, p<.001을 보였는데요. Mixed는 r=.92, Video는 r=.91로 뒤를 이었습니다. 효과크기도 유의미해 Symbolic은 Video 대비 Cohen’s d=0.94, Mixed 대비 d=0.73으로 보고되었습니다. 특히 음악적 클라이맥스 구간(100–160초)에서 Symbolic은 높은 상관을 유지했지만, Video는 상관이 사라지는 패턴이 관찰되었습니다. 이는 시각적 사실성이 주의를 분산시키거나 정서 신호의 ‘공유 리듬’을 흐릴 수 있다는 해석이 가능한데요. 반면 추상 표현은 생리 패턴을 전면에 두어 공명에 집중시키는 affordance를 제공합니다.

주관적 지표로는 SAM과 Presence 설문을 병행했지만, 생리 동조와 완전히 겹치지 않는 양상도 보였다고 요약할 수 있습니다. 체감 몰입이 높다고 보고해도 라이브 관객 패턴과의 순간적 정합이 약할 수 있는데요. 이는 self-report가 포착하기 어려운 미세한 자율신경계 정렬을 동조 지표가 보완한다는 점에서 의미가 있습니다. 디자인적으로는 ‘사실적 영상+데이터’보다 ‘데이터 주도 추상 장면’이 사회적 연결감과 각성 동조를 더 잘 유도했다는 인사이트가 도출됩니다. 개인적으로는 데이터가 ‘진짜’임을 알리는 메타 정보가 플라시보로 작동할 가능성을 경계하면서도, 이번처럼 실제 집단 생리를 그대로 구동 신호로 쓰는 접근이 그 한계를 줄인다고 봅니다.

결론 및 시사점

정리하면, 라이브 관객의 생리 리듬을 VR 재현의 기준 신호로 삼고, 이용자와의 cross-temporal synchrony를 측정하는 방법이 타당하게 작동했습니다. 더 나아가 사실적 360° 영상보다 관객 생리를 추상화한 Symbolic 시각화가 동조를 가장 강하게 유발했는데요. 이는 VR 문화 재현에서 ‘현장감=사실적 재현’이라는 통념을 흔든다는 점에서 의미가 있습니다. 감각 충실도보다 ‘공유 각성의 구조’를 보존·강조하는 연출이 집단적 정서 몰입을 더 잘 재현할 수 있다고 볼 수 있습니다. 다만 단일 장르(베토벤 소나타), 짧은 세션(~5분), 비교적 소규모 표본(N=22)이라는 한계가 있어, 장르·길이·사회적 맥락에 따른 일반화는 신중해야 합니다. HMD 착용 상태에서의 생리 신호 잡음과 개인차 문제도 후속 보정이 필요합니다. 그럼에도 순간-순간의 자율신경계 반응을 끊지 않고 포착해 설문을 보완하는 평가축을 제시했다는 점에서 주목할 만합니다. 향후에는 실시간 피드백 루프를 통해 동조를 증폭하는 adaptive 연출과, 다인 동시 시청에서의 집단 동조 증폭 메커니즘 검증으로 이어지지 않을까 하는 기대가 있습니다.