MetaCues: Information Seeking 및 Sensemaking을 위한 Generative AI와의 비판적 참여 촉진

배경 및 소개

최근 Perplexity.ai, Google AI Overview 같은 GenAI 기반 검색이 급속히 확산되고 있습니다. 빠르고 편리하며 여러 출처를 한 번에 정리해 준다는 장점이 큰데요. 동시에 cognitive offloading을 부추겨 사용자가 이해·분석·평가를 건너뛰고 수동적으로 수용하게 만들 수 있다는 우려가 큽니다. GenAI 특유의 유창함과 sycophancy가 판단 확신을 과도하게 키우고, 관점 다양성 노출을 줄여 informational homogenization을 야기할 수 있다는 지적도 있습니다. 이런 맥락에서 효과적 활용에는 메타인지적 관여—좋은 prompt 설계, 출처 점검, 관점 비교—가 필수인데요. 선행 연구는 Wizard-of-Oz 방식의 수동 제공으로 metacognitive cues의 가능성을 보였지만, 실제 서비스 수준의 자동 제공은 미검증이었습니다. 본 연구는 이를 메우기 위해 MetaCues라는 도구를 제안하고, 온라인 실험으로 자동 cue의 실제 효과를 탐색합니다.

주요 내용

MetaCues는 검색·대화·학습을 한 화면에 엮은 GenAI 툴인데요. 우측엔 GPT-4o 기반 chat이 있고 웹검색을 통해 최소 5개 이상 출처를 인용하며, Markdown 구조로 핵심을 정돈해 답하도록 LLM prompt를 설계했습니다. 좌측엔 사용자 notepad가 있고, 그 아래에 metacognitive cues가 자동 표시됩니다. 시스템은 사용자의 질문, AI 응답, 노트, 클릭스트림을 분석해 능동 탐색을 유도하는 맞춤형 cue를 활동 흐름을 해치지 않게 노출합니다. Cue 설계는 Orienting, Monitoring, Broadening Perspectives, Consolidation에 더해 Source Engagement(SE), Persistent Inquiry(PI), Independent Thinking(IT)까지 7종으로 확장했는데요. SE·PI·IT는 사용자의 현재 행동을 진단해 부족하면 ‘정규’ 버전, 잘하고 있으면 ‘강화’ 버전을 보냅니다. 예컨대 출처 클릭이 없으면 SE 정규, 이미 활발하면 강화 메시지를 띄우는 식입니다. BP는 미탐색 관점을 넓히는 목적상 강화 버전 없이 주기적으로 제시됩니다. 타이밍은 세션 시작 시 Orienting, 첫 질의 후 Monitoring, 이후 SE→IT→PI→BP 순으로 3분 이후 시작해 2.5분 간격으로 순환하는 고정 스케줄인데요. 3초 유휴 시점, 최근 5분 내 활동 존재, 인터페이스 가시성 등 조건을 만족할 때만 노출해 방해를 최소화했습니다.

실험은 between-subjects 설계로, 메타인지 cue가 없는 Baseline과 MetaCues를 비교했습니다. 주제는 두 가지로, 논쟁성이 높은 Social Media(16세 미만 사용 금지 논제)와 비교적 논쟁성이 낮고 친숙도가 낮은 Music(시험 중 음악 허용 논제)입니다. 참가자 N=146은 Prolific에서 모집해 네 집단으로 무작위 배정했고, 각자 25분 동안 도구만 사용해 탐색·노트·정리를 수행했습니다. 로그에서 검색 지속시간, 인터페이스 밖 체류시간(출처 열람 추정), 질의 수·길이, 출처 클릭 수·click-through rate, 그리고 질의 다양성(query divergence) 등을 산출했습니다. Query divergence는 sentence-transformer(all-MiniLM-L6-v2) 임베딩을 기반으로 동일 주제 내 질의들의 의미적 분산도를 계산했으며, UMAP 시각화로 분포 차이도 점검했습니다.

주요 결과로, MetaCues는 Music 주제에서 유의하게 더 높은 query divergence를 보였습니다. Social Media에선 MetaCues가 약간 높았지만 유의하진 않았습니다. 인터페이스 밖 체류시간과 click-through rate는 MetaCues에서 평균이 더 높았으나 통계적 유의성은 없었습니다. 또한 MetaCues 사용자는 주제 판단에 대한 ‘확신’ 점수가 유의하게 더 높았는데요. 흥미롭게도 참가자들은 Social Media에 더 익숙하다고 보고했지만, 관심도는 두 주제 간 차이가 없었습니다.

결론 및 시사점

종합하면 MetaCues는 자동화된 metacognitive cues만으로도 GenAI 보조 탐색에서 더 넓은 탐색과 적극적 관여를 자극할 수 있음을 보여줍니다. 특히 친숙도가 낮고 논쟁성이 낮은 주제(Music)에서 질의 공간이 넓어졌는데요. 이는 기존 신념이 덜 고착된 맥락에서는 cue가 탐색 경로를 확장하는 데 더 크게 기여한다는 점에서 의미가 있습니다. 아울러 판단 ‘확신’이 높아진 것도 주목되는데, 출처 관여·메모·후속 질의가 결론 정합성에 대한 주관적 토대를 강화했기 때문이라고 볼 수 있습니다. 다만 확신이 학습 성과나 정확도와 정합적으로 보정(calibration)됐는지는 별개이므로, 장기적·고부담 과제에서의 과잉 확신 위험을 점검할 필요가 있습니다.

한계로는 N=146의 표본 규모, 고정된 cue 스케줄, cue 문구의 사전정의(LLM 동적 생성의 일관성 한계)가 있습니다. 후속 연구에선 사용자 상태에 적응하는 스케줄과 점진적 페이딩, 더 정교한 LLM 기반 진단·생성, 질적 로그 분석으로 inquiry 패턴을 해부할 필요가 있습니다. 개인적으로는 reinforcement형 cue가 ‘잔소리’ 피로를 줄이며 자기효능감을 높인다는 점에서 HCI 설계의 실용적 포인트라고 생각합니다. 현장 적용이 늘어나면 다양한 주제·맥락에서도 메타인지 스캐폴딩이 일반화되지 않을까 하는 기대가 있습니다.