ConSearcher: 온라인 커뮤니티에서 Member Personas를 활용한 Conversational Information Seeking 지원
ConSearcher: Supporting Conversational Information Seeking in Online Communities with Member Personas
배경 및 소개
최근 online community에서 정보를 찾는 행위가 늘고 있는데요. Reddit 같은 곳에 LLM 기반 conversational search가 붙으면서 요약과 질의응답은 편해졌지만, 사용자 생성 콘텐츠가 가진 맥락과 다양한 관점이 ‘납작해지는’ 문제가 지적되고 있습니다. 특히 여행 계획, 진학 고민처럼 개인의 정체성과 우선순위가 얽힌 과제에서는 단순 사실 검색을 넘어, 비슷한 사람의 관심사를 자각하고 상반된 관점을 저울질하는 sensemaking이 핵심인데요. 저자들은 기존 도구가 이런 과정을 충분히 지원하지 못한다고 보고, member persona를 활용한 ConSearcher를 제안합니다. 사용자의 초기 질의에 맞춰 community 데이터에서 seeker와 provider persona를 동적으로 생성해, 사용자가 ‘나와 비슷한’ 질문을 발견하고 ‘서로 다른 배경’의 응답을 대화형으로 받아볼 수 있게 한 점이 특징입니다. 이는 conversational search를 online community 맥락에 맞게 재설계했다는 점에서 의미가 있습니다.
주요 내용
연구진은 먼저 RAG로 구현한 기본형 도구 BaseAgent를 만들고 탐색적 사용자 연구(N=10)를 진행했는데요. Reddit의 /r/JapanTravel, /r/education, /r/PhD 데이터를 바탕으로 GPT-4가 관련 포스트/댓글을 검색·요약하고 후속 질문을 제안하도록 했습니다. 참여자들은 요약과 제안 질문으로 길잡이를 얻되, 원문 포스트로 돌아가 맥락을 확인하는 ‘왕복 탐색’을 반복했는데요. 동시에 세 가지 병목이 드러났습니다. 무엇을 물어야 할지 막막하고, 대답이 내 관심사와 미묘하게 어긋나며, 다양한 관점이 충분히 드러나지 않는다는 점입니다. 이를 해소하려고 ConSearcher를 설계했는데요. 핵심은 member persona입니다. seeker persona는 사용자의 일반적 의도(예: Japan travel)를 구성하는 factor를 쪼개고, 각 factor에 대한 situation을 부여해 ‘이런 성향의 회원이라면 이런 질문을 할 것’이라는 형태로 관심사를 구체화합니다. provider persona는 이름·정체성·배경만 간결히 두어, 서로 다른 입장에서 인간다운 응답을 내도록 합니다. 파이프라인은 1) 초기 키워드를 factor로 분해, 2) factor별 관련 포스트를 묶어 seeker persona와 그들이 물을 법한 질문을 생성, 3) 해당 질문과 맞닿은 댓글을 묶어 provider persona를 생성, 4) 각 persona를 프롬프트에 주입해 agent 응답과 후속 질문을 유도하는 방식으로 동작합니다. 인터페이스에서는 사용자가 seeker persona를 확인·가볍게 커스터마이즈하고, 그들이 제시하는 질문을 선택해 대화를 시작하면, anime filmmaker나 cultural explorer 같은 provider persona가 서로 다른 시각에서 답변을 돌려주는 식인데요. 이후 within-subjects 사용자 연구(N=27)에서 BaseAgent, seeker만 있는 변형(BaseSearcher), 제안 시스템인 ConSearcher를 비교했습니다. 과업은 Japan travel 계획 수립, digital/traditional education 통합 구상, PhD 진학 의사결정이었고, 결과적으로 ConSearcher가 정보 탐색 성과와 몰입도에서 유의미한 우위를 보였습니다. 제안 질문과 답변의 만족도도 높았고, 사용자는 자신의 니즈를 더 쉽게 명료화했다고 평가했는데요. 다만 persona가 과도하게 개인화되어 시야를 좁힐 수 있다는 우려와, 탐색 과정을 복잡하게 만들 수 있다는 피드백도 나왔습니다. 이는 persona가 돋보기이자 필터라는 양면성을 잘 보여준다고 볼 수 있습니다.
결론 및 시사점
ConSearcher는 LLM, RAG, persona, agent simulation을 결합해 online community의 강점인 ‘맥락과 다성성’을 conversational search 안으로 끌어들이는 접근인데요. 사용자가 seeker persona를 통해 자신의 latent needs를 정리하고, provider persona를 통해 상충하는 관점을 비교하며 trade-off를 이해하게 만든 점이 주목할 만합니다. 이는 LLM 요약이 만들어내는 관점 평준화를 완화한다는 점에서 의미가 있습니다. 동시에 한계도 분명합니다. persona의 근거가 되는 데이터 편향과 최신성 문제가 응답에 스며들 수 있고, 과도한 개인화는 echo chamber를 강화할 수 있습니다. 또 persona 편집·선택이 인지 부하를 키울 위험이 있어 투명한 근거 제시, 중립 모드 전환, 반대 관점 주입 같은 안전장치가 필요해 보입니다. 개인적으로는 커뮤니티별 규범과 톤을 반영한 persona 품질 관리와, 사용자 주도적 제어(가중치, 다양성 슬라이더)가 결합되면 일반화 가능성이 커질 것이라 생각합니다. 향후에는 장기 사용 맥락에서의 학습 효과와 의사결정 품질, 편향 관리 전략을 함께 검증할 필요가 있지 않을까 하는 기대가 있습니다.
💡 커뮤니티 데이터에 근거한 seeker/provider persona를 RAG 파이프라인에 주입해 conversational search를 설계하면, 관심사 명료화와 다각적 응답을 동시에 끌어낼 수 있습니다. 다만 과도한 개인화를 방지하는 투명성, 다양성 제어, 반대 관점 노출 장치를 함께 설계하는 것이 실무적으로 중요합니다.
뉴스레터 구독
매주 금요일, 주간 HCI 하이라이트를 이메일로 받아보세요.