프롬프트 조작 공격을 막는 AI 에이전트 만들기

HCI 관점에서 읽을 만한 이유

이 글은 AI를 똑똑한 답변기보다 ‘행동하는 시스템’으로 봐야 한다는 점에서 HCI 실무자와 연구자에게 중요합니다. 특히 에이전트가 외부 도구를 쓰고, 사람의 지시를 따르고, 민감한 정보를 다루는 순간에는 모델 성능만으로 안전을 보장할 수 없습니다. 사용자가 어떤 권한을 주고, 어디서 개입하며, 어떤 실패를 미리 볼 수 있는지가 핵심인데요. 인터랙션 설계가 곧 보안이 되는 대표 사례입니다.

CIT의 코멘트

이 글의 핵심은 프롬프트 주입(prompt injection)을 ‘모델이 속는 문제’가 아니라 ‘상호작용 경로가 열려 있는 문제’로 본다는 점입니다. 에이전트가 도구를 호출하고 데이터에 접근하는 구조에서는, 강한 정답률보다 위험한 행동을 미리 막는 인터페이스가 더 중요해집니다. 예를 들어 이메일을 읽고 요약하는 기능도, 어떤 메시지를 외부로 보내려는지 사용자가 한눈에 알 수 없으면 곧바로 사고로 이어질 수 있습니다. 결국 신뢰는 투명성, 개입 가능성, 실패 모드의 예고에서 만들어집니다. 이런 설계는 국내 서비스에서도 특히 중요합니다. 네이버, 카카오, 스타트업처럼 빠르게 기능을 붙이는 환경일수록 ‘편리함’이 안전 장치를 압도하기 쉽기 때문입니다. 좋은 질문은 ‘어떻게 막을까’보다 ‘언제 멈추고 사람에게 넘길까’입니다.

원문을 읽으면서 던질만한 질문

• Q.에이전트가 위험한 행동을 하기 전에 사용자에게 상태와 의도를 얼마나, 어떤 형식으로 보여줘야 할까요?
• Q.민감한 데이터 보호를 위해 자동 차단과 사용자 개입 중 어디까지를 시스템이 결정하고, 어디부터를 사람이 결정해야 할까요?
• Q.이런 방어 구조가 실제 제품에서 편의성을 얼마나 떨어뜨리는지, 어떤 기준으로 평가할 수 있을까요?