대화형 AI 시대의 새로운 설계 원칙, 이제는 통제감까지 설계해야 한다

Original Source: Phan, K. D., & Truong-Dinh, B. Q. (2026). When conversational AI personalises too much: Refining privacy calculus for bundled interactional cues in AI-mediated disclosure. Computers in Human Behavior, 184, 109061.

연구 배경

최근 대화형 AI는 사용자의 과거 대화 내용과 선호를 기억하고 활용함으로써 훨씬 정교하고 효율적인 맞춤형 서비스를 제공합니다. 경영학 이론인 ‘프라이버시 계산 이론(Privacy Calculus Theory, PCT)’에 따르면, 이러한 개인화(Personalisation)는 고객이 얻는 혜택을 높이기 때문에 개인화 수준이 올라갈수록 고객의 정보 공개(데이터 입력)도 늘어날 것으로 예측해 왔습니다. 하지만 실제 시장의 반응은 다릅니다. AI가 더 똑똑하게 맞춤형 답변을 제공할수록, 오히려 사용자들은 찝찝함을 느끼며 개인정보 입력을 줄이거나 특정 정보를 숨기는 경향을 보입니다. ‘서비스가 나를 더 잘 맞출수록 데이터를 더 많이 제공할 것’이라는 기존 비즈니스 상식이 깨진 것입니다.

Phan & Truong-Dinh(2026)은 이러한 역설이 발생하는 이유로, 대화형 AI의 개인화가 단순히 혜택으로만 느껴지는 것이 아니라 혜택과 위협을 동시에 전달하는 '복합적 상호작용 단서(Bundled Interactional Cue)'이기 때문이라고 설명합니다. 과거 기억을 바탕으로 응답하는 기능은 업무 효율과 유용성을 높여주지만, 한편으로는 '이 AI가 내 데이터를 계속 저장하고, 추적하고, 다시 쓰고 있구나'라는 사실을 뼈저리게 체감하게 만듭니다. 즉, 대화형 AI 환경에서는 개인화가 고도화될수록 보안 및 프라이버시 위험에 대한 고객의 안테나도 함께 날카로워집니다.

이에 연구진은 대화형 개인화 기술이 데이터 공개로 이어지는 과정을 두 가지 상충되는 경로(혜택 경로(Benefit Pathway) & 위험 경로(Risk Pathway))로 규명하고, 기업이 이 리스크를 관리하기 위해 주목해야 할 핵심 변수로 '지각된 통제감(Perceived Control)'을 제시했습니다.

핵심 질문

1. 대화형 AI의 개인화는 고객의 데이터 공개 행동에 어떤 영향을 미치는가?

프라이버시 계산 이론(PCT)에 따르면 고객은 자신의 정보를 제공할 때 '내가 얻을 혜택(편의성)'과 '내가 감수할 위험(정보 유출 우려)'을 저울질하여 의사결정을 내립니다. 기업들은 흔히 개인화 서비스를 혜택의 관점으로만 보았기 때문에, 추천 알고리즘이나 맞춤형 UI가 정교해질수록 고객이 더 적극적으로 플랫폼에 참여할 것이라 믿었습니다.

그러나 대화형 AI는 화면에 단순히 맞춤 상품을 띄워주는 수준을 넘어, 사용자의 과거 대화 맥락과 이력을 기억하고 대화에 녹여내는 방식을 취합니다. 연구진은 이러한 고도화된 개인화가 고객을 무조건 움직이게 만들지는 않을 수 있다고 주장합니다. 그리고 대화형 개인화가 실제로 개인화가 정보 공개를 촉진하는지, 오히려 억제하는지, 혹은 두 효과가 동시에 나타나는지 고객의 정보 공개 행동을 검증했습니다.

2. 대화형 AI의 개인화는 어떤 심리적 메커니즘을 통해 고객의 자기정보 공개 행동을 움직이는가?

연구진은 대화형 AI의 개인화가 고객의 마음속에서 ‘혜택 경로’와 ‘위험 경로’라는 상반된 메커니즘을 동시에 작동시킨다고 분석합니다.

먼저 혜택 경로는 업무 효율과 유용성의 증대와 관련된 긍정적 경로입니다. 사용자의 과거 맥락을 기억하고 소통하는 AI는 대화의 흐름을 정확히 짚어내며 고도로 맞춤화된 솔루션을 제공합니다. 이 과정에서 고객은 ‘AI가 나를 잘 이해하고 있으며, 내 업무와 일상에 정말 유용하다’고 인식하게 됩니다. 이는 서비스 만족도를 높이고 자신의 데이터를 더 제공하게 만드는 긍정적 동기가 됩니다.

반면 위험 경로는 프라이버시 우려와 불확실성과 관련된 부정적 경로입니다. 고객은 개인화된 대화형 AI가 너무 잘 기억하는 모습을 보며 ‘내 데이터가 어디까지 저장되고 추적되는 거지?’, ‘나중에 이 정보가 어떻게 재활용될지 모른다’는 불안감을 느낍니다. 즉, 정보에 대한 통제력을 잃어버릴 것 같은 리스크 인식이 강화되어 데이터를 숨기거나 방어적인 태도를 취하게 만듭니다.

종합적으로 연구진은 결국 대화형 AI가 혜택과 위험이라는 두 가지 가속 페달과 브레이크를 동시에 밟는 이중적 메커니즘으로 작동한다고 주장했습니다.

3. 대화형 AI의 개인화가 정보 공개를 억제하는 효과는 어떤 조건에서 강해지는가?

연구진은 대화형 AI의 개인화가 프라이버시 우려를 자극하더라도, 모든 고객이 똑같이 방어적으로 변하지는 않는다는 점에 주목했습니다. 그리고 이를 결정하는 경계조건으로 '지각된 통제감'을 제시했습니다. 지각된 통제감은 사용자가 자신의 개인정보가 어떻게 수집, 저장, 활용되는지를 스스로 관리하고 통제할 수 있다고 믿는 정도입니다. 연구진은 지각된 통제감이 낮은 사용자는 AI의 정보 저장 및 재사용 신호를 더욱 위협적으로 해석하여 프라이버시 우려를 크게 느끼게 되고, 그 결과 정보 공개를 더욱 강하게 억제할 것으로 보았습니다. 반면 지각된 통제감이 높은 사용자는 동일한 개인화 경험을 하더라도 이를 유용한 서비스 제공 과정으로 받아들일 가능성이 크기 때문에 프라이버시 우려의 영향력이 약화될 것으로 예상했습니다.

[연구 모형]

연구 핵심 결과

연구진은 대화형 AI의 이중적 메커니즘과 지각된 통제감의 조절 역할을 확인하기 위하여 총 네 번의 연구를 수행했습니다. 개인화된 대화형 AI가 유용성과 프라이버시 우려를 동시에 활성화하는 복합적 단서(Bundled Cue)로 작동하는지, 그리고 이러한 효과가 개인정보에 대한 지각된 통제감에 의해 어떻게 달라지는지를 단계적으로 검증하였습니다.

1. 개인화된 AI, 오히려 사용자의 자기정보 공개를 감소시킨다

총 네 번의 실험 연구 결과, 대화형 AI의 개인화 수준을 높였을 때 고객은 자기정보를 제공하려는 의도가 오히려 감소하는 것으로 나타났습니다.

이 결과는 ‘서비스가 정교해질수록 고객은 더 많은 데이터를 제공할 것’이라 믿었던 기존 마케팅 상식(프라이버시 계산 이론)이 대화형 AI 환경에서는 작동하지 않음을 보여주는 강력한 증거입니다. AI가 내 과거 대화와 맥락을 기억하여 활용할수록 고객은 편리함을 느끼기 이전에 ‘내 데이터가 실시간으로 수집 및 재활용되고 있다’는 리스크를 먼저 감지하고 방어벽을 세움을 의미합니다.

[개인화 수준에 따른 자기정보 공개 차이]

2. 가속 페달과 브레이크의 싸움: 결국 '위험 경로'가 승리한다

실험을 통해 고객의 내면에서 작동하는 두 가지 상반된 심리 경로의 실제 영향력을 비교, 분석한 결과, 대화형 개인화가 두 개의 상반된 심리 경로를 동시에 활성화한다는 점이 확인되었습니다.

먼저 AI의 맞춤형 답변이 유용하고 편리하다고 느낄 때, 고객은 데이터를 더 제공하려는 긍정적인 경향을 보여 혜택 경로가 활성화됨을 확인했습니다. 동시에 위험 경로도 작동했습니다. 높은 개인화 수준이 높을수록 AI가 나를 너무 잘 아는 모습에서 프라이버시 우려가 증가하여 고객은 데이터 제공을 강력하게 감소시켰습니다.

중요한 점은 두 경로의 영향력 비교 결과입니다. 영향력의 크기가 위험 경로가 주는 부정적 영향이 혜택 경로가 주는 긍정적 영향을 압도했습니다. 결과적으로 이를 종합한 '순효과(Net Effect)'는 마이너스였습니다. 즉 개인화 수준이 높아질수록 고객이 데이터 정보 공개를 감소하는 결과로 이어졌습니다.

[위험 경로와 혜택 경로의 이중적 매개효과]

3. 개인화의 역효과를 완화하는 핵심 요인, 지각된 통제감

연구진은 실험을 통해 '지각된 통제감'의 수준에 따라 위험 경로의 파괴력이 어떻게 달라지는지 검증했습니다.

사용자가 자신의 개인정보 접근, 저장, 삭제, 활용 방식을 통제할 수 없다고 느끼는(지각된 통제감이 낮은) 상황에서는 AI가 개인화된 서비스를 제공할수록 프라이버시 우려가 크게 증가했습니다. 결과적으로 자기의 데이터 입력 의도가 급격히 감소했습니다. 이들에게 개인화는 유용한 서비스가 아니라 ‘나를 감시하는 위협’으로 인식되었습니다.

반면, ‘내가 원하면 언제든 이 기억을 지우거나 저장 범위를 조절할 수 있다’는 통제권을 부여받은 집단(통제감이 높은 집단)은 완전히 다른 반응을 보였습니다. AI가 고도의 맞춤형 서비스를 제공하더라도 프라이버시 우려를 크게 느끼지 않았으며, 결과적으로 데이터 제공이 줄어드는 효과도 약화되었습니다. 통제감이 확보되자 비로소 '혜택 경로'가 작동하기 시작했음을 의미합니다.

[자기 통제감의 조절효과]

실무자를 위한 Action Plan