AI 시대의 공정한 의사결정, 기술보다 협업 방식을 관리하라

일반적으로 AI-인간 협업은 AI의 분석 능력과 인간의 판단을 결합해 더 나은 의사결정을 만드는 방법으로 여겨집니다. 하지만 연구진은 도덕적 이탈 이론(Moral Disengagement Theory)과 알고리즘 환원주의 관점(Algorithm Reductionism Perspective)을 바탕으로 오히려 반대의 결과가 나타날 수 있다고 보았습니다. 사람들은 AI가 데이터 분석에는 뛰어나지만, 사람의 특수한 사정이나 복잡한 상황을 충분히 이해하지 못하고 공감이나 도덕적 판단에도 한계가 있다고 생각하는 경향이 있습니다. 따라서 AI가 자신의 생각과 다른 의견을 제시하면, 인간 동료의 의견보다 AI의 의견을 무시하는 것을 더 쉽게 받아들일 수 있습니다. ‘AI는 이 사람의 사정을 제대로 모르니까’ 또는 ‘이런 문제는 사람이 판단하는 것이 더 적절하니까’라고 생각할 수 있기 때문입니다.

연구진은 이러한 인식 때문에 인간과 협업할 때보다 AI와 협업할 때 개인의 편향이 최종 의사결정에 반영될 가능성이 더 높아질 수 있다고 예상했습니다. AI가 공정한 판단을 제시하더라도 최종 결정권을 가진 사람이 AI의 한계를 이유로 그 의견을 무시한다면, 역설적으로 AI와의 협업이 불공정한 인사 의사결정을 증가시킬 수 있다는 것입니다.

연구진은 AI-인간 협업이 불공정한 결정을 증가시키는 이유를 설명하는 핵심적인 심리적 과정으로 도덕적 정당화(Moral Justification)에 주목했습니다. 도덕적 이탈 이론에 따르면 사람들은 자신의 행동을 스스로 합리적이고 받아들일 만한 것으로 설명할 수 있을 때 불공정하거나 비윤리적인 행동을 더 쉽게 할 수 있습니다.

AI와 협업할 때에는 AI의 한계에 대한 인식이 이러한 자기합리화의 근거가 될 수 있습니다. 예를 들어 자신의 판단이 AI의 제안과 다르더라도 ‘AI는 이 사람의 특수한 상황을 이해하지 못한다’거나 ‘사람에 관한 결정은 인간이 더 종합적으로 판단할 수 있다’고 생각할 수 있습니다. 이렇게 되면 AI의 의견을 무시하는 행동을 개인적인 선호나 편향에 따른 결정이 아니라 AI의 잘못된 판단을 바로잡는 합리적인 결정으로 받아들이기 쉬워집니다.

따라서 연구진은 ‘AI-인간 협업 → 도덕적 정당화 증가 → 불공정한 의사결정 증가’라는 과정을 예상했습니다. 즉, 인간과 협업할 때보다 AI와 협업할 때 자신의 편향된 판단을 더 쉽게 정당화할 수 있고, 그 결과 실제 불공정한 의사결정으로 이어질 가능성도 높아질 수 있다는 것입니다.

연구진은 AI와 협업한다고 해서 모든 조직에서 불공정한 의사결정이 똑같이 증가하는 것은 아니라고 보았습니다. 직원의 행동은 개인의 판단뿐 아니라 상사가 무엇을 중요하게 여기고 조직에서 어떤 행동을 기대하는지에도 영향을 받기 때문입니다. 이에 연구진은 상사가 협업을 얼마나 중요하게 여기는지(Supervisory Valuing of the Cooperation)에 주목했습니다.

상사가 협업을 중요하게 여기지 않는다면 직원은 AI나 인간 파트너의 의견을 충분히 검토하지 않고 자신의 판단대로 결정해도 괜찮다고 생각하기 쉽습니다. 특히 AI의 판단 능력을 낮게 평가하는 직원이라면 AI의 제안을 무시하고 자신의 결정을 고수하기가 더욱 쉬워질 수 있습니다.

반대로 상사가 파트너의 의견을 충분히 검토하고 협력적으로 의사결정을 내리는 것을 중요하게 여긴다는 신호를 명확하게 전달하면 상황은 달라질 수 있습니다. 직원 입장에서는 별다른 근거 없이 AI의 의견을 무시하기 어려워지고, 자신의 편향된 판단을 ‘AI가 상황을 잘 모르기 때문’이라고 정당화하기도 어려워집니다. 따라서 연구진은 상사가 협업을 중요하게 여길수록 AI와 협업할 때 나타나는 도덕적 정당화가 줄어들고, 궁극적으로 불공정한 의사결정으로 이어지는 부정적 효과도 약해질 것으로 예상했습니다.

[연구 모형]

연구 결과, 채용과 승진 모두에서 인간과 협업할 때보다 AI와 협업할 때 불공정한 선발 결정을 내릴 가능성이 높아지는 것으로 나타났습니다. 예를 들어 한 실험에서는 AI와 협업한 참가자의 60.3%가 자격이 부족하다고 평가된 자신의 친구를 최종 후보에 포함한 반면, 인간 채용 전문가와 협업한 참가자에서는 그 비율이 36.9%에 그쳤습니다. 즉, AI와 인간이 함께 판단한다고 해서 반드시 더 공정한 결정이 이루어지는 것은 아니었습니다.

이 결과는 AI를 의사결정에 활용한다고 해서 인간의 편향이 저절로 사라지는 것은 아니라는 점을 보여줍니다. 오히려 특정 상황에서는 AI와의 협업이 자신의 개인적인 선호나 편향을 최종 결정에 반영할 여지를 만들어 줄 수 있습니다. 따라서 기업은 AI를 도입하면 채용이나 승진이 자연스럽게 더 객관적이고 공정해질 것이라고 기대하기보다, AI의 의견이 실제 최종 결정에 어떻게 활용되고 있는지까지 관리할 필요가 있습니다.

[협업 유형에 따른 불공정한 의사결정 차이]

왜 AI와 협업할 때 불공정한 결정이 늘어날까요? 연구 결과, 그 이유를 설명하는 핵심적인 심리적 과정으로 도덕적 정당화(Moral Justification)가 확인되었습니다. 참가자들은 인간과 협업할 때보다 AI와 협업할 때 자신의 불공정한 선택을 더 쉽게 정당화했으며, 이렇게 자신의 판단을 정당화할수록 실제 불공정한 결정을 내릴 가능성도 높아졌습니다. 즉, ‘AI와의 협업 → 자신의 판단에 대한 정당화 → 불공정한 의사결정’이라는 과정이 확인된 것입니다.

이 결과는 AI의 문제가 단순히 AI가 잘못된 판단을 내리는 데 있는 것이 아니라 오히려 인간이 AI의 한계를 자신의 편향된 판단을 정당화하는 근거로 사용해 위험할 수 있음을 의미합니다. 예를 들어 AI의 의견이 자신의 생각과 다를 때 ‘AI는 이 사람의 사정을 제대로 이해하지 못한다’거나 ‘이런 문제는 사람이 판단하는 것이 더 정확하다’고 생각하며 AI의 의견을 무시할 수 있습니다. 따라서 기업은 AI의 정확성을 높이는 것뿐 아니라 직원이 어떤 경우에, 어떤 근거를 가지고 AI의 의견을 거부하거나 수정할 수 있는지를 명확하게 관리해야 합니다.

[협업 유형에 따른 도덕적 정당화 차이]

[도덕적 정당화의 매개 효과]

연구 결과, AI와의 협업이 항상 불공정한 결정으로 이어지는 것은 아니었습니다. 상사가 협업을 얼마나 중요하게 여기는지(Supervisory Valuing of the Cooperation)에 따라 AI 협업의 부정적인 효과가 달라졌습니다. 상사가 협업을 중요하게 여기지 않을 때에는 인간과 협업할 때보다 AI와 협업할 때 자신의 불공정한 판단을 더 쉽게 정당화했습니다. 반면 상사가 AI나 인간 파트너의 의견을 충분히 검토하고 협업할 것을 강조했을 때에는 이러한 차이가 나타나지 않았습니다. 결과적으로 AI와의 협업이 도덕적 정당화를 거쳐 불공정한 결정으로 이어지는 효과도 상사가 협업을 강조할 때에는 사라졌습니다.

이는 AI를 활용한 의사결정의 공정성이 AI의 성능만으로 결정되는 것이 아니라 리더가 어떤 협업 문화를 만드느냐에도 달려 있다는 것을 보여줍니다. 상사가 AI를 단순한 참고 자료로 여기거나 직원이 AI의 의견을 쉽게 무시하도록 방치하면, 직원은 AI의 한계를 자신의 판단을 합리화하는 데 이용할 수 있습니다. 반대로 리더가 AI의 의견을 충분히 검토하고, 다른 결정을 내릴 경우 그 이유를 설명하도록 하는 협업 규범을 만들면 이러한 위험을 줄일 수 있습니다. 따라서 기업은 AI 기술을 고도화하는 것과 함께 AI의 의견을 책임 있게 검토하고 활용하는 조직의 협업 규범과 리더십을 구축해야 합니다.

[상사가 협업을 중요하게 여기는 정도의 조절 효과]

[상사가 협업을 중요하게 여기는 정도에 따른 매개 효과 차이]

연구 결과, AI를 의사결정에 활용한다고 해서 인간의 편향이 자동으로 줄어드는 것은 아니었습니다. 오히려 AI와 협업할 때 자신의 편향된 판단을 반영해 불공정한 결정을 내릴 가능성이 높아질 수 있습니다. 따라서 기업은 AI가 얼마나 정확한 추천을 하는지만 관리해서는 충분하지 않습니다. AI가 어떤 의견을 제시했고, 직원이 이를 어떻게 검토했으며, 최종적으로 어떤 결정을 내렸는지까지 관리할 필요가 있습니다. 특히 직원이 AI의 추천과 다른 결정을 내렸다면 그 이유를 남기도록 하여, AI의 한계를 핑계로 개인적인 선호나 편향을 반영하지 않았는지 확인하시기 바랍니다.

본 연구에서 주목해야 할 핵심은 도덕적 정당화입니다. 사람들은 인간과 협업할 때보다 AI와 협업할 때 자신의 불공정한 판단을 더 쉽게 정당화했습니다. ‘AI는 사람의 사정을 제대로 이해하지 못한다’거나 ‘AI는 상황과 맥락을 충분히 고려하지 못한다’는 생각이 AI의 의견을 무시하고 자신의 판단을 따르는 이유가 될 수 있기 때문입니다. 따라서 직원들에게 AI 사용법만 교육해서는 충분하지 않습니다. AI와 다른 판단을 내릴 때 자신의 개인적인 선호나 편향이 개입하고 있지는 않은지 스스로 확인하도록 교육하시기 바랍니다.

연구 결과, 상사가 협업을 중요하게 여길수록 AI와의 협업이 불공정한 결정으로 이어지는 위험이 줄어들었습니다. 이는 AI 시스템을 도입하는 것만큼이나 리더가 AI와의 협업에 대해 어떤 원칙과 메시지를 전달하는지가 중요하다는 의미입니다. 그렇다고 직원에게 AI의 추천을 무조건 따르도록 해서는 안 됩니다. 중요한 것은 AI의 의견을 충분히 검토하고 자신의 판단과 비교한 뒤 최종 결정을 내리는 것입니다. 이를 개인의 선택에 맡기지 말고 조직의 공식적인 업무 방식으로 정착시키십시오.

결론: AI가 의사결정을 더 공정하게 만드는 것이 아니라, AI와 협업하는 방식이 공정성을 결정한다

AI와 함께 의사결정을 내리는 체계를 도입했거나 도입을 고려하는 기업은 AI를 활용하면 인간의 편향이 줄고 의사결정이 자연스럽게 더 공정해질 것이라고 기대해서는 안 됩니다. 본 연구는 채용과 승진처럼 공정한 판단이 중요한 상황에서 인간과 협업할 때보다 AI와 협업할 때 오히려 불공정한 결정을 내릴 가능성이 높아질 수 있음을 보여줍니다. 사람들은 AI가 사람의 복잡한 사정이나 상황을 충분히 이해하지 못한다고 생각하기 때문에, AI의 의견이 자신의 판단과 다를 경우 이를 무시하면서도 ‘AI가 상황을 제대로 이해하지 못했다’는 이유로 자신의 판단을 쉽게 합리화할 수 있기 때문입니다. 그러나 이러한 위험은 조직이 AI와의 협업을 어떻게 관리하느냐에 따라 줄일 수 있습니다. 리더가 AI의 의견을 충분히 검토하는 것을 중요한 업무 원칙으로 만들고, AI와 다른 결정을 내릴 경우 그 이유를 명확하게 설명하도록 하면 직원이 AI의 한계를 자신의 판단을 정당화하는 데 이용하는 것을 줄일 수 있습니다. 따라서 기업은 AI의 정확도와 성능을 높이는 데만 집중하기보다 AI가 무엇을 추천했는지, 직원이 이를 어떻게 검토했는지, 왜 최종적으로 다른 결정을 내렸는지까지 관리하는 체계를 구축해야 합니다. 결국 AI 기반 의사결정의 공정성을 좌우하는 것은 AI 자체가 아니라, 사람이 AI와 어떻게 협업하도록 조직이 원칙과 절차를 설계하고 관리하느냐에 달려 있습니다.

"귀사의 리더는 조직원들에게 책임 있는 AI 협업이 중요하다는 신호를 보내고 있습니까?"

비엑스컨설팅 드림