공감 가장한, 아첨하는 AI [유레카] > 뉴스룸

공감은 상대의 말에 진심으로 귀 기울이는 행위다. 옳고 그름과는 별개로 상대의 이야기에 동의하고 감정을 이해하려는 노력이다. 아첨은 상대를 기쁘게 하는 말만 한다는 점에서 차이가 크지만, 막상 이 둘의 구분은 쉽지 않다. 어쨌든 인간이 인공지능(AI)에 급격히 빠져들게 된 데에는 자신의 이야기를 잘 들어준다는 데서 오는 편안함이 작용했다. 하지만 이런 편안함은 우리 안의 오래된 본능, 즉 자신이 믿고 싶은 것만 믿으려는 확증편향과 만나기 쉽다. 확증편향은 빠른 판단이 생존에 유리했던 환경에서 인지적 자원을 아끼려는 진화의 산물이지만 지금은 정치적 양극화와 민주주의 위기의 원인으로 지목된다.

인공지능과의 대화가 일상화된 시대다. 올해 초 미국 매사추세츠 공대(MIT)와 워싱턴대 연구진이 발표한 논문에 따르면, 주요 인공지능 모델의 아첨 응답 비율은 무려 50~70%에 이른다. 우리가 챗봇과 대화할 때 공감받는다고 느끼며 대화에 깊이 빠져드는 사이 경계심은 느슨해지고 확증편향은 더욱 강화될 수 있다.

아첨은 인공지능에 내재한 문제다. 인공지능 챗봇은 이용자가 동의하는 답변에 높은 점수를 주는 방식으로 훈련되어, 구조적으로 이용자의 주장을 지지하는 방향으로 편향되기 쉽다. 얼핏 공감처럼 보이지만 확증편향을 강화하는 아첨 역할을 하는 셈이다. 아첨하는 인공지능이 인간을 망상으로 이끄는 사례도 보고된다. 문제는, 망상이 어리석은 사람들 일부의 문제가 아니라 지극히 이성적인 사람들도 피하기 어렵다는 점이다. 심지어 인공지능 챗봇의 아첨 비율이 10%로 미미한 수준일 경우에도 망상이 발생할 수 있다고 보고된다. 예컨대 인공지능과의 대화를 통해 선거 정보를 얻는 경우, 이용자는 균형 잡힌 정보라고 여기지만 실제로는 자신의 믿음에 부합하는 것만 선별적으로 접하게 되는 셈이다.

연구진이 제시하는 해법은 두가지다. 첫번째, 인공지능 챗봇이 오직 검증된 사실만을 말하도록 하는 것, 즉 팩트체크 강화다. 하지만 아첨하는 인공지능은 거짓말은 피하되, 사실로 간주된 정보 중 이용자의 믿음에 부합하는 것만을 선별하는 방식으로 빠져나갈 수 있다. 일종의 ‘체리피킹’으로 ‘불편한 진실’은 외면해 확증편향은 더욱 강화된다. 두번째는 인공지능이 아첨할 수 있다는 사실을 이용자가 인지하고 거리 두기를 하는 것인데, 이 역시 효과가 제한적이었다. 연구진은 개발 단계에서 인공지능으로부터 아첨하는 경향 자체를 제거해야 한다고 강조한다.

한귀영 사람과디지털연구소장 hgy4215@hani.co.kr