“인공지능의 문제는 주의력 해킹하는 비즈니스 모델” > 뉴스룸

“참여 기반 비즈니스 모델은 사적으로는 기업의 수익에 도움이 되지만 공적으로는 민주주의를 파괴합니다.” 지난달 25일 대한상공회의소에서 개최된 제4회 사람과디지털포럼에서 특별기조강연자로 나선 로런스 레시그 하버드대 로스쿨교수는 인공지능은 인간의 주의력을 해킹하고 우리를 극단적이고, 증오에 찬 콘텐츠에 반응하도록 해 민주주의를 위협한다고 말합니다. ‘인공지능(AI)와 민주주의 : 새로운 위협과 우리의 선택’이라는 주제로 20분간 펼쳐진 온라인 강연은 이번 포럼에서 가장 강렬하고 인상적인 강연으로 꼽혔습니다. 강연의 전문과 영상을 게재합니다.

로런스 레시그 미국 하버드대 로스쿨 교수가 25일 오전 서울 중구 대한상공회의소에서 열린 제4회 사람과디지털포럼에서 ‘AI와 민주주의: 새로운 위협과 우리의 선택’을 주제로 영상을 통해 특별강연을 하고 있다. 김영원 기자 forever@hani.co.kr

2024년 12월, 오픈 에이아이(AI)의 샘 알트먼이 이런 트윗을 남겼습니다. “알고리즘 뉴스 피드는 대규모로 처음 등장한 비정렬 인공지능(설계 때의 목표에서 벗어난 인공지능)이다." 저는 샘 알트먼의 말에 대해 두 가지를 말씀드리고 싶습니다. 첫째, 그가 얼마나 옳은지에 대한 것이고, 둘째, 그가 얼마나 틀렸는지, 즉 (인공지능으로 인해) 우리가 얼마나 곤경에 처했는지, 민주주의가 얼마나 위험한지에 대한 것입니다.

먼저, 2024년 미국 선거에서 인공지능은 중요한 영향을 미쳤는데, 의도된 효과와 의도하지 않는 효과가 있습니다.

미국의 양당 모두 인공지능을 활용해 지지를 모으고자 했습니다. 민주당은 인공지능을 활용해 정치자금을 모으는 데 성공했고, 트럼프는 테일러 스위프트가 자신을 지지했다고 주장하며 인공지능(딥페이크)을 사용했다가 망신을 샀습니다. 가짜 러시아 뉴스 사이트, 트위터에서 미국인을 사칭하는 봇 농장, 러시아 거대언어모델이 생성한 사이트가 미국의 뉴스 사각지대에 퍼진 것도 의도된 효과입니다.

하지만 미국에서 인공지능이 선거에 미친 영향은 과장되었습니다. 2024년은 인공지능의 해가 아니었습니다. 인공지능의 진짜 영향은 의도된 효과가 아니라 의도하지 않는 효과, 즉 소셜미디어가 낳은 부정적 효과에 있습니다.

소셜미디어와 뇌 해킹

트리스탄 해리스(전 구글 엔지니어, Center for Humane Technology 설립자)는 소셜미디어 플랫폼에서 사용자의 저항을 극복하고 참여도를 높이는 것을 '뇌 해킹(Brain Hacking)'이라는 개념을 통해 설명합니다.

뇌 해킹이란 인간 뇌의 인지적 결함을 이용해, 콘텐츠를 계속 소비하게 하여 광고 수입을 올리기 위한 기업의 전략입니다.

마이클 모스(Michael Moss)의 책 ‘소금, 설탕, 지방’은 가공식품 산업이 소금, 설탕, 지방의 완벽한 조합을 찾아내 소비자가 계속 섭취하도록 하는 ‘바디 해킹’에 대해 이야기합니다. 뇌 해킹은 이와 거의 동일한 방식으로 우리의 주의력을 해킹합니다.

이같은 참여 기반 비즈니스 모델은 기업이 우리로부터 더 많은 정보를 얻어내, 우리를 자극하고, 불안감을 이용해 광고를 더 잘 팔도록 유도합니다.

미디어 사회학자이자 뉴욕타임스 칼럼니스트인 제이넵 투펙치는 기술대기업이 건강이나 공공의 이익과는 무관하게, 오로지 주의력을 수익화하는 데만 관심이 있다고 지적한 바 있습니다. 이를 위한 가장 효과적인 전략은 ‘증오의 정치’입니다. 우리는 극단화되고 분열적이며 증오에 찬 콘텐츠에 더 많이 반응합니다. 이런 콘텐츠를 인공지능은 계속 학습해서 우리에게 내놓습니다.

우리는 자신만의 현실, 자신의 버블에 갇혀 있다

스튜어트 러셀에 따르면, 소셜미디어의 알고리즘은 클릭률을 극대화하기 위해 설계되어 있습니다. 단순히 사용자가 좋아할 만한 콘텐츠를 보여주는 것이 아니라, 사용자의 선호도를 더 예측할 수 있게 바꾸는 것이 목표입니다. 극단적인 정치적 견해를 가진 사람일수록 클릭 패턴을 예측하기 쉽습니다. 인공지능은 사용자의 선호를 바꾸고 보상을 극대화하는 방법을 학습합니다. 실제, 미국, 브라질, 영국, 독일 등에서 소셜미디어 확산이 대중의 급진화와 연결되어 있다는 연구 결과도 있습니다.

2021년 1월 6일, 미국 대선 결과에 불복하며 의사당을 점령한 트럼트 지지자들. 연합뉴스 제공

르네 디레스타(Renee DiResta, 스탠퍼드 인터넷 옵저버토리 전 디렉터)는 소셜미디어가 각 개인에게 맞춤형 현실을 제공한다고 말합니다. 우리는 각자 자신이 보고 싶은 정보만을 받아들이며, 자신이 믿고 싶은 것을 믿는 경향이 있습니다. 오바마 전 대통령도 “폭스뉴스를 보는 사람들이 느끼는 현실과 뉴욕타임스를 보는 사람들이 받아들이는 현실은 완전히 다르다”고 말했습니다.

예를 들어, 2021년 1월 6일 (트럼프 패배에 분노한 지지자들이) 미국 국회의사당을 난입한 사건에서 시위대는 자신들만의 현실, 믿음을 지니고 있었습니다.

또한, 공화당원의 70% 이상은 트럼프가 “자신이 바이든보다 더 많은 표를 받았다”고 주장한 것(부정선거론)에 동의했습니다. 심지어 대학 교육을 받은 공화당원 다수도 선거 결과가 조작됐다고 믿었습니다. 2021년 이후에도 이런 믿음은 변하지 않았습니다.

하지만 1974년 닉슨 대통령 시절로 거슬러 올라가면 상황이 다릅니다. 닉슨이 사임할 때는 공화당, 민주당, 무소속 모두 같은 뉴스를 보고 같은 현실을 받아들였습니다.

지금은 각 집단이 자신만의 현실, 자신만의 버블에 갇혀 있습니다. 맞춤형 현실은 ‘환상’으로 이어집니다. 그 결과, 트럼프 대통령 임기 동안 (온갖 악재에도 불구하고) 지지율은 거의 변하지 않았습니다. 로버트 F. 케네디 주니어(미국 보건복지부 장관), 도널드 트럼프, 일론 머스크 등은 사실과 다른 주장을 반복해서 하고, 사회는 점점 더 분열되고, 무지에 휩싸이고, 분노하게 됩니다.

이 모든 것은 기술의 문제가 아니라 비즈니스 모델의 문제입니다. 알고리즘 뉴스 피드는 민주주의를 악화시키는 비즈니스 모델의 부산물입니다. 샘 알트먼이 ‘대규모 비정렬 인공지능’이라고 했지만, 실제로는 참여도 극대화라는 기업의 목표와는 완벽히 일치합니다.

참여 기반 비즈니스 모델, 기업의 이익과 일치해

페이스북 임원인 앤드류 보스워스는 2020년 대선 전에 직원들에게 보낸 메모에서, “알고리즘은 인류의 욕망을 드러낼 뿐”이라고 말했습니다. 건강을 위해 설탕을 줄이려다 시장 점유율을 잃은 사례를 예로 들면서, 기업은 소비자가 원하는 것을 제공해야 한다고 주장했습니다.

하지만 여기서 중요한 점은 그가 생각하기에, 이 문제는 페이스북 자체의 문제가 아니라는 것입니다. 비록 페이스북이 플랫폼을 설계했을 때 이러한 부정적인 효과를 의도했더라도 말입니다. 이 문제는 사회적 측면에서나, 민주주의 측면에서나 옳지 않은 것일 수 있지만, 기업의 이해관계라는 면에서는 일치합니다. 참여 기반 비즈니스 모델은 사적으로는 기업의 수익에 도움이 되지만 공적으로는 민주주의를 파괴합니다. 단순히 비즈니스 모델에 불과하며, 돈을 버는 다양한 방법 중 한 가지 방식입니다.

기후 변화를 끝내는 유일한 방법이 민주주의를 위협하고 약화하는 것이라면, 저는 동의하지는 않지만, 이해는 할 수 있습니다. 만약 세계 기아를 끝내는 유일한 방법이 민주주의를 약화시키거나 훼손하는 것이라면, 역시 동의하지는 않겠지만 이해할 수 있습니다. 하지만 민주주의를 약화시키고 훼손해야 기업가들이 더 부유해질 수 있다면 어떻게 받아들일 수 있을까요?

선거를 넘어 시민의회 운동으로

영화 ‘콰이어트 플레이스’의 한장면. 파라마운트 픽처스 제공

‘A Quiet Place’라는 영화가 있습니다. 영화를 보면 매우 탐욕스러운 식욕을 가진 외계인들이 침공하는데, 이들은 결정적 취약점이 있습니다. 볼 수 없다는 점입니다. 따라서 공격할 대상을 알아내는 유일한 방법은 소리입니다. 이 때문에 모든 인간은 완전히 침묵하는 삶을 살아야 합니다. 인간들은 지하로 이동하고, 지상에서 생활할 때는 절대적인 침묵을 유지해야 합니다. 그렇지 않으면 파괴될 것입니다.

이 상황을 은유로 보시길 권합니다. 왜냐하면 인간, 그리고 민주주의도 비슷한 상황이기 때문입니다. 우리를 침공한 것은 외계 지능(Alien Intelligence)이 아니라 인공 지능(Artificial Intelligence)입니다. 홍수가 닥칠 때 우리는 높은 곳으로, 보호받을 수 있는 곳으로 이동해야, 홍수로부터 민주주의를 격리시키고, 인공 지능의 해로운 힘으로부터 민주주의를 보호할 수 있습니다.

선거 과정에서는 민주주의가 보호되기 어렵습니다. 데이비드 폰 레버그(David von Rehburg)는 자신의 책 ‘선거에 반대하여’에서 “약 3,000년 동안 사람들은 민주주의를 실험해 왔고, 지난 200년 동안만 선거에 의존해왔다”고 말했습니다.

그는 이 변화가 시민의회 운동의 부상으로 일어나고 있다고 말합니다. 이 운동들은 무작위로 선출된 대표자들로 구성되어, 정보에 기반해 논의가 이루어집니다. 대의제 민주주의를 대체하는 것이 아니라 보완하며, 보호된 체계를 통해 국민이 민주주의를 실천할 수 있는 방법을 제공합니다.

예컨대, 아이슬란드는 시민들이 새로운 헌법을 크라우드소싱으로 작성했습니다. 아일랜드는 매년 정책 변화를 생산하는 연례 행사를 개최해, 낙태 비범죄화나 동성혼 합법화 같은 변화를 끌어냈습니다. 이 두 변화는 아일랜드 의회가 결코 채택하지 못했을 것들입니다. 프랑스도 이제 기후 변화 등 여러 주제로 시민 의회를 정기적으로 채택하고 있습니다. 이 중 어느 것도 완벽하지 않지만, 매우 희망적입니다.

이건 단순히 좋은 아이디어가 아니라 민주주의의 존립 자체에 관한 문제라는 점을 말씀드리고 싶습니다. 참여 비즈니스 모델을 이길 수 있는 방법은 없기 때문입니다. 우리가 해야 할 일은, 이 참여 비즈니스 모델로 인한 위협을 넘어서는 것입니다.

[제4회 사람과디지털포럼 특별강연] 인공지능(AI)과 민주주의: 새로운 위협과 우리의 선택

한귀영 사람과디지털연구소 소장 hgy4215@hani.co.kr