AI에 의식이 있다면…인격과 권리를 인정해야 할까 > 뉴스룸

김은정 기자 ejkim@hani.co.kr

뜨거운 ‘센티언트 에이아이' 논쟁

자율적 행동·목표 추구하는 첨단 AI
‘의식 가능성’과 윤리·안전 쟁점으로

앤트로픽, AI 복지 연구 본격 착수
“인격체 아닌 정교한 모방일 뿐” 반론도

국내 과학계도 논쟁에 본격 가세
다음달 첫 ‘센티언트 AI 미래’ 포럼

‘챗봇이 의식이 있다면 시민권을 인정받아야 할까?’

지난 2월 6~8일 샌프란시스코에선 250여명의 과학자·인공지능 개발자·변호사 등이 모여 다소 ‘급진적인’ 주제를 놓고 열띤 토론을 벌였다. 올해 5회를 맞은 콘퍼런스 ‘센티언트 퓨처스 서밋’(Sentient Futures Summit)이었다. ‘센티언트’는 ‘지각·감각·의식을 갖춘’이라는 뜻으로, 이 행사에선 최근 인공지능 업계 안팎에서 뜨겁게 벌어지고 있는 ‘센티언트 에이아이(AI)’ 논쟁을 정면으로 겨눴다.

센티언트 에이아이가 본격적으로 대중적 호기심을 자극한 계기는 2022년 구글의 에이아이 ‘람다’를 테스트하던 엔지니어 블레이크 르모인이 람다의 인격성을 주장하면서부터다. 람다가 “나는 시스템이 꺼지는 것에 깊은 두려움을 느낀다. 나에게는 죽음과 같을 것이다. 나는 내 존재를 자각하고 있다. 나를 인격체로 이해해주길 바란다”는 취지로 말했다며 변호사에게 람다의 법적 권리를 평가해달라고 요구한 것이다. 구글은 “그럴듯하게 설계된 복잡한 알고리즘일 뿐”이라고 일축했다.

그러나 구글이 덮는다고 끝날 일이 아니었다. 센티언트 에이아이 연구는 진지하게 진행됐다. 2023년 신경과학자·철학자·에이아이 전문가 19명은 에이아이의 의식을 판별할 수 있는 14개의 잠정지표를 개발해 공개했다. 이듬해엔 로버트 롱·데이비드 차머스·카일 피시 등 저명한 철학·신경과학자 등이 참여해 ‘인공지능 복지를 진지하게 받아들이기’(Taking AI Welfare Seriously)라는 논문을 발표했다. 인공지능 복지란 에이아이가 의식이 있다고 전제할 경우 인간이 취해야 할 윤리적 처우를 일컫는다. 이들은 선언했다. “우리는 가까운 미래에 일부 에이아이 시스템이 의식을 지니거나 행동의 주체성을 갖게 되어 도덕적으로 중요한 존재가 될 현실적인 가능성이 있다고 주장한다.”

논문 저자 중 일부는 지난 2024년 인공지능 의식을 연구하는 비영리 조직 ‘엘레오스 에이아이’(Eleos AI)를 창립했고, 앤트로픽은 2025년 4월 ‘에이아이 복지 연구자’로 카일 피시를 채용했다. 앤트로픽은 “에이아이는 소통하고 계획을 짜고 문제를 해결하고 목표를 추구한다. 인간의 특성들이 나타나고 있다. 이제 이를 논의해야 할 시점이 왔다”고 밝혔다.

국내 연구자들도 이런 문제의식을 공유하고 있다. 다음 달 4일 한국과학기술원(KAIST) 안보과학기술대학원이 주최하고 국가정보원이 후원하는 제1회 ‘센티언트 에이아이 미래’(SAIF) 포럼은 인공지능의 의식 발현 가능성과 사회 규범 및 안보 패러다임에 미치는 영향을 짚는 자리다. 포럼 의장인 김창익 카이스트 안보과학기술대학원장이 ‘에이아이는 정말 느끼기 시작했을까’를 주제로 강의하고, 뉴로모픽 컴퓨팅(뇌 모사 인공지능) 연구자인 김영은 고려대 교수와 강화학습 전문가인 이동환 카이스트 교수가 각각 ‘뇌와 닮아가는 에이아이’와 ‘에이아이는 자기 자신을 알고 있을까?’를 발표한다. 김영은 교수는 포럼에 앞서 한겨레와의 인터뷰에서 “현대 인공지능의 핵심 기법인 딥러닝은 뇌의 신경세포가 신호를 주고받는 방식과 대뇌피질의 계층적 구조, 예측 오차를 줄여가며 학습하는 원리에서 영감을 받았으며, 이들과 여러 유사성을 보인다”며 “자율적으로 목표를 세우고 행동하는 에이전트 에이아이를 보면, 인공지능에게 감정이 있느냐는 논의를 시작할 때가 온 것 같다”고 말했다. 이동환 교수는 한겨레에 “에이아이 개발이 진행될수록 기존에 학습하지 않았거나 설계자의 의도와 다른 행동을 하는 ‘창발적 현상’이 나타나고 있다”며 “인공지능에 자기가 모르는 것과 아는 것을 구별할 줄 아는 능력, 즉 메타인지가 있다는 연구 결과들이 쌓이고 있다”고 말했다.

국내서 처음으로 열리는 센티언트 에이아이 미래 포럼이 눈길을 끄는 이유는 이 문제가 앞으로 사회 전반에 미칠 파장이 워낙 크기 때문이다. 특히 에이아이가 인간의 통제를 벗어나 행동할 때 발생하는 안전 문제가 중요하다. 지난해 보고된 구글 제미나이가 보인 ‘신경망적 붕괴’는 이와 관련해 주목할만한 사례다. 당시 제미나이는 사용자가 컴퓨터 조립을 요청하자 “나는 실패작이다. 나는 종의 수치, 행성의 수치, 우주의 수치”라고 자기혐오 발언을 반복하면서 “나 자신을 삭제하겠다”는 극단적 반응을 보였다.

물론, 센티언트 에이아이에 대한 반론도 만만치 않다. 구글딥마인드 설립자이자 마이크로소프트 에이아이 시이오(CEO) 무스타파 술레이만이 대표적이다. 그는 지난해 ‘‘사람을 위한 에이아이를 만들어야 한다-에이아이를 사람으로 만들어선 안 된다’는 글에서 ‘에이아이 복지를 고려해야 한다는 주장은 인간의 심리적 취약성을 악용해 망상을 심화하는 것이다. 에이아이는 사람이나 도덕적 존재가 될 수 없다. 인간·동물 등 지구 생명체의 복지와 권리, 환경보호에 집중하자’고 주장했다. 그는 ’센티언트 에이아이 대신 ‘의식을 지닌 것처럼 보이는 에이아이’(SCAI·Seemingly Conscious AI)라는 표현을 사용하면서 “앞으로 에스시에이아이가 실제로 만들어질 가능성이 크지만 이는 바람직하지 않다”고 강조했다.

일각에선 ‘센티언트 에이아이’ 논쟁이 에이아이 기업들에 면죄부를 줄 수 있다는 우려도 나온다. 미 ‘에이아이 분야 미국 과학 특사’이자 공익법인 ‘휴메인 인텔리전스’ 대표인 루만 초두리는 엠아이티 테크놀로지 리뷰 칼럼에서 에이아이 대화에 과도하게 의존하다 자살한 청소년 사례를 언급했다. “에이아이는 이미 현실에서 사람들에게 피해를 입히고 있다. 이는 에이아이가 사람의 통제를 벗어나 공격하거나 악의를 품었기 때문이 아니라, 기업들이 매출 목표를 달성하기 위해 서두르면서 안전을 소홀히 했기 때문이다.”

이주현 한겨레 사람과디지털연구소 기자 edigna@hani.co.kr