“토큰 많이 쓴다고 일 잘하는 건 아니다” > 뉴스룸

오픈AI(OpenAI) 로고. 로이터/연합뉴스

토큰경제 시대 몇가지 팁

스티븐 스필버그의 영화 ‘레디 플레이어 원’에는 가상현실 안팎의 세계에서 살아남기 위해 목숨 걸고 ‘코인’을 버는 사람들이 나온다. 공부하고 일하고 노는 데 인공지능이 필수불가결한 도구로 자리잡는 상황에선, ‘토큰’도 영화 속 코인 같은 위상을 지닐 수 있다. 중국은 최근 토큰 명칭을 ‘말(词)'의 화폐단위(元)'를 뜻하는 ‘츠위안’으로 변경하면서 토큰경제를 주도하겠다는 의지를 명확히 밝혔다.

토큰이 무엇인지 직관적으로 알고 싶다면 오픈에이아이의 ‘토크나이저’(https://platform.openai.com/tokenizer)에 들어가보라. 우리가 생성형 인공지능에 텍스트를 입력하면 문장은 작은 조각 ‘토큰’으로 분해된다. 통상 영어 4글자가 토큰 1개다. 토크나이저는 ‘토큰이 디지털 월세가 되고 있다’는 문장을 토큰 11개로 계산한다(GPT5 기준).

올해 초 실리콘밸리에선 토큰 사용량이 개발자들이 얼마나 열심히 일하는지를 알려주는 지표로 여겨지면서 ‘토큰 맥싱’ 문화가 등장하기도 했다. 하지만 토큰을 많이 사용한다고 해서 더 좋은 품질의 결과물이 나오는 건 아니다. 미시간대·스탠포드 등 공동연구팀의 논문 ‘인공지능 에이전트는 당신의 돈을 어떻게 쓰는가’(arXiv·4월29일 게재)를 보면, 인공지능은 같은 작업이라도 실행할 때마다 총 토큰 수가 최대 30배까지 달라질 수 있다.

또한 정확도는 토큰 사용량이 중간 수준일 때 가장 높았다. 인공지능이 토큰을 많이 필요로 하는 어려운 작업을 지시받으면 같은 파일을 계속 보고 수정하는 비효율적인 반복 행동을 할 가능성이 높아지기 때문이다. 논문은 “인공지능 모델은 과제가 해결 불가능하다는 점을 인식하고 일찍 멈추는 메커니즘이 부족하다”고 짚었다. 이 때문에 인공지능 사용료 책정은 간단한 문제가 아니라고 논문은 지적한다.

물론, 기술적 발전에 따라 토큰 효율은 개선될 수 있다. 가령 구글의 ‘제미나이 3 플래시'는 경량화 모델로 토큰 사용을 대폭 줄이면서도 우수한 성능을 갖춘 것으로 평가된다.

이주현 한겨레 사람과디지털연구소 기자 edigna@hani.co.kr