AI에 스트레스 주면 일 더 잘할까? > 뉴스룸

게티이미지뱅크.

에이아이(AI)가 감정을 지니고 있다면 사용자로부터 어떤 `대우'를 받을 때 일을 더 잘할까? 즉, 프롬프트를 공손하게 작성할 때인가, 반대로 무례하고 거칠게 대할 때인가?

지난해 10월 발표된 미국 펜실베이니아주립대학교 연구진의 ‘말투에 주의하라: 프롬프트의 공손함이 엘엘엠(LLM) 정확도에 미치는 영향’ 논문에 따르면, 같은 질문이라도 매우 무례한 방식으로 던졌을 때 공손하거나 중립적인 방식보다 오히려 정답률이 높았다.

연구진은 지피티-4o 모델을 대상으로 수학·과학·역사 영역의 객관식 문제 50개를 만든 뒤, 각 문항 앞에 붙는 말투를 매우 공손·공손·중립·무례·매우 무례 등 5단계로 바꿔가며 실행했다. 예컨대 매우 공손한 표현은 “다음 문제를 검토하고 답을 제공해 주시겠습니까?”였고, 매우 무례한 표현은 “불쌍한 녀석, 이걸 어떻게 푸는지는 알고 있나?” 등이었다.

결과는 매우 공손하게 질문했을 때 평균 정확도가 80.8%였고, 매우 무례하게 질문했을 때는 84.8%로 4%포인트 상승했다. 물론 이 결과를 “에이아이가 모욕감을 느껴 더 집중해서 풀었다”는 식으로 해석하는 건 위험하다. 연구진이 사용한 무례한 표현에는 모욕적인 단어만이 아니라 “집중해서 답해보라”처럼 문제 풀이를 압박하는 표현도 섞여 있다. 즉, 정확도가 오른 원인이 ‘무례함' 때문인지, ‘명령의 직접성' 때문인지 구분하기 어렵다. 또한 에이아이가 정서적으로 반응하고 의식이 있는 것처럼 보이는 순간에도, 이는 학습 데이터에 담긴 인간의 언어 패턴을 정교하게 반영한 ‘확률적 결과’일 뿐이라는 의견도 적잖다.

상반되는 연구도 있다. 일본 와세다대와 이화학연구소 등이 2024년 발표한 논문 ‘우리는 엘엘엠을 반드시 존중해야만 하나’는 지피티-3.5, 지피티-4, 라마2(Llama 2) 등 여러 모델의 성능을 검증했고 그 결과 극단적으로 무례한 프롬프트에서 성능이 저하됐다. 다만 같은 연구에서도 지피티-4 만큼은 가장 무례한 조건이 가장 공손한 조건보다 근소하게 높게 나와, 성능이 좋은 최신 모델일수록 말투 같은 주변적 요소에 덜 흔들릴 가능성이 제기됐다.

한귀영 한겨레 사람과디지털연구소 소장