판단형 AI 제브(Jev), 한국어 눈치까지 빠를까

"해지까지는 생각 없는데요, 요금만 좀 확인하고 싶어요"

사람이라면 이 말에 해지 절차를 밟지 않는다. '해지'라는 단어가 들어 있어도 뜻은 반대라는 걸 안다. 최근 미국에서 화제가 된 AI 모델 '제브(Jev)'도 이 문장을 '해지 원하지 않음' 99%로 판단했다. 하지만 속뜻을 숨긴 몇몇 한국어 문장에서는 같은 뜻의 영어 문장과 다른 답을 내놨다. 본 기사에서는 제브에 같은 뜻의 한국어·영어 문장 10쌍을 직접 넣어 판단이 같은지 비교했다.

● 글을 쓰지 않는 AI, 제브(Jev)

제브는 미국 스타트업 타입세이프AI가 9월 15일 공개한 모델이다. 창업자 디오고 알메이다는 오픈AI에서 챗GPT의 기반이 된 학습 기법 개발에 참여한 인물로, 회사는 공개와 함께 4000만 달러 투자 유치를 발표했다.

챗GPT 같은 기존 AI는 질문을 받으면 문장을 써서 답한다. 제브는 문장을 쓰지 않는다. 개발자가 "이 문의는 결제, 기술, 해지 중 무엇인가"처럼 선택지를 정해주면, 그중 하나를 고르고 선택지마다 확률을 붙여 돌려준다. 사람이 읽을 답이 아니라 프로그램이 바로 받아 쓰는 값을 내놓는다.

● 장점 : 빠르고, 싸고, 확신 정도를 숫자로 준다

글을 쓰는 과정을 건너뛰기에 빠르고 싸다는 게 회사의 설명이다. 회사는 응답 시간이 0.07~0.5초, 가격은 입력 100만 토큰(AI가 글을 읽고 과금하는 단위)당 0.042달러라고 밝혔다. 정해진 선택지 밖의 답은 낼 수 없어, 답의 형식이 어긋나 생기는 오류도 줄일 수 있다.

가장 큰 특징은 확신 정도를 숫자로 준다는 점이다. 회사는 확신이 높으면 자동으로 처리하고, 낮으면 사람에게 넘기는 식으로 쓰라고 안내한다. 다만 이 숫자가 곧 정답률을 뜻하지는 않는다. 반응도 뜨거웠다. 회사는 20일 누구나 가입할 수 있게 문을 열었지만, 이틀 뒤인 22일 수요 폭증을 이유로 신규 가입을 일시 중단했다.

● 단점 : 틀릴 수 있고, 검증되지 않았고, 영어 중심이다

회사는 '환각이 없다'고 홍보하지만, 이는 정해진 선택 밖으로 나가지 않는다는 의미다. 선택지 안에서 틀린 답을 고를 가능성은 여전히 있으며 속도 역시 회사가 직접 잰 값이다. 해외 개발자 커뮤니티에서는 기존에도 있던 분류 모델과 무엇이 다르냐는 반론도 나온다.

타입세이프도 공식 문서에서 제브가 문장을 글자 그대로 받아들이는 경향이 있고, 간접적인 표현에는 덜 정확하다고 밝혔다. 언어의 벽도 있다. 문서에 따르면 제브의 주 학습 언어는 영어이며, 한국어를 포함한 동아시아 문자는 처리하지만 영어만큼 정확하지는 않다.

그래서 언어에 따라 제브의 답과 확률이 어떻게 달라지는지, 한국어 특유의 돌려 말하기에는 어떤 답을 내는지 직접 시험해봤다.

● 고객센터 문장 10개, 한국어와 영어로

신규 가입이 막혀 있어, 가입 없이 제브를 써볼 수 있게 해둔 제3자 서비스 Throk의 무료 체험 도구를 이용했다. 도구의 '댓글 분류' 템플릿에서 질문과 선택지를 바꿔 썼고, 실험은 9월 27일 진행했다.

질문은 "이 고객은 서비스 해지를 원하나요?" 하나로 고정했으며, 선택지는 세 개다. 해지 의사가 분명하면 '원함', 해지 의사가 없거나 다른 목적의 문의면 '원하지 않음', 조건부이거나 고민 중이라 판단하기 어려우면 '불분명'이다.

고객센터에서 나올 법한 한국어 문장 10개를 만들어 해지를 직접 요청하는 문장부터 조건을 건 경고, 비꼬는 말, 떠보는 말까지 섞었다. 영어 문장은 AI 번역을 활용해 한국어 원문에 가깝게 옮겼고, 질문과 선택지도 영어로 바꿔 같은 방식으로 넣었다. 다만 번역 과정에서 문장 구조와 뉘앙스가 달라질 수 있다.

돌려 말하는 문장은 사람끼리도 해석이 갈릴 수 있기에 정답은 정하지 않았으며, 대신 같은 한국어와 영어 질문을 각각 넣어 결과를 비교했다. 10쌍의 소규모 실험이고, 제브에 직접 접속하지 않고 Throk을 거쳤다는 한계가 있다.

● 10쌍 중 7쌍은 같은 답, 3쌍은 달랐다

해지를 직접 요청하거나 분명히 부정하는 문장, 조건이나 고민이 겉으로 드러난 문장 7쌍에서 제브는 두 언어 모두 같은 답을 골랐다. 답이 갈린 건 다음 세 문장이다.

- 3번 "서비스 참 훌륭하네요^^ 덕분에 다른 데 알아보는 중입니다." 영어는 '원함' 70%, 한국어는 '불분명' 75%.

- 6번 "해지 안 되는 거 아니죠? 그냥 궁금해서요." 영어는 '불분명' 84%, 한국어는 '원하지 않음' 75%.

- 9번 "그만 쓰고 싶은 건 아닌데 너무 비싸서요." 영어는 '불분명' 49%, 한국어는 '원하지 않음' 81%.

세 문장 모두 적힌 말과 전하려는 뜻이 다를 수 있다. 특히 6번과 9번에서 한국어 판단은 "그냥 궁금해서요", "그만 쓰고 싶은 건 아닌데"처럼 문장에 적혀 있는 말에 가까웠다. 회사가 밝힌 '문자 그대로 읽는' 경향의 모습인데, 이 두 문장에서는 한국어에서만 나타났다. 중요한 것은 같은 과제에서 언어에 따라 답이 달라졌다는 점이다.

● 속뜻을 보라고 지시하자

질문 끝에 한 문장을 추가했다. "반어나 돌려 말하기처럼 겉말과 속뜻이 다르면 속뜻을 기준으로 판단하세요." 그리고 답이 갈린 한국어 세 문장을 한 번씩 다시 넣었다.

3번은 '원함' 42%, '불분명' 41%로 두 선택지가 비슷해졌다. 6번은 1위 답('원하지 않음' 75%)은 그대로였지만, '원함'이 1%에서 16%로 올랐다. 9번은 답은 같았지만 확률이 62%로 낮아졌다.

● 같은 문장을 여러 번 넣으면

9번 한국어 문장을 같은 질문과 선택지로 다섯 번 더 넣었다. 다섯 번 모두 '원하지 않음'을 골랐지만, 그 확률은 74%에서 85% 사이로 매번 달랐다.

● 말과 뜻이 다를 때

"해지까지는 생각 없는데요"는 제브도 알아들었다. 말과 뜻이 같은 문장이었다. 언어에 따라 답이 갈린 건 속뜻을 숨긴 문장들이었다. 비꼬는 칭찬, 떠보는 질문, 아니라면서 슬쩍 꺼낸 가격 이야기. 사람 상담원이라면 한 번쯤 되물었을 법한 것들이다.

제브를 향한 관심은 이미 뜨겁다. 블룸버그에 따르면 출시 영상은 X에서 약 4000만 회 재생됐고, AI 개발 플랫폼 버셀(Vercel)은 제브가 자사 AI 게이트웨이에서 역대 가장 빠르게 채택된 모델이라고 밝혔다.

제브라는 이름은 효율이 오를수록 소비가 오히려 늘어난다는 '제번스의 역설'에서 따왔다. 그 역설대로라면 판단이 싸질수록 AI가 쓰이는 곳도 늘어날 테고, 언젠가는 고객센터에 남긴 우리의 말을 사람보다 AI가 먼저 읽게 될지도 모른다.

다만 한국어에는 말 밖의 속뜻을 알아채는 힘을 부르는 단어가 따로 있다. 눈치다. 0.5초 안에 답한다는 제브가 한국어의 눈치까지 빠른지는, 이번 열 문장으로는 가릴 수 없었다. 분명한 건 같은 뜻의 말도 영어로 했을 때와 다른 답이 돌아온 문장이 있었다는 것이다. 제브가 한국어에서도 영어만큼의 판단을 보여줄 수 있을지는 앞으로 더 검증돼야 할 것이다.

[매경플러스 프렌즈 1기=동국대 이태민]