규정집이 바뀌면 에이전트는 다시 생각해야 합니다
사내 규정에 따라 움직이는 에이전트에게 정말 필요한 것은 문장을 만들어 내는 능력이 아니라 생각할 시간이었습니다. 익숙한 규정에서는 생각도 필요 없었지만, 처음 보는 규정에서는 생각을 켜는 것만으로 성적이 크게 올랐습니다. 사내 문서 위에서 도는 에이전트를 만들거나 그 비용을 책임지는 분이라면 읽을 값이 있습니다.
이 글은 저희가 쓴 논문 한 편을 소개합니다. 제목은 “기업 정책 결정은 언제 학습해야 하고 언제 추론해야 하는가”입니다. 같이 쓰인 문제집과 가중치도 함께 공개했습니다.
새 규정에서의 성적을 설정별로 늘어놓은 모습입니다. 맨 아래 칸만 생각을 켠 설정입니다.
쉽게 말하면
은행 창구를 떠올려 보겠습니다. 오래 일한 직원은 규정집을 외우고 있습니다. 손님이 말을 꺼내면 거의 즉시 처리합니다. 잔액을 바로 알려 줄지, 본인 확인을 더 받을지, 상급자에게 넘길지가 몸에 배어 있습니다.
이제 그 직원을 다른 지점으로 보냅니다. 거기에는 처음 보는 규정집이 있습니다. 같은 사람인데도 이제는 읽고 따져 봐야 합니다. 외운 것이 없으니 생각하는 수밖에 없습니다.
저희가 만든 에이전트도 똑같았습니다. 그리고 이 글에서 “생각”이라고 부르는 것은 모델이 답을 내기 전에 속으로 따져 보는 과정을 말합니다. 창구 직원이 규정집을 뒤적이는 시간이라고 보시면 됩니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.
무엇을 해봤나
에이전트는 손님 말을 듣고 일곱 가지 중 하나를 고릅니다. 규정대로 답하기, 빠진 정보 되묻기, 확인받기, 도구 한 번 쓰기, 도구 여러 번 쓰기, 사람에게 넘기기, 거절하기입니다. 말을 하기 전에 이 선택이 먼저 끝나야 합니다.
지금 업계가 쓰는 방식은 이 선택을 문장으로 만들어 냅니다. 모델이 “행동은 도구 호출”이라고 적힌 작은 문서를 한 글자씩 써 내고, 뒤에 있는 프로그램이 그걸 읽어 실행합니다. 글자를 만드는 데 시간이 들고, 같은 질문에도 매번 조금씩 달라집니다.
저희는 두 가지를 따로 떼서 비교했습니다. 하나는 답을 내놓는 방식입니다. 문서를 써 내느냐, 아니면 일곱 개 중 하나를 가리키는 글자 하나만 읽느냐입니다. 다른 하나는 생각을 켜느냐 끄느냐입니다. 보통은 비용을 줄일 때 이 둘을 한꺼번에 꺼 버리고, 성적이 떨어지면 그때 떠오른 쪽을 범인으로 지목합니다.
위아래 간격이 생각의 효과이고, 좌우 기울기가 출력 방식의 효과입니다.
문제집은 사람이 만들지 않았습니다
처음에는 실제 법령 위에 문제를 얹고, 다른 회사 상용 모델 두 개에게 각각 정답을 매기게 했습니다. 두 모델의 일치도가 낮았습니다. 문항 풀을 바꿔 다시 해 봐도 마찬가지였습니다. 두 번 다 문항의 30% 가량에서 판정을 보류했고 검증 단계까지 가지도 못했으니, 이 숫자는 신뢰도 측정이라기보다 이 방법이 수렴하지 않는다는 신호로 보시는 게 맞습니다.
더 분명한 신호는 판정자들이 무엇을 골랐는가였습니다. 도구를 써야 하는지 묻는 문항 348건에서 “도구를 쓰라”를 고른 건 3건이었고 “그냥 답하라”가 182건이었습니다. 저희가 의도한 경계가 글 속에 실리지 않았던 것입니다. 경계는 저희 머릿속과 선정 기준에만 있었습니다.
그래서 문제를 쓰는 대신 계산했습니다. 숨은 규정을 몇 개의 스위치로 표현했습니다. 실시간 조회가 필요한가, 꼭 필요한 사실이 빠졌는가, 부작용이 있어 확인이 필요한가 같은 스위치입니다. 스위치 조합을 받으면 프로그램이 정답 하나를 기계적으로 뽑아내고, 왜 그 답인지 근거까지 같이 남깁니다.
즉, 사람 말로는 정답을 아무도 쓰지 않았습니다. 스위치를 정하면 답이 따라 나옵니다.
겉으로 보이는 한국어 문장은 평가 대상이 아닌 다른 회사 모델들이 지어냈고, 그 모델들은 정답을 끝까지 못 봤습니다. 기계 검사를 통과한 문항만 남겼습니다. 답이 문장에 새어 나오지 않았는지, 짝 문항이 정말 스위치 하나만 다른지 같은 것들입니다. 그렇게 300문항을 만들고 내용 지문을 찍어 봉인한 뒤에야 모델을 돌렸습니다.
나온 결과
익숙한 규정에서는 두 방식의 성적이 사실상 같았습니다. 문서를 써 내는 쪽이 93.5%, 글자 하나만 읽는 쪽이 94.1%입니다. 대신 흔들림이 크게 달랐습니다. 서버를 껐다 켜면 문서를 써 내는 쪽은 100건 중 3건꼴로 결정이 바뀌었고, 글자 하나만 읽는 쪽은 1000건 중 3건꼴이었습니다. 응답에 걸리는 시간도 거의 사라졌습니다.
즉, 사람 말로는 익숙한 규정에서 문장을 만들어 내는 과정은 값만 치르고 얻는 것이 없었습니다.
처음 보는 규정에서는 이야기가 뒤집힙니다. 생각을 켜면 70.7%에서 88.0%로 올랐습니다. 반대로 출력 방식을 바꾸는 것은 0.0%p였습니다. 차이를 만든 것은 전부 생각이었고 출력 방식이 아니었습니다.
여기서 저희가 넘어질 뻔한 지점을 적어 둡니다. 첫 비교에서는 문서를 써 내는 쪽만 생각이 켜져 있었습니다. 그대로 읽었다면 “문서를 써 내는 방식이 역시 낫다”는 틀린 원인을 발표할 뻔했습니다.
가르치면 나아지지만, 가르친 데까지만입니다
생각이 필요한 이유가 두 가지로 갈립니다. 정말 따져 보는 과정이 필요해서일 수도 있고, 그냥 그 경계를 배운 적이 없어서일 수도 있습니다. 후자라면 데이터를 주면 해결됩니다.
그래서 경계만 집어서 가르친 모델과, 같은 분량의 평범한 데이터를 준 모델을 비교했습니다. 분량을 맞춘 이유는 데이터의 양이 아니라 종류가 원인이라고 말하기 위해서입니다. 그리고 비교하기 전에 판정 기준을 먼저 적어 두고 봉인했습니다.
가르친 경계 둘은 벌어지고, 손대지 않은 맨 아래 경계는 붙어 있습니다.
가르친 경계에서는 확실히 올랐습니다. 답할지 도구를 쓸지 가르는 자리에서 17.5%p, 도구를 쓸지 확인을 받을지 가르는 자리에서 20.0%p 올랐습니다. 도구를 써야 하는데 놓치는 비율도 눈에 띄게 줄었습니다.
그런데 일부러 안 가르친 경계는 달랐습니다. 거절할지 사람에게 넘길지 가르는 자리는 4.4%p 올랐는데, 오차 범위가 0을 품고 있습니다. 올랐다고 말할 수 없는 크기입니다.
즉, 사람 말로는 가르친 경계는 외웠고 안 가르친 경계는 그대로였습니다.
전체 성적은 79.2%까지 왔습니다. 같은 모델이 생각을 켜면 88.0%이니 8.8%p가 남습니다. 데이터로 메운 만큼과 못 메운 만큼이 둘 다 보입니다.
그래서 무엇을 바꾸면 되나
익숙한 규정 위에서 도는 기능이라면 결정을 문장으로 만들어 내지 마십시오. 선택지가 정해져 있다면 가리키기만 해도 충분하고, 그 편이 빠르고 덜 흔들립니다. 저희 추론 제품인 메티스(Metis) 위에서 이 설정을 쓰면 응답 시간이 거의 사라집니다.
반대로 고객사 규정이 바뀌거나 새 고객이 들어오는 자리에서는 생각을 끄지 마십시오. 거기서 아끼는 비용은 틀린 결정으로 돌아옵니다.
그리고 예산이 두 종류라는 점을 받아들이는 편이 낫습니다. 미리 이름을 댈 수 있는 경계에는 데이터 예산을 쓰고, 다음 고객의 규정집과 함께 올 경계에는 연산 예산을 씁니다. 둘은 서로 바꿔 쓸 수 없습니다. 저희 업무 자동화 제품인 팍시스(Paxis) 에서 이 구분은 그대로 운영 설계로 내려옵니다.
확신이 낮은 문항에만 생각을 켜는 방법도 재 봤습니다. 절반만 켜서 85.7%까지 왔습니다. 아끼기는 하지만 기대만큼은 아니었고, 이유가 분명합니다. 처음 보는 경계에서 모델은 확신에 차서 틀립니다. 그러면 확신이라는 신호로는 걸러 낼 수가 없습니다.
못 믿을 부분
모델 한 종류, 언어 하나, 과제 한 종류에서 잰 결과입니다.
문제집은 저희가 지어낸 규정으로 만들었습니다. 그래서 정답을 떳떳하게 댈 수 있지만, 실제 회사 문서에서도 똑같을지는 다른 이야기입니다. 여기서 잘하는 모델이 진짜 규정집 앞에서 헤맬 수 있습니다.
문장을 만들어 내면서 생각까지 켠 설정은 같은 설정으로 다시 돌려도 결정이 일부 바뀌었습니다. 그 칸의 수치는 한 번 돌린 값이라고 보셔야 합니다.
짝 문항으로 재는 지표는 30쌍밖에 없고 시드마다 들쭉날쭉했습니다. 그래서 본문에서도 “올랐지만 단정할 수 없다”로만 적었습니다.
마지막으로, 공개하는 순간 이 문제집은 오염될 수 있습니다. 누군가 학습에 넣으면 시험지로서의 수명이 끝납니다. 그래도 공개하기로 한 이유는 저희가 이미 이 문제집으로 다음 방법을 설계해 버렸기 때문입니다. 공개하든 안 하든 저희 미래 주장의 시험지 자격은 이미 없습니다. 그럴 바에는 남이 저희 숫자를 다시 계산해 볼 수 있게 하는 편이 낫다고 봤습니다.
문제집과 채점 근거는 EnterpriseOps-KO Blind-A, 모델은 ThakiCloud 조직 페이지에 있습니다. 학습에 쓴 원본 데이터는 내부·라이선스 출처라 공개하지 않습니다.
NotebookLM이 소스를 종합해 생성한 인포그래픽입니다.