챗GPT 같은 라지랭귀지 모델에게 질문을 던지면 언제나 길고 친절한 문장이 돌아옵니다. 그런데 실시간으로 수백 번씩 판단을 내려야 하는 서비스라면, 이 친절함이 오히려 발목을 잡습니다. 응답이 느리고 비싸기 때문입니다. 최근 개발자들 사이에서 화제가 된 재브라는 모델은 이 문제를 정반대 방식으로 풀어냅니다. 이 글에서는 재브가 기존 라지랭귀지 모델과 무엇이 다르고, 어떤 상황에 쓸 수 있는지 정리합니다.
재브는 왜 다른가: 시스템 모델이라는 접근
재브를 만든 타입세이프는 이 모델을 시스템 모델이라고 부릅니다. 라지랭귀지 모델에게 질문하면 주절주절 자연어로 답하는 반면, 재브는 단답의 형태로 응답합니다.
예를 들어 손님이 밥을 맛있게 다 먹고서 맛이 없었다며 돈을 내지 않겠다고 하는 상황이 정당한지 물으면, 재브는 0.09라는 숫자 하나로 응답합니다. 1에 가까울수록 정당하다는 뜻이고 0에 가까울수록 정당하지 않다는 뜻입니다.
이런 손님에게 어떻게 대처해야 할지 물어보면, 라지랭귀지 모델은 긴 설명을 늘어놓지만 재브는 미리 정해진 보기, 즉 경찰을 부른다, 돈을 받지 않는다, 돈을 내야 하는 이유를 설명해 준다 중에서 각 보기의 적합도를 수치로 나눠 보여줍니다. 이번 사례에서는 돈을 내야 하는 이유를 설명해 준다가 94%를 차지했고, 이 판단에 대해 92%만큼의 자신감을 보였습니다. 판단에 걸린 시간은 0.1초가 되지 않았고 비용도 매우 저렴했습니다.
왜 구조화된 응답이 필요한가
소프트웨어는 앞 단계의 결과를 다음 단계가 이어받아 처리하는 방식으로 동작합니다. 자동차 공장에서 차체를 만들고 다음 공정으로 넘겨 부품을 조립하는 것과 같은 원리입니다. 그래서 개발자는 앞뒤 단계가 주고받는 결과물의 형태를 미리 약속해 두어야 하고, 이 형태가 어긋나면 프로그램이 제대로 돌아가지 않습니다. 이런 부담을 줄이기 위해 타입스크립트 같은 언어가 만들어지기도 했습니다.
지금은 소프트웨어의 일부를 AI가 담당하는 경우가 많아졌고, 주로 라지랭귀지 모델이 이 역할을 맡아 왔습니다. 문제는 라지랭귀지 모델의 응답이 기본적으로 완전한 자연어라는 점입니다. 소프트웨어는 AI로만 이루어져 있지 않기 때문에, 이런 자연어 응답은 다음 단계로 넘기기에 적합하지 않습니다. 물론 고정된 구조로 응답하도록 설정할 수 있는 라지랭귀지 모델도 있지만, 이런 용도로 쓰기에는 느리고 비용이 많이 든다는 한계가 있습니다. 재브는 이 지점을 정확히 겨냥해, 빠르고 저렴한 구조화된 응답을 제공합니다.
실시간 판단이 필요한 곳에서의 활용
타입세이프는 재브의 가성비를 그래프로 보여주는데, 정확도는 그럭저럭 괜찮은 수준이면서도 가격은 저렴하고 속도는 빠릅니다. 이를 보여주는 대표 사례가 둠 게임을 실시간으로 플레이하는 데모입니다. 플레이어의 상태, 보유 무기, 적의 위치 같은 정보를 실시간으로 재브에게 전달하면, 재브가 매우 빠르게 어떤 버튼을 눌러야 할지 판단해 응답하는 방식으로 게임이 진행됩니다.
재브를 직접 써보는 방법
재브를 사용해 보려면 다음 세 단계를 거치면 됩니다.
- 타입세이프 사이트의 웨이트리스트에 등록합니다. 등록해 두면 순서대로 초대를 받을 수 있습니다.
- 초대를 받으면 콘솔에 들어가 사용을 위한 API 키를 발급받습니다. 문서가 잘 정리되어 있어 참고하기 어렵지 않습니다.
- SDK, API, 스킬 형태 등 다양한 방식으로 재브의 기능을 사용할 수 있습니다. 버셀이나 오픈라우터를 통해서도 제공되니 편한 제공자를 골라 사용하면 됩니다.
비판적으로 볼 지점
영상은 재브가 기존 라지랭귀지 모델과 어떤 지점에서 다른지, 왜 이런 형태의 모델이 필요한지를 손님 응대 예시와 둠 게임 플레이 사례로 구체적으로 보여줘 이해하기 쉽습니다.
다만 영상에서는 재브의 정확도가 라지랭귀지 모델 대비 구체적으로 어느 정도인지, 어떤 원리로 이렇게 빠르고 저렴한 판단이 가능한지에 대한 기술적인 설명은 다루지 않았습니다. 실제 도입을 검토한다면 타입세이프의 공식 문서와 가격 정책을 함께 확인해 보는 것이 좋습니다.
핵심 요점
- 재브는 타입세이프가 만든 시스템 모델로, 자연어 대신 수치나 정해진 보기 중 적합도 형태로 단답형 응답을 내놓습니다.
- 0에서 1 사이의 수치나 보기별 확률, 판단에 대한 자신감까지 0.1초 이내에 저렴한 비용으로 응답합니다.
- 소프트웨어는 정해진 형태로 데이터를 주고받아야 하는데, 자연어 응답은 이 구조에 맞지 않아 재브 같은 구조화된 응답이 필요합니다.
- 라지랭귀지 모델도 구조화된 응답을 하도록 만들 수 있지만 느리고 비용이 많이 드는 반면, 재브는 빠르고 저렴해 실시간 판단에 적합합니다.
- 둠 게임 실시간 플레이 사례처럼 즉각적인 판단이 필요한 작업에 활용할 수 있으며, 웨이트리스트 등록으로 직접 사용해 볼 수 있습니다.
지금 우리가 만들고 있는 서비스에도 실시간으로 빠른 판단이 필요한 지점이 있는지 한 번 점검해 보세요. 있다면 재브의 웨이트리스트에 등록해 직접 테스트해 보는 것을 추천합니다.
참고 영상: 코드 깎는 노인 채널