개요
이 영상은 OpenAI 파운더데이 서울 행사 현장을 직접 취재하며, AI 경쟁의 무게중심이 “어떤 모델이 더 똑똑한가”에서 “그 모델이 실제 조직 안에서 무엇을 바꾸는가”로 이동하고 있음을 짚어냅니다. 행사장에서 청중이 토큰 맥싱에 관한 질문을 던졌고, OpenAI 최고 연구 책임자 마크 첸의 답변이 영상의 출발점이 됩니다. 모델 성능과 기업 생산성 사이의 간격, 그리고 그 간격이 한국 기업에게 더 날카롭게 작동하는 이유를 현장 사례와 함께 풀어냅니다.
이 영상은 AI 기술 동향을 다루는 채널 안될공학의 패치가 행사에 직접 참석해 제작한 현장 리포트입니다. 발표 내용과 청중 질의응답을 직접 듣고 정리한 1차 취재 기반 콘텐츠라는 점에서 신뢰성을 가집니다.
핵심 내용
토큰 맥싱 비판과 마크 첸의 답변
행사 중간에 청중 한 명이 마이크를 잡고 핵심 질문을 던졌습니다. “이제 무조건 비싼 모델로 토큰을 많이 태우는 시대는 갔고, 저렴한 모델을 조합해서 결과만 잘 내면 되는 시대 아닌가요?” 오픈 라우터 같은 곳에서 싼 모델들을 묶어 강력한 프론티어 모델을 이기는 연구도 나오고 있다는 지적이었습니다.
이 질문은 최근 팔란티어 CEO 알렉스 카프가 OpenAI를 겨냥해 꺼낸 토큰 맥싱 비판과 정확히 맞닿아 있습니다. AI 사용량이 늘어나는 것이 곧 생산성은 아닐 수 있다는 문제 의식입니다.
질문을 받은 사람은 OpenAI 최고 연구 책임자 마크 첸이었습니다. 그의 답변을 정리하면 이렇습니다. “솔직히 모든 서비스가 제일 크고 똑똑한 모델을 필요로 하진 않습니다. 결국 중요한 건 토큰을 얼마나 썼느냐가 아니라 어떤 결과를 냈느냐입니다. 토큰은 지능을 가늠하는 대리 지표일 뿐이에요.” 다만 그는 “가장 똑똑한 모델에 대한 수요는 앞으로도 늘 있을 겁니다. 문제가 정말 복잡해지면 결국 최고 지능을 원하게 되거든요”라는 말도 덧붙였습니다. 팔란티어가 던진 비판의 핵심을 OpenAI 최고 연구 책임자가 상당 부분 인정하면서도, 최고 모델에 대한 수요는 사라지지 않는다고 선을 그은 셈입니다.
모델 성능과 기업 생산성 사이의 간격
모델 성능이 좋아진다고 기업의 생산성이 자동으로 올라가는 것은 아닙니다. 개발자가 코드를 조금 더 빨리 쓰게 되는 것과 회사의 제품 출시 주기가 실제로 짧아지는 것은 다른 얘기이기 때문입니다.
기업의 생산성이 실제로 올라가려면 모델 앞뒤로 훨씬 많은 것이 필요합니다. 어떤 업무를 AI에게 맡길지 정해야 하고, 회사 데이터를 안전하게 연결해야 하고, 결과가 틀렸을 때 검증하는 과정도 있어야 합니다. 누가 어떤 권한으로 AI를 쓰는지 관리해야 하고, 비용이 폭발하지 않도록 요청마다 모델을 다르게 배치해야 하며, 기존 직원들의 업무 방식도 바뀌어야 합니다.
이 간격은 한국 기업에게 특히 더 날카롭게 작용합니다. 청중 질문 중에는 이런 내용도 있었습니다. 샌프란시스코와 한국의 임금 차이가 대략 두 배 정도 되는데, AI API 비용은 달러로 고정이라는 점입니다. AI가 줄여주는 인건비는 한국의 임금 기준이고 API 비용은 달러 기준이기 때문에, 같은 작업을 자동화해도 미국에서는 절감되는 인건비가 커서 ROI가 쉽게 나오지만 한국에서는 같은 비용을 내고도 ROI를 증명하기가 구조적으로 더 어렵습니다.
이에 대한 OpenAI의 답변은 구체적이었습니다. 지역별 가격 민감도를 인지하고 있고, 한국 같은 시장에 맞춰 가성비 좋은 맞춤형 오퍼링을 제공하겠다는 것. 창업자들이 비용 부담 없이 모델을 테스트하도록 대량의 무료 API 크레딧을 지원하고 있다는 것. 가장 비싼 최상위 모델이 아니어도 가성비 좋은 모델들을 조합하면 프론티어급에 가까운 애플리케이션을 저렴하게 만들 수 있다는 것. 그리고 같은 수준의 모델을 매년 10배 이상 저렴하게 제공하고 있다는 점도 강조했습니다.
국내 스타트업 사례 — 플리토와 프로토파이
첫 번째 사례는 플리토입니다. 언어 데이터 기반으로 글로벌 커뮤니케이션 문제를 해결하는 상장사입니다. 표면적으로는 AI 번역 품질 개선 사례처럼 보이지만, 더 중요한 지점은 따로 있습니다. 글로벌 기업의 진짜 문제는 번역 한 문장을 만드는 속도가 아니라, 여러 국가에서 쏟아지는 고객의 목소리를 실시간으로 이해하고 그 데이터를 제품 개선에 다시 반영하는 속도입니다. AI가 이 흐름 안에 들어가면 번역은 비용 절감 도구를 넘어 글로벌 고객 데이터를 하나의 제품 개발 루프로 묶는 인프라가 됩니다. OpenAI 입장에서 플리토 같은 파트너가 중요한 이유는, 범용 언어 모델의 능력을 실제 지역별 데이터와 산업 경험에 연결해 줄 수 있기 때문입니다.
두 번째는 영상에서 가장 주목한 프로토파이입니다. 디자이너가 코딩 없이 고품질 인터랙션 프로토타입을 만들 수 있는 툴로, 전 세계에서 100만 명 이상이 사용하고 OpenAI, 구글, 마이크로소프트, 폭스바겐 같은 곳에서도 쓰입니다. 이 회사는 AI 기능을 제품에 넣는 과정에서 OpenAI로부터 직접 기술 지원을 받고 있다고 밝혔습니다. 단순히 API를 가져다 쓰는 것이 아니라 생성 품질 개선, 비용 최적화, 모델이 업데이트될 때마다 성능이 흔들리지 않게 하는 방법까지 함께 작업한다는 것입니다.
발표 중 인상적인 부분은 “요청의 복잡도에 따라 로우, 미디엄, 하이로 나눠서 그에 맞는 다른 에이전트와 다른 모델을 호출한다”는 내용이었습니다. 복잡도를 먼저 판단하고 그에 맞는 모델을 선택해 최소 비용으로 최대 결과를 뽑는 구조, 즉 토큰 맥싱이 아니라 아웃컴 맥싱의 실제 구현입니다. 다만 영상은 한 가지를 함께 짚습니다. 전 세계 100만 명이 쓰는 정교한 소프트웨어 회사조차 어떤 요청에 어떤 모델을 써야 효율적인지를 OpenAI의 직접 개입 없이는 스스로 최적화하기 어려웠다는 뜻이기도 합니다. 팔란티어가 비판한 것이 바로 이 구조입니다.
AWS 파트너십과 락인 구조
마지막 세션은 AWS 파트너십이었습니다. 6월 1일부로 GPT 5.5, 5.4, 코덱스 모델이 AWS 베드락 위에 올라왔습니다. 베드락은 AWS가 여러 AI 모델을 하나의 플랫폼 위에서 제공하는 통합 서비스입니다.
기업 AI 도입을 막는 장벽은 기술보다 조직 쪽에 더 많습니다. 보안 팀은 회사 데이터가 외부망을 타는 것을 꺼리고, IT 팀은 AI용 권한 체계를 새로 만드는 것을 부담스러워하며, 재무팀은 월 단위로 고정 지출이 나가는 요금제를 달가워하지 않습니다. 베드락은 이 셋을 한 번에 건드립니다. 회사 내부망에서 프라이빗 연결을 붙이고, 이미 쓰던 권한 관리 체계를 그대로 적용하고, 실제 쓴 만큼만 비용을 냅니다. OpenAI 혼자서는 낮추기 어려웠던 장벽을 AWS가 기업들과 오래 쌓아온 신뢰 위에서 푸는 구조입니다.
다만 편리함과 의존성은 방향은 다르지만 결과가 같을 수 있는 문제입니다. OpenAI 모델이 AWS 인프라 안에, 그리고 기업의 업무 프로세스 안에 깊숙이 들어갈수록 나중에 다른 모델로 갈아타는 비용은 자연스럽게 올라갑니다. 저렴한 모델 여러 개를 엮어 비싼 프론티어 모델을 이긴다는 오토라우터 연구가 가능하다면 기업은 특정 회사 모델에 매일 이유가 없어지지만, 프로토파이 사례에서 본 복잡도 라우팅은 그 갈아타기를 OpenAI가 직접 설계해 주는 방식이었습니다. 모델을 갈아탈 자유를 주는 흐름과, 그 모델을 더 깊이 심어 갈아타기 어렵게 만드는 흐름이 같은 무대에서 동시에 벌어지고 있는 셈입니다.
실전 가이드
영상의 통찰을 실제 조직에 적용하려면 다음 과정을 따라볼 수 있습니다.
먼저 자사 업무 중 어떤 작업을 AI에게 맡길지 정의하는 것부터 시작합니다. 이 단계에서는 작업별 복잡도와 데이터 민감도에 대한 사전 파악이 필요합니다. “토큰을 얼마나 쓰는가”가 아니라 “어떤 결과를 내는가”를 기준으로 우선순위를 매기는 것이 핵심입니다.
다음으로 요청 복잡도에 따라 모델을 다르게 배치하는 구조를 설계합니다. 프로토파이의 로우·미디엄·하이 라우팅처럼, 단순한 요청에는 가성비 모델을, 복잡한 요청에만 최상위 모델을 호출하도록 나누면 최소 비용으로 최대 결과를 뽑을 수 있습니다.
마지막으로 ROI를 비용 절감이 아니라 실제 성과 지표로 검증합니다. 한국 기업이라면 달러 기준 API 비용과 한국 임금 기준 인건비 절감의 간극을 반드시 계산에 넣어야 합니다. 무료 크레딧과 가성비 모델 조합으로 부담을 줄이되, 특정 공급자에 대한 락인 비용도 장기 관점에서 함께 따져보는 것이 안전합니다.
비판적 검토
영상은 OpenAI 행사를 단순 홍보로 소비하지 않고, 청중 질문과 발표 사례를 토큰 맥싱 대 아웃컴 맥싱이라는 일관된 프레임으로 꿰어낸 점이 인상적입니다. 특히 플리토와 프로토파이 사례를 통해 “모델을 잘 만드는 것”과 “그 모델이 현장에서 쓰이게 만드는 것”이 다른 일이라는 메시지를 설득력 있게 전달합니다.
다만 아웃컴 맥싱을 실현하는 경로가 결국 OpenAI에 더 의존하는 구조를 통해서라면, 팔란티어가 지적한 문제가 해결된 것인지 아니면 형태만 바뀐 것인지는 따져볼 필요가 있습니다. 한국 기업의 비용 부담도 가격 인하와 크레딧으로 일부 덜어준다고 했지만, 달러 기준 비용으로 ROI를 증명해야 하는 구조 자체가 사라지는 것은 아닙니다. 영상도 강조하듯, 앞으로 봐야 할 것은 데모가 아니라 실제 결과입니다.
핵심 요점
- AI 경쟁의 무게중심이 모델 성능 자체에서 “그 모델이 조직 안에서 무엇을 바꿨는가”로 이동하고 있습니다. 마크 첸도 토큰이 아니라 결과가 중요하다고 인정했습니다.
- 토큰 맥싱이 아니라 아웃컴 맥싱이 화두입니다. 프로토파이의 복잡도 기반 모델 라우팅(로우·미디엄·하이)이 그 실제 구현 사례입니다.
- 모델 성능과 기업 생산성 사이에는 큰 간격이 있고, 데이터 연결·권한 관리·결과 검증·비용 배치 등 모델 앞뒤의 작업이 그 간격을 결정합니다.
- 한국 기업은 인건비는 원화, API 비용은 달러라는 구조 때문에 ROI 증명이 더 어렵습니다. 무료 크레딧과 가성비 모델 조합이 완화책이지만 구조 자체를 없애지는 못합니다.
- AWS 베드락 파트너십과 OpenAI의 직접 라우팅 설계는 도입 장벽을 낮추는 동시에 락인을 강화합니다. 편리함과 의존성은 동전의 양면이라는 점을 전략적으로 인식해야 합니다.