AI 툴을 팀 전체에 배포하고 나서, 청구서를 받을 때야 문제를 알아채는 팀이 늘고 있습니다. 현장에선 이러한 현상을 '토큰 맥싱'이라고 부르고 있는데요. Kimi K3를 위시한 중국 AI의 부상과 그로 열린 밸류 맥싱(Value maxing)의 서막은 이 문제와 정확히 맞닿아 있습니다.
1. 토큰 맥싱이란 무엇인가요?
토큰 맥싱(token maxing)이란 모든 작업에 가장 비싸고 강력한 LLM을 디폴트로 사용하거나, 컨텍스트 윈도우(대화창)를 필요 이상으로 채우는 방식으로 토큰 소비가 통제 없이 폭증하는 현상입니다.
문제는 AI 활용의 규모가 작을 때는 보이지 않는다는 점입니다. 개인/ 소수의 팀 단위 테스트에서는 토큰 소비가 안정적으로 보이지만, 개발자 수천 명에게 배포하고 자동화 에이전트 워크플로우가 붙는 순간 비용 구조가 완전히 달라집니다.
보도된 바에 따르면 Uber는 엔지니어 1인당 월 $500~$2,000의 AI 툴 비용이 발생하면서 연간 예산을 4개월 만에 소진한 것으로 알려져 있습니다. 알려진 바에 따르면 Meta 내부 최상위 사용자 한 명은 단 한 달에 2,810억 토큰을 소비했다는 보고도 있습니다. 두 수치 모두 이 정도 규모의 토큰 소비가 실제로 발생하기 시작됐다는 것을 업계에서 알렸다고 볼 수 있습니다.
이러한 막대한 토큰 비용의 발생은 구조적으로 세 가지 요인이 맞물립니다.
첫째, 2026년 상반기 시장 기준으로 LLM 모델 간 가격 스프레드는 최저 $0.04/M 토큰에서 최고 $180/M 토큰까지, 약 4,500배 차이가 납니다. 어떤 모델을 쓰느냐에 따라 같은 작업의 비용이 수천 배 벌어집니다. 그러나 현재 개발자 대다수가 사용하고 있는 범용적인 LLM 모델은 높은 가격을 측정하고 있습니다.
둘째, 에이전틱 워크플로우는 단순 LLM 호출 대비 최대 70배 토큰을 소비합니다. 단순 질의응답과 에이전트 루프는 전혀 다른 비용 구조입니다. 에이전틱 워크플로우가 상용화되기 시작하면서, 기존 코딩 질의응답 수준에서의 비용보다 훨씬 높은 사용량이 요구됩니다.
셋째, 같은 사용자도 작업 유형에 따라 하루 1만 토큰과 1,000만 토큰을 오갑니다. 동일한 이용권 안에서 1,000배 비용 차이가 발생하지만, 조직은 그것을 매일 체크할 수 없습니다.
2. Kimi K3는 어떤 AI인가요?
Kimi K3는 중국 AI 스타트업 Moonshot AI가 2026년 7월 16일 출시한 대형 언어 모델입니다. 등장하자마자 Fable 5 & GPT-5.6에 근접한 성능을 가지며, 코딩과 장시간 에이전트 작업, 지식 업무 평가에서는 충분히 경쟁 가능한 수준에 도달한 모습을 보여주다는 지표가 나오자 많은 사람들에게 주목을 받고 있습니다. (출시하자마자 전 세계 사용자 폭주로 서버가 과부하되어 신규 가입과 구독을 중단한 사태가 발생했습니다.)출시 당시 발표 기준으로 주요 사양은 다음과 같습니다.
- 가격(출시 당시 발표 기준): Kimi K3가 가진 가장 큰 장점 중 하나입니다. 입력 $0.30/M 토큰(캐시 히트) / $3.00/M 토큰(신규), 출력 $15.00/M 토큰. 코딩 워크로드에서 캐시 히트율이 90% 이상이면 실질 입력 비용은 $0.30 수준으로 유지됩니다.
- 파라미터 2.8조(2.8T), MoE(Mixture-of-Experts) 구조: 추론 시 전체 2.8T 파라미터 중 16/896개 expert만 활성화됩니다. dense 모델 대비 실제 연산량이 대폭 줄어 인퍼런스 비용이 낮아지는 구조입니다. 토큰 단가가 내려가면 에이전트 루프가 반복 실행되더라도 비용 충격이 줄어듭니다. 쉽게 말하면, 도서관 전체를 매번 다 뒤지는 대신, 필요한 분야의 사서만 불러서 원하는 책을 찾는 방식이라고 보면 됩니다.
- 컨텍스트 윈도우 1M 토큰: 1M 컨텍스트에서도 KDA(Kimi Delta Attention) 아키텍처가 디코딩 속도를 최대 6.3배 가속합니다. 긴 문서 처리나 코드베이스 분석처럼 대용량 컨텍스트가 필요한 작업에서 속도 저하 없이 운영할 수 있습니다.
- 기존 모델(K2) 대비 스케일링 효율 약 2.5배: 같은 연산 자원으로 더 많은 성능을 뽑아낸다는 의미입니다. 온프레미스 배포 시 하드웨어 비용 효율로 직결됩니다.
- OpenAI SDK 호환 API: 기존 OpenAI 기반 스택에서 별도 리팩토링 없이 전환할 수 있습니다. 전환 비용을 낮춘다는 점에서 도입 검토 문턱이 낮아집니다.
- 오픈 웨이트 공개: 가중치를 공개해 기업이 자체 인프라에서 직접 실행할 수 있습니다. API 청구 없이 내부 운영이 가능한 구조입니다. 데이터가 외부 API로 나가지 않는다는 점 또한 중요한 특징입니다.
벤치마크 점수보다 이 구조가 중요한 이유가 있습니다. MoE와 오픈 웨이트의 조합은 "모델 성능"이 아니라 "LLM 생태계의 구조"를 바꾸는 설계이기 때문입니다.
3. 어떻게 Kimi K3가 밸류 맥싱 시대를 열었나요?
연구에 따르면 글로벌 엔터프라이즈 LLM API 지출은 6개월 만에 $3.5B에서 $8.4B으로 증가했습니다. 같은 기간 AI 에이전트 도입이 본격화되면서 토큰 소비 규모가 선형이 아닌 방식으로 늘어났습니다. 이러한 흐름 속에서 기업이 Kimi K3에 주목하는 이유는 세 가지로 요약됩니다.
MoE 구조가 인퍼런스 비용을 구조적으로 낮춥니다. 전체 파라미터가 2.8T라도 실제 추론 시 활성화되는 것은 16개 뿐입니다. 그렇기에 비슷한 성능을 가지고 있는 모델들과의 비교에서 연산 비용은 대폭 낮아집니다. 에이전트 루프가 동일하게 반복 실행되더라도 누적 비용 충격이 다릅니다.
'오픈웨이트 모델'도 대규모 AI 구축에서의 비용 절감을 극대화합니다. API 호출 없이 자체 서버에서 LLM 모델을 실행하면 외부 LLM API를 호출할 때마다 사용료를 낼 필요가 없습니다.
GPU와 서버를 직접 운영하는 비용이 들지만, 사용량이 많아져도 API처럼 토큰마다 추가 요금이 붙지 않아 더 큰 서비스일수록 비용 효율이 높습니다. 또한 데이터가 외부로 나가지 않아 보안과 규제 대응에도 유리합니다.
이전에도 Meta의 Llama, Alibaba의 Qwen 등 시중에는 다양한 오픈웨이트 모델이 있었지만, 최신 상용 모델과 경쟁할 수 있는 수준의 성능을 보여주면서도 오픈웨이트 모델을 채택한 사례는 K3가 처음입니다.
Kimi K3와 같은 고성능 오픈웨이트 LLM의 등장은 AI 활용 방식의 중심을 '토큰 맥싱(Token Maxing)'에서 '밸류 맥싱(Value Maxing)'으로 이동시키고 있습니다.
과거에는 더 나은 성능을 얻기 위해 긴 프롬프트와 대규모 컨텍스트를 입력하며 토큰 사용량을 늘리는 것이 일반적이었습니다. 하지만 이는 API 비용 증가로 이어져 사용량이 많아질수록 운영 부담도 커졌습니다.
반면 Kimi K3와 같은 오픈웨이트 모델은 기업이 자체 GPU와 서버에서 직접 운영할 수 있어 외부 LLM API 사용료를 지불할 필요가 없습니다. 비용 구조가 토큰 기반 과금에서 자체 인프라 운영으로 전환되면서, 자체 역량을 가진 엔터프라이즈 기업들은 이제 오픈웨이트 모델로 AI를 구축하며 토큰을 얼마나 많이 사용하는지 걱정하기보단, 같은 비용으로 얼마나 높은 업무 성과와 생산성을 만들어내는지에 더 집중할 수 있게 됐습니다.
즉, AI 경쟁력의 기준이 '더 많은 토큰'이 아니라 '더 큰 비즈니스 가치(Value)'를 만드는 방향으로 변화하고 있는 것입니다.
4. 모델을 갖는 것과 잘 쓰는 것은 다르다 — 거버넌스 없는 오픈 웨이트의 함정
"K3는 저렴하고 오픈 웨이트니까 도입하면 비용이 해결된다"는 결론으로 끝나야 할까요?
토큰 맥싱의 진짜 문제는 상용 모델 토큰의 가격이 아니였습니다. 어떤 작업에 어떤 모델을 쓸지, 얼마나 많은 컨텍스트를 로딩할지, 에이전트 루프가 어디서 멈춰야 하는지를 결정하는 거버넌스 구조가 없다는 것이 핵심입니다. Kimi K3로 가격을 크게 낮추었어도, 이러한 거버넌스 구조가 없다면 여전히 밸류 맥싱에서의 한계치에 빠질 수 있습니다. 토큰 비용이 안나갈 뿐이지, 2조 8천억개의 파라미터를 가진 LLM 모델을 돌리는 컴퓨팅 리소스는 계속 돌아가고 있기 때문입니다.
아래 세 가지 구체적인 실패 지점이 있습니다.
라우팅 부재. K3를 도입해도 어떤 쿼리가 K3를 써야 하고 어떤 쿼리가 더 가벼운 모델로 처리돼야 하는지 결정하는 구조가 없으면 컴퓨팅 비용의 효율화는 불가능합니다. 모든 요청이 동일한 모델로 흘러가는 순간 토큰 없는 토큰 맥싱이 다시 시작됩니다.
시맨틱 레이어 부재. 조직 데이터의 맥락 없이 raw 스키마에 에이전트를 연결하면, 에이전트는 올바른 답을 찾기 위해 같은 쿼리를 반복 실행합니다. 토큰 낭비와 오답이 모델에 상관없이 발생합니다.
루프 실행 범위 미통제. 알려진 사례에 따르면 에이전트 루프가 self-improvement 방식으로 확장될 때 단순 버그픽스 작업이 2,000토큰에서 12만 토큰으로 증가한 경우가 보고되고 있습니다. 루프가 어디서 멈춰야 하는지 정의되지 않으면, 성능이 좋은 모델일수록 더 깊이 반복합니다.
이 맥락에서 국내 AI·데이터 기업의 전략적 판단은 주목할 만합니다. 자체 LLM 개발보다 기업 데이터와 AI를 연결하는 기술이 더 중요한 경쟁이라고 생각하는 기업들도 점차 늘어나고 있습니다. "어떤 모델을 쓰느냐"보다 "데이터와 AI를 어떻게 연결하느냐"를 경쟁력의 핵심으로 인식하기 시작한 것입니다.
K3의 MoE 구조와 오픈 웨이트는 분명히 비용 문제를 풀 수 있는 조건을 만들어 줍니다. 그 조건을 실제 비용 절감으로 이어가려면, 모델 위에 거버넌스된 에이전트 실행 구조가 필요합니다. 사용자 권한 범위 기반의 컨텍스트 로딩, 조직이 정의한 지표와 택소노미 기반의 deterministic 쿼리 생성, 루프 실행 범위의 명시적 통제가 그 구조의 핵심 요소입니다. 모델 선택은 시작일 뿐이고, 그 위에 어떤 운영 구조를 얹느냐가 결과를 결정합니다.
ThinkingAI는 기업용 에이전틱 AI 플랫폼으로, 이 거버넌스·실행 레이어를 Agentic Engine 형태로 제공합니다.
K3 같은 오픈 웨이트 모델을 거버넌스된 에이전트 구조 위에서 운영하는 방식이 궁금하다면, ThinkingAI의 도입 방식을 확인해 보세요.
