이 글 공유하기

오늘 AI 업계에는 두 개의 장부가 함께 돌아갑니다. 하나는 7500억 달러짜리 컴퓨트 계획을 IPO prospectus에 적는 장부입니다. 다른 하나는 1220억 파라미터 모델을 그래픽 카드 1장에 올리는 장부입니다. 오늘 아침 AI 뉴스에서 이 두 숫자가 나란히 나옵니다. 우연처럼 보이지만 두 숫자가 같은 페이지에 있다는 사실 자체가 돈이 어디로 흐르는지를 보여주는 신호입니다. 두 장부는 한 산업의 서로 다른 면입니다. 한쪽은 능력을 만드는 데 돈을 쓰고 다른 쪽은 능력을 쓰는 데 드는 돈을 줄입니다. 두 장부를 함께 읽는 법은 어렵지 않습니다. 한쪽 숫자는 자본시장의 관점에서, 다른 쪽 숫자는 운영의 관점에서 읽으면 됩니다.

$7500억과 카드 1장, AI 업계의 두 개의 장부 개념을 형상화한 이미지 글의 핵심 개념을 형상화했습니다.

스케일 쪽 장부, IPO prospectus에 등장한 7500억 달러

HuggingNews 보도에 따르면, Anthropic이 업데이트된 IPO prospectus에서 잠재적 컴퓨트 지출을 7500억 달러로 상향 조정했습니다. 기존 예상보다 1500억 달러가 추가될 수 있다는 계산도 함께 나옵니다. 이유는 공급입니다. 현재 파트너가 줄 수 있는 수준을 넘어서는 하드웨어와 클라우드 용량을 확보하려는 것입니다.

이 문장을 천천히 읽으면, 숫자보다 중요한 구절이 있습니다. 그 구절이 바로 “파트너가 현재 줄 수 있는 수준을 넘어서는”입니다. 돈을 써도 구할 물건이 시중에 없다는 문제입니다. 수요가 공급의 천장을 먼저 쳤습니다. Anthropic 입장에서 컴퓨트는 이제 조달 업무입니다.

과거에 컴퓨트 지출은 운영 예산 안의 숫자였습니다. 분기별 비용의 문제였고, 카드로 몇 장을 더 사느냐의 계산이었습니다. 이제는 IPO prospectus에서 투자자에게 설명해야 할 숫자가 됐습니다. 지출 규모가 이 수준에 닿으면, 질문이 공급의 시간표로 넘어갑니다. 프론티어에서는 컴퓨트가 수요 문제보다 먼저 공급 문제가 됐다는 뜻입니다. 7500억 달러는 그 총액이고, 1500억 달러는 여기에 더해질 수 있는 추가 폭으로 봐야 합니다.

스케일 장부는 결국 자본 장부가 됩니다. 주가, 투자, 용량 예약이 얽히는 곳입니다. IPO prospectus에 컴퓨트 지출이 숫자로 찍히는 순간, 그 장부는 투자자도 함께 보게 됩니다. 이 장부의 뉴스는 앞으로 더 자주, 더 큰 숫자로 나오겠습니다. 하지만 이 장부가 기업의 AI 예산을 직접 움직이지는 않습니다. 기업의 예산을 움직이는 장부는 다음 장에서 따로 살펴봅니다.

단가 쪽 장부, 카드 1장에 들어가는 1220억 파라미터

페이지의 반대쪽은 정확히 그 반대입니다. Ornith가 단일 NVIDIA DGX 카드로 구동되는 1220억 파라미터 오픈웨이트 대규모 언어모델을 출시했습니다. 여기서 방점은 효율에 찍혀 있습니다. 프론티어급 성능에 추론 효율성까지 더했다는 설명입니다.

2026년 기준으로 파라미터 수 자체는 놀랍지 않습니다. 카드 1장에 들어간다는 사실이 뉴스입니다. 몇 년 전만 해도 1000억 파라미터 단위의 모델은 클러스터가 있어야 돌릴 수 있었습니다. 이제 카드 한 장으로 돌릴 수 있다는 것은, 모델을 돌리는 비용의 최소 단위 자체가 내려갔다는 뜻입니다.

여기서 오픈웨이트의 의미는 기술적인 것이 아닙니다. “내 하드웨어에서 돌릴 수 있다”는 뜻이기 때문입니다. 클라우드 API로만 받을 수 있는 모델과, 내 데이터센터에서 돌릴 수 있는 모델은 같은 품질이라도 비용 계산이 전혀 다릅니다. 이 경우 카드 수명 비용도 내가 부담합니다. 두 종류의 모델이 같은 비교표에 오르기 시작했습니다.

같은 방향의 신호가 이어집니다. DeepSeek이 V4.1 Flash를 구동하는 프로덕션 추론 엔진 DeepInfer를 오픈소스로 공개했습니다. 단일 클러스터에서 하루 155조 토큰을 처리하면서 입력 캐시 히트율 96%를 유지한다는 수치가 함께 나옵니다. 155조는 체감을 주기 어려운 숫자입니다. 대신 96%를 보시면 됩니다. 입력 캐시 히트율 96%는 같은 컨텍스트를 다시 보내도 거의 매번 재계산 비용을 내지 않는다는 뜻입니다. 에이전트 워크로드는 반복 컨텍스트가 많을 수밖에 없습니다. 시스템 프롬프트, 도구 설명, 과거 대화. 이것들이 캐시에 걸리면 단가가 눈에 띄게 떨어집니다. 이 엔진은 프로덕션에서 실제로 돌던 코드이고, 이것이 공개되면서 다른 팀도 96% 같은 수치를 자기 환경에서 재현해 볼 기준을 얻게 됐습니다.

Google은 오픈소스 백엔드 vLLM TorchTPU를 공개했습니다. 간단한 설정만으로 PyTorch 모델의 Google Cloud TPU 배포가 가능해졌습니다. TPU는 그동안 접근 장벽이 있던 하드웨어였습니다. 교차 하드웨어 백엔드가 생기면, 서빙 스택이 특정 카드에 묶이지 않는 셈입니다. 카드가 비싸면 다른 카드로, 클라우드가 비싸면 온프레미스로. 같은 코드가 여러 장부에서 돌 수 있는 것입니다.

MiniMax의 신규 에이전틱 어시스턴트 M3.1 Flash는 Vals 인덱스에서 5위를 기록했습니다. Ollama와 OpenRouter, Venice에서 이미 서비스 중이고 개발자에게는 72시간 무료 체험이 제공됩니다. 72시간이라는 숫자가 보여 주듯, 모델을 시험해 볼 수 있는 기간이 시간 단위로 짧아졌습니다. 에이전트 특화 모델을 세 개 플랫폼에 동시에 올린다는 점도 놓치기 쉽습니다. 배포 경로를 넓히는 것 자체가 경쟁 수단이 됐다는 뜻입니다.

네 건은 겉이 다릅니다. 하지만 움직이는 것은 하나, 단가입니다. 캐시 히트율, 단일 카드 구동, 교차 하드웨어 백엔드, 짧은 무료 체험은 모두 같은 변수, 즉 단가에 영향을 줍니다. 모델 단가가 내려가면 그 위에 지어진 모든 애플리케이션의 비용 구조가 다시 바뀝니다. 에이전트는 특히 그렇습니다. 에이전트 한 번의 실행은 모델 호출 수십, 수백 번입니다. 단가가 1퍼센트만 달라져도, 호출이 쌓이는 에이전트에서는 누적 차이가 수십 퍼센트까지 벌어질 수 있습니다.

두 장부는 모순이 아니라, 생산과 집행의 차이입니다

스케일 쪽과 단가 쪽을 따로 읽으면 모순처럼 보입니다. 컴퓨트 지출을 7500억 달러로 끌어올리는 회사와 카드 1장에 들어가는 모델은 같은 페이지에 공존할 수 없다는 인식이 있습니다. 그러나 애초에 둘은 같은 장부가 아닙니다. 7500억 달러는 능력을 생산하는 장부이고 카드 1장은 능력을 집행하는 장부입니다.

생산 장부의 출시는 집행 장부로 흘러갑니다. 프론티어 랩이 컴퓨트에 돈을 쓰고 오픈웨이트 모델을 내놓습니다. 추론 엔진과 교차 플랫폼 백엔드가 그 모델을 돌리는 장벽을 낮춥니다. 그러면 집행 장부 안에서 기업이 돌릴 수 있는 워크로드의 가격표가 다시 찍힙니다. 그래서 두 숫자가 같은 페이지에 놓이는 것입니다.

이 흐름을 한 번 더 추론해 보면, 두 장부는 서로를 키우는 구조입니다. 생산 장부가 집행 장부의 재료를 만들고 집행 장부가 싸진 가격으로 생산 장부에 새 수요를 만들어냅니다. 단가가 내려가면 더 많은 워크로드가 모델 위에 지어지고 더 많은 워크로드는 다시 더 큰 컴퓨트를 정당화합니다. 7500억 달러와 카드 1장은 경쟁하는 두 장부가 아니라 같은 동전의 앞뒤입니다.

두 장부의 속도는 다릅니다. 생산 장부는 자본의 속도로, IPO와 다년 계약의 시간표로 돌아갑니다. 집행 장부는 릴리스의 속도로, 이번 주 뉴스가 다음 주에 갱신되는 시간표로 움직입니다. 장부의 속도가 다르면 뉴스의 반감기도 달라집니다. 7500억 달러는 수년간 유효한 뉴스고 카드 1장 모델은 다음 주 새 모델로 갱신되는 뉴스입니다. 기업은 이 두 속도를 동시에 따라야 합니다. 그중에서 매일 손이 가야 할 쪽은 집행 장부입니다. 생산 장부는 뉴스 피드로 소비하면 되지만 집행 장부는 예산표로 소비해야 합니다. 이 때문에 같은 주에 두 종류의 뉴스가 섞여 나옵니다.

이 구조에는 불균형도 있습니다. 생산 장부는 자본이 많은 쪽만 갖출 수 있습니다. 집행 장부는 자본의 크기에 덜 좌우됩니다. 판단이 좋은 쪽이 더 잘 쓸 수 있는 장부입니다. 내 워크로드 중 무엇이 1220억 파라미터 오픈웨이트 모델로 충분한지, 어떤 워크로드가 96% 같은 높은 캐시 히트율을 낼 만큼 반복 컨텍스트가 많은지, 무엇이 꼭 프론티어급 능력을 필요로 하는지를 아는 쪽이 이 장부에서 이득을 봅니다.

기업에 남는 질문은, 내 일을 어느 장부에 올릴 것인가

스케일 장부는 구독할 필요가 없습니다. 하지만 집행 장부는 매일 풀어야 할 문제를 줍니다. 문제는 세 갈래입니다.

첫째, 모델 고르기입니다. 이번 주 뉴스만 보더라도, 1220억 파라미터 오픈웨이트, 에이전틱 어시스턴트, 프론티어급 추론 모델이 모두 같은 시장에서 팔립니다. 품질과 비용이 동시에 모델 선택에 걸립니다. 모든 작업을 같은 모델에 올리는 것은, 모든 물건을 같은 크기의 캐리어로 싸는 것과 같습니다.

둘째, 하드웨어 고르기입니다. GPU를 몇 장, 어디서, 어떤 계약으로 확보하느냐는 이제 AI 예산의 절반입니다. TPU 백엔드가 생기고 단일 카드 모델이 생기면, 이 선택지는 넓어집니다. 넓어지면 고르는 비용도 커집니다.

셋째, 책임지기입니다. 내가 고른 모델과 하드웨어 위에서 에이전트가 뭘 하는지, 누가 허락했는지, 실행이 어디까지 갔는지를 설명할 수 있어야 합니다. 단가가 내려가면 실행 빈도는 올라갑니다. 빈도가 오르면 기록할 것도 늘어납니다.

세 갈래 질문을 따로 풀면 비용이 세 번 듭니다. 여기가 ThakiCloud의 Agent-Native Cloud Paxis가 들어오는 자리입니다. Paxis는 v1.1 GA를 마친 정식 제품입니다. 두 장부에 대한 Paxis의 답은 작업별로 모델과 하드웨어를 정하는 것입니다.

Paxis의 비용 라우터 CostRouter는 작업별로 모델을 고릅니다. 작업의 성격과 비용에 따라 모델을 바꾸는 라우팅을 사람이 직접 하지 않고 플랫폼 기능으로 처리합니다. 이번 주에 나온 카드 1장 모델 같은 오픈웨이트 모델은 온프레미스 K8s(ai-platform)로 자사 안으로 데려와 돌릴 수 있습니다. 주권 배포로 데이터가 외부로 나가지 않는 조건을 충족합니다. GPU 수량과 종류에 관계없이 스케줄링은 플랫폼이 담당합니다.

에이전트를 실제로 돌릴 때 비용은 시작일 뿐입니다. Paxis는 Skills, Tools, Policies, Audit Logs를 일급 리소스로 다룹니다. 자율도 L0~L3 거버넌스, 정책 게이트와 감사 로그, 격리 샌드박스 실행이 에이전트 행동의 경계를 정하고 MCP 커넥터와 스킬 마켓이 외부 연계를 담당합니다. 세 번째 질문인 책임 문제까지 플랫폼이 다룹니다. 오늘 뉴스가 드러낸 과제는 오픈모델의 온프레미스 서빙, GPU 스케줄링, 에이전트의 안전한 실행, 주권, 비용입니다. 모두 Paxis가 다루는 영역입니다.

AI 업계에는 두 개의 장부가 있는 셈입니다. 스케일 쪽과 단가 쪽, 둘 다 진짜이고 둘 다 커집니다. 기업은 이 사실을 근거로 판단을 플랫폼에 맡길 수 있습니다. “일을 어디에 올릴 것인가”라는 질문은 이제 상시 운영 질문입니다. 장부는 두 개이지만, 답까지 둘일 필요는 없습니다.

참고 자료

이 글은 아래 뉴스를 종합해 작성한 것입니다.

이 글 공유하기

태그: agent-ops, ai-compute-economics, gpu-cost, inference-efficiency, llmops, 모델 라우팅, open-weight-models

카테고리:

업데이트:

참고

The Prompt Rot: 시스템 프롬프트를 밤마다 스스로 고치는 하네스의 썩음과 되돌림 배당

 

루프 안의 레버리지가 가장 큰 텍스트, 시스템 프롬프트가 밤마다 자기 편집으로 썩는다는 것을 이 논문은 재습니다. append-only 규율에서는 썩음이 캐시 저렴하고 되돌림은 캐시 무상이며, 되돌림 배당 D_K는 플릿 호출량에 선형으로 자랍니다. 드리프트는 희석과 의미 오버라이드...