칩이 지능을 멈추고 일을 말하기 시작한 날
- 오늘 아침, 샌타클래라 AI 인프라 서밋에서 반도체 업계가 한 번도 입에 올린 적 없는 숫자가 읽혔습니다. 에이전트가 일하는 속도, 초당 1000토큰입니다. 같은 무대에서는 성격이 다른 판결도 나왔습니다. 치솟은 HBM을 대신할 수 있었던 싼 메모리 CXL은, 모델을 실제로 돌리는 사람들에게 “죽음 확인”을 받았다는 이야기입니다. 오늘 반도체 산업의 뉴스는 지능에 대해 말하지 않습니다. 말의 대상은 “일”입니다. 다시 말해, 이 글은 오늘 칩과 메모리 뉴스 전체를 하나의 렌즈로 읽습니다. 에이전트가 일하는 속도가 얼마나 빠른지, 그리고 그 일이 얼마 나 들리는지.
글의 핵심 개념을 형상화했습니다.
싼 메모리의 죽음
이야기는 서밋에서 있었던 “죽음”에서 시작합니다. 오픈AI의 AI 가속기 설계 담당 대니얼 모리스 연구원은 모델 실제 구동 입장에서 CXL 활용 사례를 찾지 못했습니다. 인텔 SoC 아키텍처 총괄은 CXL 메모리 묶음을 “HBM 대체가 아닌 보조기억장치 보완”으로 평가했고, GPU 데이터 속도가 HBM에 미치지 못한다고 지적했습니다.
CXL에 준비가 없었던 것은 아닙니다. CXL 4.0 스펙은 대역폭을 128GTs까지 끌어올렸고 CXL 컨소시엄도 같은 서밋에서 메모리 확장, 공유를 내세웠습니다. CXL은 용량 확장, 메모리 풀링, 다중 호스트 공유에 초점을 둔 패브릭 기술이며 프로세서에 직접 붙은 적층 메모리인 HBM과 대역폭 쪽에서 경쟁한 적은 없습니다. 그런데 모델 운영 측과 실리콘 공급 측이 동시에 “활용 사례가 없다”고 말한 이 자리는 큰 행사였습니다. CXL은 대역폭의 대체재가 아니라 용량의 보조 기술로 남는다는 것, 그것이 업계의 사실상 확인입니다. HBM을 CXL로 바꿔 AI 서버 구축비를 낮추겠다는 업계 기대는 한발 물러났습니다.
이 판정의 타이밍은 우연이 아닙니다. AI 데이터센터의 메모리 슈퍼사이클이 한창이기 때문입니다. 뱅크오브아메리카는 2026년 HBM 시장을 546억 달러로, 전년 대비 58% 성장으로 내다봤고 골드만삭스는 커스텀 ASIC용 HBM 수요가 82% 급증해 시장의 3분의 1을 차지할 것이라 봤습니다. 메모리가 이렇게 귀해지면, 업계는 자연스레 싼 대체재를 찾습니다. 그 대체재가 한동안 CXL이었습니다.
CXL 이야기는 완전히 끝나지 않습니다. 장기 컨텍스트 추론이나 KV 캐시 오프로딩 같은 역할에서는 용량 보완 기술로 남아 있습니다. 다만 “HBM의 대역폭을 대신한다”는 서사는 당분간 닫힌 셈입니다.
칩이 단위를 바꿨다
그래서 메모리 회사는 단위를 바꿉니다. FLOPS도 아니고 용량도 아닙니다. 삼성전자 김인동 상무가 놓은 숫자는 “초당 1000토큰”입니다. 대화형 AI의 응답 속도는 초당 100토큰 수준인데, 에이전트형 AI를 위해 그 수치를 10배로 끌어올리겠다는 것이 목표입니다. 매개체는 zHBM이라는 3D 수직 적층 메모리로, HBM5 대비 최대 8배 성능과 3배 이상 전력 효율을 주장합니다. 온디바이스 저장장치 z낸드-O 로드맵도 함께 나왔습니다. 2028년 샘플 공급, 2030년 워크스테이션 하나에서 1조 매개변수 모델 구동, D램 단독 대비 1/6의 비용입니다.
경쟁은 미래에서만 벌어지는 것이 아닙니다. 삼성전자는 엔비디아 차세대 가속기 베라 루빈용 HBM4의 양산 출하를 업계에 앞서 2월에 시작했고, 5월 말에는 세계 최초 HBM4E 12단을 출하했습니다. 3D 적층이 가져올 발열과 패키징 표준을 누가 잡느냐가 차세대 AI 가속기 공급 구조를 좌우할 핵심 변수라는 분석입니다.
여기에 경쟁 구도의 이동도 뒤섞여 있다. SK하이닉스의 HBM 시장 점유율은 2025년 2분기 62%에서 올해 2분기 50%로 줄었습니다. 그 사이 삼성전자가 격차를 17p까지 좁힌 겁니다. 에이전트 속도를 결정할 메모리를 둘러싼 승부가 정면 대결 양상으로 시작된 셈입니다.
배경에는 이른바 메모리 월이 있습니다. GPU 연산이 메모리 대역폭과 용량의 성장보다 앞서 도망치고 병목이 메모리로 이동하는 구조입니다. 여기서 에이전트와 챗봇은 다른 존재입니다. 챗봇은 한 번 답하고 끝이지만 에이전트는 과제를 머리에 걸고 도구를 부르고 검증하고 다시 수정합니다. 컨텍스트가 길어질수록 필요한 “작업 기억”은 커집니다. 에이전트에게 메모리는 인간의 뇌가 가진 워킹 메모리와 같고 삼성이 에이전트 메모리를 승부라 부르는 이유가 바로 여기에 있습니다.
검증, 칩 생명의 절반 이상
그리고 이 회사 자신은 이미 에이전트를 자기 일터에 들여 보냈습니다. 삼성전자 시스템LSI는 올해 5월부터 칩 설계 검증 업무에 클로드 코드를 투입해 3개월간 파일럿을 진행해 왔습니다. 테스트 시나리오를 자동으로 만들고 잠재 결함을 찾아내는 작업입니다. 적용 테스트를 확인한 앤트로픽 한국대표 최기영은 “수작업 설계 검증의 AI 자동화 선례가 없었다”고 주장했고 반론으로는 오픈AI와 브로드컴이 9개월 만에 자체 추론 칩을 테이프아웃한 사례가 함께 테이블에 올랐습니다. 구체적 도입 규모와 계약 조건은 미공개이며, AI가 도출한 결과물은 설계 엔지니어의 최종 검토와 승인이 필수입니다.
확산 방향도 분명합니다. AI가 도출한 테스트 코드의 유효 결함 검출률이 입증되면 디자인하우스 생태계로 퍼지고 파운드리 표준 설계 환경의 기준으로 자리 잡게 됩니다. 칩 개발 일정 단축은 시스템 반도체 경쟁의 차별화 요인으로 부상할 뿐 아니라, 반대로 생성 산출물에 오류가 섞여 재작업이 늘면 효과는 반감됩니다.
경쟁력의 축도 이동하고 있습니다. 한때 엔지니어 인력으로 잰 반도체 경쟁력이 “추론 비용 구조와 검증 신뢰도”로 다시 측정되고 있다는 겁니다. LLM 회사가 반도체 R&D 코어 워크플로로 파고드는 추세도 뚜렷해집니다. 앤트로픽은 자체 AI 칩 설계에 착수하며 삼성 2나노 공정 활용을 검토하는 것으로 전해집니다.
검증의 비중은 작지 않습니다. EDA 시장은 시놉시스, 케던스, 지멘스 EDA 등 서방 3사가 80% 이상을 독점하고 있고 검증은 칩 개발 일정의 절반 이상을 소모하는 병목입니다. 파일럿보다 중요한 것은 그 뒤에 붙은 비용입니다. 가격의 앞면은 예상 밖입니다. 클로드 페이블 5.1의 캐시 읽기 단가는 토큰 100만개당 0.25달러, 75% 인하입니다. 그런데 복잡한 실무 과제당 가중 평균 비용은 3.69달러로, 전 세대 대비 58% 상승했습니다. “지능”의 가격은 내렸고 “일”의 비용은 올랐습니다. 에이전트의 일은 한 번의 질문이 아니라서입니다. 장문 컨텍스트, 여러 단계, 도구 호출, 재시도의 반복입니다. 기업 AI 비용의 단위가 “모델이 얼마나 똑똑한가”에서 “일이 얼마나 많이 하는가”로 이동하고 있습니다. 한편 중국의 엠피리언은 AI 에이전트를 통합한 에이전틱 EDA 플랫폼으로 회로 배치와 시뮬레이션을 4주에서 1주로 단축하고, 비즈니스 모델을 연 라이선스에서 토큰 종량제로 바꾸고 있습니다. 연 라이선스에 묶여 있던 검증 프로세스가 토큰 단위로 쪼개지는 사업이 되고 있는 겁니다.
공급지도도 다시 그려진다
단위가 바뀌는 동안, 지도도 움직입니다. 로이터가 16일 전한 내용에 따르면, SK하이닉스는 인텔과 손잡고 미국에서 처음 메모리 칩을 생산하는 방안을 협상 중입니다. 인텔의 오하이오 시설 일부 임차, 클라우드 기업 고객이 참여하는 합작법인 시나리오까지 테이블에 올라 있는 상태입니다. 배경에는 미 상무장관의 반도체 관세 카드가 놓여 있습니다. SK하이닉스는 이미 인디애나 웨스트라파엣에 약 40억 달러를 들여 HBM 어드밴스드 패키징 팹을 짓고 있으며, 양산 목표는 2029년 하반기입니다. 메모리 가격 랠리에도 고객사 내구력의 한계가 보이기 시작했습니다. 3분기 범용 D램과 낸드 가격 상승 폭은 직전 분기 60%대에서 10%대 중후반으로 둔화될 전망입니다.
추론 워크로드의 흐름도 현지에 뿌리내리고 있습니다. 국산 NPU 스타트업 리벨리온은 일본의 ai&와 손잡고 도쿄 데이터센터에 추론 특화 NPU 랙 리벨랙을 100대 이상 구축하고 2027년 말까지 40MW 규모 인프라 확보를 목표로 삼고 있습니다. ai&는 20억 달러 이상 인프라 투자를 확보해 올해 말 5개 사이트 가동에 이릅니다. 구성은 GPU와 NPU 이기종 혼합이며 그 로직은 동일합니다. 에이전트의 일이 늘어날수록 와트당 비용, 토큰당 비용이 중요해지고, GPU는 유연성을 NPU는 경제성을 맡는 겁니다.
국내 전력 경쟁도 달아오르고 있습니다. KT는 2031년까지 5년간 AI 인프라에 총 6조 원, 그중 AIDC 약 5조 원과 해저케이블 1조 원을 투입하고 2031년까지 전국 20여 개 부지에 1GW 이상 AIDC를 공급하겠다는 계획을 발표했습니다. 정부는 7월에 이미 2029년까지 8.4GW 규모 초거대 AIDC 구축에 550조 원 규모 민간 투자를 끌어낸다는 정책을 내놨습니다. “전력과 부지”가 AI 인프라 공급 순서를 가르는 경쟁에서, 에이전트의 일을 어디에서 얼마 내고 돌리느냐는 질문이 더 날카롭게 던져집니다.
이 지도에서 한국의 위치는 작지 않습니다. 카운터포인트 집계상 삼성전자 HBM 시장 점유율은 전 분기 21%에서 올해 2분기에 33%로 올랐습니다. SK하이닉스는 50%를 지키고 있습니다. SK하이닉스의 2026년 전망도 “HBM 주도 메모리 슈퍼사이클”에 초점을 맞췄습니다. CXL의 패배 덕분에 두 회사의 주도권은 한동안 이어질 전망입니다.
이 그림에 빠진 것
오늘 아침의 모든 숫자가 하나의 이야기를 말하고 있습니다. 일하는 속도가 곧 제품이 된다는 것입니다. 그런데 이 그림에는 빠진 질문이 하나 있습니다. 일하는 속도가 제품이 되었을 때, 그 일이 믿을 만한지 확인하는 주체는 누구입니까.
삼성의 파일럿에도 한 조항이 있었습니다. AI 산출물의 최종 검토와 승인은 설계 엔지니어에게 필수라는 것이었습니다. 검증은 틀리면 팹이 불타는 업무입니다. 기업이 에이전트에 맡기는 일이라면 어느 하나 다르지 않습니다. 속도가 1000이라면 거버넌스도 같은 속도여야 합니다. 그렇지 않으면 빠를수록 사고는 더 비싸집니다. 그리고 사고가 났을 때 그 책임을 누가 입증하는지 문제입니다. 감사 로그와 권한 격리는 이제 있으면 좋은 것이 아니라, 에이전트를 현업에 들여놓는 것의 입장 조건이 됩니다.
그 빈 공간을 채우려는 것이 ThakiCloud의 정식 제품인 에이전트 네이티브 클라우드 Paxis입니다. Paxis는 스킬, 도구, 정책, 감사 로그를 일급 리소스로 다룹니다. 작업은 격리 샌드박스 안에서 끝나고 정책 게이트를 지나, 감사 로그에 기록됩니다. 작업마다 모델을 다르게 고를 수 있기 때문에(CostRouter), 오늘 뉴스가 드러낸 “일당 비용” 구조는 사후 관리가 아니라 설계에서 잡을 수 있습니다. 소버린, 온프레미스 K8s 환경으로의 구축도 가능합니다. 다시 말해, 에이전트의 일이 계량되고 청구되는 제품이 되는 순간, 기업의 질문은 더 이상 어떤 모델이 좋은지가 아닙니다. 그 일을 안전하게 실행할 수 있는지, 그리고 그 흔적이 나중에 검증할 수 있을지 여부가 됩니다. 물리층이 “일하는 속도”를 팔기 시작했다면, 기업 측이 물어야 할 것은 “믿을 수 있는 일의 플랫폼”입니다.
참고 자료
이 글은 아래 뉴스를 종합해 작성했습니다.