[내외신문/전태수 기자] AI 시대의 심장은 더 이상 연산 칩만이 아니다.

데이터가 흐르는 길목, 그 밀도를 결정하는 메모리가 새로운 권력으로 떠올랐다. 그 중심에 있는 기술이 바로 HBM, 고대역폭 메모리다.

겉으로 보면 얇은 칩 몇 장을 쌓아 올린 구조에 불과하지만, 실제로는 전력·열·신호를 동시에 통제하는 초정밀 도시 설계에 가깝다. 이 구조를 30년 가까이 집요하게 파고든 국가가 한국이다.

중국이 한국 반도체를 쉽게 따라잡지 못하는 이유는 단순한 기술 격차가 아니다. 축적된 시간, 시행착오의 밀도, 그리고 산업 생태계 전체가 얽힌 복합 구조 때문이다.

반도체는 단거리 경주가 아니라 수십 년짜리 마라톤에 가까운 산업이다. 출발선이 아니라 축적된 궤적이 승부를 가른다.

▲ HBM은 기존 메모리와는 사고방식 자체가 다르다. 과거 반도체는 평면 위에서 작게, 더 작게 만드는 경쟁이었다. 그러나 물리적 한계에 가까워지면서 더 이상 옆으로 줄일 수 없게 되자, 한국은 방향을 바꿨다. 위로 쌓기 시작한 것이다. 이 전환이 바로 HBM이다.(사진=내외신문}

HBM은 기존 메모리와는 사고방식 자체가 다르다. 과거 반도체는 평면 위에서 작게, 더 작게 만드는 경쟁이었다. 그러나 물리적 한계에 가까워지면서 더 이상 옆으로 줄일 수 없게 되자, 한국은 방향을 바꿨다. 위로 쌓기 시작한 것이다. 이 전환이 바로 HBM이다.

이 구조의 핵심에는 TSV, 실리콘 관통 전극이 있다.

단순한 연결선이 아니라, 전력과 신호, 열을 동시에 조율하는 일종의 ‘보이지 않는 인프라’다.

16층 이상으로 쌓인 메모리 내부에서 전류가 균일하게 흐르지 않으면 전체 시스템이 무너진다. 한 층이라도 어긋나면 수율이 급격히 떨어진다. 건물로 치면 기둥 하나가 틀어진 것과 같다.

이 기술은 단기간에 복제할 수 있는 영역이 아니다. 공정 기술, 소재, 장비, 설계가 서로 맞물려야 한다. 특히 수율을 끌어올리는 과정은 경험의 축적 없이는 불가능하다. 수천 번의 실패 데이터를 통해서만 최적의 조건이 만들어진다. 한국 기업들이 강한 이유는 이 ‘실패의 데이터베이스’를 이미 보유하고 있기 때문이다.

AI 시대에 들어서면서 이 기술의 가치는 폭발적으로 재평가됐다. GPU는 계산을 담당하지만, 데이터가 제때 공급되지 않으면 아무 의미가 없다. HBM이 부족하면 GPU는 사실상 멈춘 기계와 다르지 않다. 지금 글로벌 빅테크 기업들이 메모리 확보에 사활을 거는 이유가 여기에 있다.

특히 AI에서 중요한 것은 레이턴시, 즉 지연 시간이다. 데이터가 이동하는 속도가 느리면 AI의 응답 자체가 늦어진다. HBM은 GPU와 거의 붙어 있는 구조로 설계되며, 이 거리를 최소화하는 것이 성능을 좌우한다. 단순한 저장 장치가 아니라, 연산과 거의 결합된 형태로 진화하고 있는 셈이다.

이 지점에서 한국은 이미 한 발 앞서 있다. 메모리를 단순 부품이 아니라 시스템의 중심으로 재설계해왔기 때문이다. 과거에는 CPU와 소프트웨어가 주도권을 쥐고 메모리는 값싼 부품 취급을 받았다. 지금은 흐름이 뒤집혔다. 메모리가 부족하면 AI 자체가 돌아가지 않는다.

▲ 중국 역시 이 흐름을 인지하고 빠르게 추격 중(사진/내외신문 편집팀)

중국 역시 이 흐름을 인지하고 빠르게 추격 중이다. 국가 차원의 투자와 인재 동원이 이루어지고 있으며, 일부 기술 영역에서는 속도를 내고 있다. 그러나 HBM은 단순한 자본 투입으로 해결되는 영역이 아니다. 미세 공정, 패키징, 장비 기술, 설계 최적화가 동시에 맞물려야 한다. 이 중 하나라도 빠지면 전체 성능이 무너진다.

특히 TSV 기반의 고층 스태킹 기술은 ‘보이지 않는 장벽’에 가깝다. 외부에서 구조를 관찰할 수는 있지만, 내부의 최적 조건과 노하우는 쉽게 복제되지 않는다. 반도체 산업에서 가장 어려운 부분은 바로 이 암묵지 영역이다.

또 하나의 변수는 시간이다. 메모리 공장을 짓고 인력을 양성하며 기술을 안정화하는 데는 최소 10년 이상의 시간이 필요하다. 단순히 설비를 갖춘다고 끝나는 산업이 아니다. 공정이 안정화되기까지 수많은 반복과 개선이 필요하다.

AI 기술이 발전할수록 메모리 수요는 더 빠르게 증가한다. 특히 KV 캐시와 같은 구조는 메모리 사용량을 기하급수적으로 늘린다. 이를 줄이기 위한 압축 기술이나 알고리즘이 등장하고 있지만, 정확성과 안정성 문제 때문에 한계가 뚜렷하다. 결국 물리적인 메모리 확장이 필수적이다.

이 흐름 속에서 HBM 다음 단계로 거론되는 것이 HBF다. 낸드플래시 기반으로 더 큰 용량을 제공하는 구조다. 속도는 느리지만, 대용량 데이터를 장기간 유지하는 데 유리하다. HBM이 ‘고속 도로’라면, HBF는 ‘대형 물류 창고’에 가깝다.

미래의 AI 시스템은 이 두 구조를 함께 사용할 가능성이 높다. 빠르게 처리해야 하는 데이터는 HBM이 맡고, 대규모 저장은 HBF가 담당하는 방식이다. 이 구조를 효율적으로 연결하는 컨트롤 기술까지 포함하면, 메모리는 단순 부품을 넘어 하나의 플랫폼이 된다.

한국 기업들이 유리한 이유는 이 두 영역을 동시에 준비하고 있기 때문이다. HBM에서 축적된 스태킹 기술과 패키징 역량은 HBF로 확장될 수 있다. 기술의 방향성이 이어져 있기 때문에, 다음 단계로의 진입 장벽이 상대적으로 낮다.

▲ Chinese President Xi Jinping (사진=신화통신, 중국 정부)     내외신문

중국이 한국을 따라잡기 어려운 이유는 바로 이 ‘연결된 축적’에 있다. 단일 기술이 아니라, 시간과 경험이 층층이 쌓인 구조다. 겉으로는 보이지 않지만, 내부에는 수십 년의 데이터와 노하우가 응축되어 있다.

AI 시대의 반도체 경쟁은 더 이상 속도 경쟁이 아니다. 구조를 설계하는 능력, 그리고 그 구조를 안정적으로 구현하는 경험의 경쟁이다. 한국은 이미 그 구조를 먼저 그려본 국가다. 그리고 지금도 그 위에 새로운 층을 계속 쌓아 올리고 있다.