HBM(고대역폭 메모리)은 AI 시대의 핵심 메모리로 자리 잡았습니다. 처리해야 할 데이터가 급격히 늘어나면서 기존 DDR 방식으로는 속도가 따라가기 어렵기 때문입니다. HBM은 메모리 칩을 여러 층으로 쌓아 올린 뒤 TSV라는 수직 배선을 이용해 내부 신호를 고속으로 전달합니다. 이 글에서는 TSV가 어떤 구조인지, 그리고 어떻게 HBM 내부에서 데이터를 빠르게 전달하는지 원리를 중심으로 설명합니다.
HBM이 필요한 이유와 TSV의 역할
AI 연산은 GPU가 수많은 데이터를 동시에 읽고 쓰는 과정으로 이뤄집니다. 이때 필요한 것이 ‘메모리 대역폭’입니다. 대역폭이 넓을수록 GPU가 데이터를 빠르게 가져올 수 있고, 연산 속도도 크게 향상됩니다. HBM은 기존 메모리처럼 평면으로 배치하는 대신 여러 개의 DRAM 다이를 세로로 쌓아 올리는 3D 구조를 사용합니다. 층이 많아지는 만큼 신호를 정확히 전달할 수 있는 구조가 필요하고, 그 핵심이 TSV입니다.
TSV는 무엇인가: 실리콘을 관통하는 수직 배선
TSV(Through Silicon Via)는 ‘실리콘을 관통하는 도전성 통로’라는 뜻입니다. 일반적인 반도체는 칩 표면 위에서만 배선이 이루어지지만, HBM에서는 칩을 세로로 쌓기 때문에 각 층을 직접 연결해주는 수직 통로가 필요합니다. TSV는 실리콘 웨이퍼에 미세한 구멍을 뚫고, 그 안에 도전성 금속(주로 구리)을 채워 만들어집니다. 이 구조 덕분에 여러 층의 DRAM이 마치 한 칩처럼 동작할 수 있습니다.
TSV가 신호를 전달하는 방식
HBM 내부의 신호 전달은 단순히 ‘위아래를 연결한다’는 수준을 넘습니다. TSV는 수십에서 수백 개의 수직 통로가 동시에 동작하며, DRAM 층 간 신호를 아주 짧은 거리로 빠르게 전달합니다. 신호가 아래에서 위로 이동할 때는 각 층을 지나는 TSV를 따라 전류가 흐르게 되고, 각 층에 배치된 컨트롤러가 데이터를 읽고 쓰며 순서대로 전달합니다.
이 과정에서 중요한 것은 신호의 지연과 손실을 최소화하는 것입니다. TSV는 길이가 매우 짧고 폭이 좁기 때문에 간섭이 거의 없으며, 병렬로 다수의 경로를 구성해 높은 대역폭을 확보할 수 있습니다. 이러한 구조적 이점 덕분에 HBM은 GPU 주변에서 안정적으로 초고속 데이터를 처리할 수 있습니다.
HBM 신호 전달을 안정적으로 유지하기 위한 구조적 요소
TSV 기반의 신호 전달은 단순한 배선이 아니라, 세밀하게 조정된 구조와 공정의 조합입니다. 다음 요소들은 HBM의 성능을 결정하는 핵심입니다.
1) 마이크로 범프(Micro-bump)
각 DRAM 다이는 TSV를 통해 수직으로 연결되지만, 다이와 다이를 실제로 접합하는 것은 마이크로 범프입니다. 이 범프는 매우 작은 금속 돌기 형태로, 여러 개가 동시에 신호를 전달해 대역폭을 확보합니다.
2) 인터포저(Interposer) 구조
HBM 스택은 단독으로 동작하지 않고, GPU와 인터포저를 통해 연결됩니다. 인터포저는 일종의 ‘지하 터널’처럼 HBM과 GPU 사이의 신호를 빠르게 전달해주는 기판입니다. TSV가 HBM 내부를 수직으로 연결한다면, 인터포저는 HBM과 GPU를 수평으로 연결하는 역할을 맡습니다.
3) 짧은 경로가 만드는 저전력 특성
TSV는 신호가 지나가는 길이가 매우 짧기 때문에 동작 전력이 적고 발열도 낮습니다. 같은 용량의 데이터를 전달하더라도 전력 소모가 줄어들기 때문에 HBM은 AI 서버에서 전력 효율이 높은 메모리로 평가됩니다.
TSV 방식이 HBM의 성능을 끌어올리는 이유
HBM의 가장 큰 장점은 높은 대역폭과 낮은 지연 시간입니다. 층마다 독립적인 배선을 만들 수 있어 병렬 처리량이 크게 늘어나며, GPU 가까이에 배치할 수 있어 신호 전달 속도도 빨라집니다. 또한 TSV 기반의 3D 구조는 기존 메모리보다 면적 활용이 뛰어나기 때문에, 같은 공간에 더 많은 용량을 집적할 수 있습니다.
이런 구조적 특성 덕분에 HBM은 AI 학습, 자율주행, 고성능 컴퓨팅(HPC) 등 방대한 데이터를 실시간으로 처리해야 하는 환경에서 필수 메모리로 자리잡았습니다.
정리 및 시사점: TSV는 HBM 성능을 지탱하는 핵심 기술
TSV는 HBM을 가능하게 만든 핵심 기술입니다. DRAM 칩을 수직으로 연결해 높은 대역폭을 만들고, 신호를 매우 짧은 경로로 전달해 저지연·저전력 특성을 실현합니다. HBM의 속도와 효율이 높을수록 AI 처리 성능도 함께 향상되기 때문에, TSV 기술의 발전은 곧 AI 서버 성능 향상과 이어진다고 볼 수 있습니다. 앞으로 HBM의 층수가 늘어나고 대역폭이 더 확장될수록 TSV 공정의 정밀도와 안정성은 더욱 중요해질 것입니다.