"인공지능(AI) 시대의 진짜 병목은 연산이 아니라 메모리입니다. 그래픽처리장치(GPU)만큼 중요한 건 고대역폭메모리(HBM)이고 이를 못 잡으면 우리는 기술 식민지가 됩니다. HBM은 단순한 메모리가 아니라 설계, 냉각, 패키징, 파운드리까지 연결된 AI 시대의 '고농축 우라늄'입니다. 지금 투자하지 않으면 10년 뒤엔 우리의 미래를 장담할 수 없습니다."

김정호 카이스트 교수는 지난 22일 국회 의원회관에서 열린 'AI G3 강국 신기술 전략 조찬 포럼' 발제에서 이같이 말했다. 이날 김 교수는 'HBM이 대한민국을 살린다'는 제목으로 발표에 나서 반도체 설계 주도권 확보와 생태계 재편의 필요성을 강도 높게 강조했다.

이번 행사는 정동영 더불어민주당 의원과 최형두 국민의힘 의원이 공동 주최하고 산업계·학계·정계 주요 인사들이 대거 참석해 토론을 벌였다. SK하이닉스, 삼성전자, 서울대, 스타트업, 과기부 등 다양한 주체가 모인 현장에서는 AI 반도체 생태계 조성을 위한 현실적 방안들이 논의됐다.

김정호 카이스트 교수는 이날 발제에서 HBM을 AI 시대의 '순수 우라늄'으로 간주하며 대한민국 반도체 산업이 생존하기 위해 반드시 확보해야 할 전략 자산이라고 강조했다. 그는 HBM이 단순한 메모리 기술을 넘어 컴퓨팅처리장치(CPU)와 GPU 기능까지 통합하게 될 미래를 예견하며 이를 통해서만 한국이 엔비디아와 같은 글로벌 기업과 대등한 협상력을 가질 수 있다고 주장했다.

HBM은 기존 디램(DRAM) 대비 훨씬 빠른 속도로 데이터를 주고받을 수 있는 차세대 메모리 기술이다. 수직으로 여러 층의 메모리를 쌓은 구조 덕분에 같은 면적 안에서 더 많은 데이터를 병렬로 처리할 수 있어 대용량 연산이 요구되는 AI 학습과 추론에 최적화돼 있다.

더불어 HBM은 DRAM, 인터포저, 신호무결성(SIPI), 냉각, 재료, 패키징, 파운드리, GPU 설계, 시스템 아키텍처 등 다양한 기술이 융합돼야 구현 가능한 복합 기술 집합체다. 하나의 부품이 아니라 반도체 시스템 전체를 아우르는 '기술의 총합'인 것이다.

김 교수는 한국이 '챗GPT'와 같은 파운데이션 모델 없이도 AI 경쟁력을 확보하려면 엔비디아의 최신 GPU가 최소 수십만 대 필요하다고 말했다. 다만 현실적으로 현재 한국이 보유한 최신 엔비디아 'H100'은 몇천대 수준으로, 예산을 투입해도 엔비디아가 GPU를 이를 공급할 이유가 부족한 상황이다. 이에 제시할 수 있는 유일한 협상 카드가 HBM으로, 이를 기반으로 기술 주권을 확보해 반도체 글로벌 공급망에서 우위를 점해야 한다는 것이 김 교수의 주장이다.

AI 기술이 빠르게 고도화되면서 주목받을 연산 병목의 핵심은 GPU가 아니라 HBM이라는 분석 역시 나왔다. 김 교수는 "'챗GPT'를 구동하는 동안 실제로 열을 받아 녹는 것은 GPU가 아니라 HBM"이라며 "토큰 생성 속도 저하의 주요 원인은 메모리 대역폭의 부족에 있다"고 설명했다. 이어 "기존 컴퓨터 구조에서는 저장은 메모리, 계산은 GPU가 맡았지만 AI 시대에는 이 둘 사이의 데이터 전달 속도에서 한계가 발생한다"고 말했다.

이 같은 구조적 병목은 HBM의 역할을 단순한 '빠른 메모리'를 넘어서는 요소로 만든다. 김 교수는 HBM의 기술적 본질을 '데이터를 얼마나 빠르게 GPU로 보내고 다시 받아올 수 있느냐의 싸움'이라고 정의했다. 그는 이를 100층짜리 고층 건물에 비유하며 층을 높이 쌓을수록 내부에서 데이터를 오가는 '고속 엘리베이터' 같은 통로가 필수라고 설명했다.

현재 개발 중인 'HBM4'까지는 이러한 구조를 일정 수준 유지할 수 있지만 몇년 후 등장할 'HBM7'과 같은 차세대 모델로 갈수록 기술적 부담은 폭발적으로 늘어난다. 특히 기존 본딩 공정에서 사용하는 납이 고온에서 열화되는 문제가 있어 더 높은 집적도와 연산량을 감당하려면 냉각 솔루션과 소재 자체의 혁신이 필수적이다.

이러한 배경에서 전체 시스템을 액체에 담가 냉각하는 '침지 냉각(immersion cooling)'이 유력한 차세대 해법으로 주목받고 있다. 단순히 칩을 잘 만드는 것만으로는 한계가 있는 만큼 냉각 설계, 패키징, 파운드리 공정, 시스템 아키텍처 설계까지 아우르는 통합적 기술 전략이 필요한 단계다.

이같은 급박한 상황 속에서 한국은 반도체 산업의 핵심 가치사슬인 설계와 파운드리에서 모두 취약한 위치에 놓여 있는 상황이라는 것이 김 교수의 설명이다. 일례로 'HBM4'부터는 연산 기능이 메모리 내부, 이른바 '베이스 다이(Base Die)'에서 처리되는 구조로 전환되고 있다. 다만 해당 기술의 설계는 엔비디아가, 제조 공정은 대만 TSMC가 주도하고 있어 국내 기업의 입지는 좁아지고 있는 것이다.

김 교수는 이 같은 글로벌 기술 분업 구조 속에서 한국이 기술 주도권을 잃을 가능성을 경고했다. 특히 SK하이닉스는 '베이스 다이' 설계 경험이 부족하고 삼성전자는 생태계에서 실질적 중심을 잃고 있다고 지적했다. 이에 설계와 파운드리 양쪽 모두에 대한 국가 차원의 역량 집중이 필요하다고 강조했다.

그 역시 자신의 연구실에서 HBM의 병목 문제를 해결하기 위한 다양한 실험을 진행 중이다. 여러 층을 쌓아올리는 '멀티타워 아키텍처'와 연산 기능을 메모리 내부에 넣는 'CPU 내장형 메모리' 구조가 대표적이다. 기존 디램을 보조 메모리로 붙이거나 CPU를 직접 설계하는 방식도 병행하고 있으며 이는 최근 엔비디아가 공개한 '블랙웰 시스템'과 유사한 구조다.

또 김 교수는 AI 기술을 활용한 자동 설계 실험도 병행하고 있다. 자연어로 회로를 설계하는 '바이브 코딩'을 통해 학생이 설계한 HBM과 '챗GPT'가 설계한 결과의 성능이 거의 유사했다는 점을 소개하며 인력 부족 문제를 AI가 보완할 수 있다고 강조했다.

김 교수는 "AI는 죽지도 자지도 않지만 사람은 인건비가 든다"며 "AI 기반의 자동화 기술이 앞으로 산업 경쟁력을 좌우할 핵심 수단이 될 것"이라고 주장했다.

발표를 마치며 김 교수는 AI 생태계의 패권 경쟁이 결국 'HBM 기술력'에 수렴된다고 강조했다. AI가 핵무기, 반도체가 우라늄이라면 HBM은 '순수 우라늄'으로, 한국이 이 기술을 확보하지 못하면 글로벌 기술 질서에서 도태될 수밖에 없다는 것이다.

김정호 카이스트 교수는 "이제는 정부가 나서서 HBM 주도권을 위해 전략적으로 투자해야 한다"며 "기업과 학계도 반도체 전문대학원을 신설하고 고급 인재를 체계적으로 길러낼 수 있는 구조로 과감히 개편해야 한다"고 강조했다. 이어 "과거 박정희 대통령이 고속도로를 깔아 자동차 산업을 열고 김대중 대통령이 인터넷망으로 IT 강국의 기반을 만들었듯 이 위기를 기회로 만들 어야 한다"고 말했다.

이날 김 교수의 발표 이후에는 기술 인프라와 생태계 확장을 놓고 산업계·학계·정부 인사 간에 치열한 논의가 벌어졌다. 이날 토론에서는 'HBM 중심 전략'을 넘어서 설계·파운드리·모델·SW까지 포괄하는 통합 생태계 필요성이 제기됐다.

HBM에 대한 전략적 인프라 확충은 대체로 공감대가 형성됐다. 다만 실제 현장에선 정부 지원이 한정돼 있어 기술 주도권 확보엔 한계가 있다는 우려가 나왔다.

정상록 SK하이닉스 부사장은 "지난 2023년 삼성과 각각 500억 원씩 지원받았지만 기술 성장성을 반영할 때 보다 세심한 고려가 필요하다"며 "개인적으로 볼때 정부가 HBM이라는 신기술을 보다 감안해서 장기적인 전략을 짜는 것이 좋은 전략일 것으로 생각한다"고 말했다.

정부 역시 이를 인지하고 전략적 대응에 나섰다는 입장이다. 박윤규 정보통신산업진흥원장은 "향후 정부의 전략 투자 중심축 중 하나가 HBM이 될 것"이라며 "우리는 기업의 고충을 실제로 듣고 지원하는 입장에서 인프라와 설계 R&D를 함께 지원하는 방향으로 갈 것"이라고 밝혔다.

스타트업들은 기술 상용화의 '속도'와 '현실'을 문제 삼았다. HBM을 실제 적용하고 있는 기업들 자본, 인재, 시간 모두에서 한계에 부딪히고 있다는 설명이다.

정영범 퓨리오사AI 상무는 "3년 전 'GPT-3'가 나올 당시 HBM3를 선택했는데 다들 만류했다"며 "그럼에도 우리는 한국도 가능하다는 믿음으로 다소 무리하며 밀어붙였고 결과적으로 현명한 선택이 됐다"고 말했다.

칩 하나를 개발하는 데만 수백억 원이 들어가는 현실에서 스타트업은 생존을 위해 정부의 중장기 지원이 절실하다는 호소도 나왔다. 배유미 리벨리온 이사는 "인재, 자본, 시간을 꾸준히 투입해야 하는데 정부가 이 흐름을 끊지 않도록 지원책을 이어가줬으면 한다"고 말했다.

기술 못지않게 인재 확보도 현장의 핵심 과제로 떠올랐다. 고급 설계인력 수요는 폭증하고 있지만 국내 교육·보상 시스템이 이를 받쳐주지 못한다는 지적이다. 이공계 고급 인력의 산업계 유입을 위한 구체적 유인책도 필요하다는 설명 역시 이어졌다.

김영오 서울대 공대 학장은 "AI와 반도체를 동시에 전공할 수 있는 학생들이 필요하다"며 "상위 10~20% 천재 학생들에게는 파격적 보상과 국가 주도 연구기관이 필요하다"고 제안했다. 이어 현대 조현철 상무는 "카이스트 출신들도 산업계보다 학계나 해외로 빠져나간다"며 "산업계로의 유입을 위한 정부 차원의 가이드라인이 필요하다"고 말했다.

AI 생태계의 핵심은 '풀스택 경쟁력'이라는 점도 강조됐다. 송대원 LG 상무는 "구글은 이번 '넥스트' 행사에서 GPU부터 모델, 솔루션까지 전방위 생태계를 발표했다"며 "국내도 인프라만 볼 게 아니라 전체 AI 흐름을 같이 키워야 한다"고 말했다.

정부도 이런 문제의식을 반영해 추경 예산을 마련하고 제도 개선을 시도 중이다. 특히 글로벌 수준 인재 유치를 위한 예산이 신설됐다는 점이 눈에 띈다.

송상훈 과기부 실장은 "최대 40억원까지 매칭 지원이 가능한 고급 인재 유치 프로그램을 새로 만들었다"며 "퓨리오사, 리벨리온 같은 기업들이 공학도들의 꿈이 되도록 하겠다"고 말했다.

정동영 더불어민주당 의원은 "HBM 3층 적층 구조를 처음 제안했던 김정호 교수의 주장을 우리 기업들이 진작 받아들였더라면 지금쯤 이들의 국제적 위상이 보다 커졌을 것"이라며 "오늘 산업계, 학계, 정부, 여야가 오늘처럼 한자리에 모인 것 자체가 의미 있고 이 논의가 구체적 실행으로 이어져야 한다"고 말했다.

최형두 국민의힘 의원은 "매주 격주 아침마다 토론을 이어온 것은 각계 리더들이 진심으로 이 문제를 국가 전략으로 보고 있다는 방증"이라며 "AI 추경 예산 반영 여부가 이제 과방위와 예결위 논의에 달려 있는 상황에서 국회 특위 위원으로서 마지막 소위 심사까지 책임지고 반영될 수 있도록 최선을 다하겠다"고 강조했다.