김정호 카이스트 교수가 최근 AI 반도체 시장 변화에 대해 "GPU 중심 구조 속에서 메모리 역할이 크게 커지고 있다"고 진단했다. 김 교수는 지난 19일 머니투데이방송 '경제1타강사'에 출연해, "에이전틱 AI 확산으로 입력 데이터의 양, 즉 '컨텍스트'가 폭증하면서 이를 처리하기 위한 메모리 수요가 급격히 증가하고 있다"며 이 같이 설명했다.
김 교수는 "입력이 100배, 1000배 늘어나면 필요한 메모리는 사실상 100만 배 수준까지 증가할 수 있다"며 "AI 성능을 좌우하는 핵심 인프라는 이제 메모리"라고 강조했다.
HBM 시장 역시 세대별로 주도권이 엇갈리며 오션파라다이스예시 경쟁이 이어져 왔다고 설명했다. 김 교수는 "과거 HBM2는 삼성전자, HBM3는 다시 하이닉스가 강점을 보였다"며 "세대마다 업치락뒤치락하는 구조"라고 평가했다. 이어 "HBM3에서 삼성전자가 전략적 판단으로 빠진 사이 하이닉스가 실력을 발휘했다"고 덧붙였다.
차세대 HBM4에서는 경쟁 구도가 한층 복잡해질 것으로 전망했다. 김 교수는 게임몰 "HBM4의 핵심은 커스터마이즈"라며 "엔비디아, 구글, AMD 등 고객사별로 설계가 모두 달라지는 'CHBM(Custom HBM)' 시대가 열린다"고 설명했다. 이어 "이제는 미리 만들어 파는 구조가 아니라 고객 요구에 맞춰 공급하는 '공급자 중심 시장'으로 바뀌고 있다"고 말했다.
기술 측면에서도 변화가 크다. HBM4는 속도와 I/ 백경게임랜드 O(입출력)가 증가할 뿐 아니라, 베이스 다이 설계와 패키징 방식에서 기업별 차별화가 본격화된다. 김 교수는 "삼성은 자체 파운드리와 패키징을 활용한 토탈 솔루션 전략을, 하이닉스는 TSMC와 협력하는 구조를 갖고 있다"며 "기술뿐 아니라 공급망 전략까지 포함된 경쟁"이라고 분석했다.
향후 시장 전망에 대해서는 "삼성과 하이닉스 모두 큰 바다이야기오락실 기회를 가진 상황"이라고 평가했다. 그는 "HBM 수요는 구조적으로 증가할 수밖에 없고, 특정 기업이 독점하기보다는 양사가 함께 성장하는 시장"이라며 "결국 성능과 공급 능력, 고객 맞춤 대응력이 경쟁을 가를 것"이라고 말했다. 이어 "기술 못지않게 기업의 개방성과 의사결정 문화가 향후 3년 뒤 성과를 좌우할 수 있다"고 덧붙였다.

황금성릴게임사이트

이유나> 일타강사와 함께하는 경제일타해법! 인공지능이 세상을 뒤흔드는 시대! 앞으로 AI 산업은 어디로 향할지, 왜 우리가 '메모리 반도체'에 주목해야 하는지, 이분과 함께 짚어보겠습니다. 카이스트 김정호 교수님 모셨습니다. 어서 오십시오~
김정호> 안녕하세요
이유나> 교수님, 엔비디아 GTC를 봐도 그렇고요. 앞으로 AI의 핵심은 메모리겠죠?
김정호> GPU만이 아니고 조금 과장하면 메모리가 더 중요해졌다. 그렇죠. 그렇게 볼 수 있는 거겠죠. 지금 말씀해주신 걸 들어보면 그런 분위기가 그럴 수 있게 된 게 작년 가을, 겨울부터였습니다. 그전에도 중요했는데, 역전된 거는 이제 에이전틱 AI가 등장하면서입니다.
이 에이전틱 AI라는 게 우리가 시킨 일을 다 알아서 해주는 거잖아요. 쉽게 얘기해서 말만 하면 어제 GTC 2026이든, 아니면 리사 수가 왔다 간 내용이든 AI한테 "아침에 저하고 대담할 원고 뽑아줘" 이렇게 하면 해줄 수 있는 게 에이전틱 AI잖아요. 그러려면 에이전틱 AI가 자료를 다 찾아봐야 되는 거예요. 어제 나온 기사 봐야죠, 사진 봐야죠, 유튜브 봐야죠. 자료를 다 찾아서 지금까지는 우리가 인공지능을 사용할 때 질문만 했어요.
"오늘 날씨가 어떻게 되느냐" 그러면 글자 길이가 한 100개밖에 안 되잖아요. 근데 에이전틱 AI가 되면서 책 한 권을 주면서도 요약하라고 하고, 많은 자료를 검색해서 찾고, 제가 질문한 것까지 더해서 인공지능으로 입력으로 들어갑니다. 그거를 뭐라 그러냐면 컨텍스트 랭스라고 해요. 그러니까 입력의 크기입니다. 기존의 인공지능은 토큰 수라고 해서 단어 수가 한 1,000개 정도 됐었어요. 아주 비싼 요금제, 10만 원, 30만 원 하면 10K, 100K 이래요. 그럼 한 10만 정도, 그러니까 책 한 권 번역할 수 있는 거죠.
근데 요즘은 유튜브까지 다 붙이면서, 노트북 LM이나 클로드 같은 데 붙여서 "이거 요약해와" 하면 요약하거든요. 그러니까 30분, 1시간짜리 유튜브도 다 봐야 되는 거예요. 그러니까 입력의 크기가 100배에서 1,000배가 늘고, 미래는 그게 기가 단위, 그러면 100만 배까지 늘어나는 거예요. 그러면 이걸 처리하는 메모리는 입력이 100배, 1,000배가 늘면 필요한 메모리는 거의 100만 배만큼 늘어나는 겁니다. 그런 현상을 컨텍스트라고 해요. 그래서 이 입력을 잘 다루는 게 중요해졌습니다.
예전에는 프롬프트 엔지니어링이라 해서 말을 잘해서 AI가 내 의도대로 하게 하는 게 중요했다면, 지금은 자료까지 붙이는 게 중요한 기술입니다. 그걸 컨텍스트 엔지니어링이라고 합니다. 이 컨텍스트 엔지니어링까지 하려면 멀티모달로 메모리 수요가 1,000배에서 100만 배까지 늘어나는 거예요. 이 현상이 작년 가을부터 나오기 시작했고, AI 서비스 프로바이더, 구글이든 제미나이든 엔트로픽이든 이런 데서 필요로 하니까 갑자기 그 서비스를 해줘야 되는 거예요.
그것도 몇십만 명, 몇백만 명한테 짧은 시간 내에요. 우리가 "이거 요약해줘" 했을 때 1분 만에 나오냐, 10초 만에 나오냐 그걸 결정하는 게 다 메모리입니다. 아까 말씀드린 것처럼 인퍼런스가 중요해졌고, 컨텍스트 랭스가 길어졌고, 메모리가 많아졌습니다. 그리고 우리가 쿠팡으로 물류를 배달해서 쓰잖아요. 왜 쿠팡이 1등이 됐냐면 새벽 배송 때문 아니겠어요. 그러니까 얼마나 빨리 많은 양을 우리한테 제공하느냐가 중요한데, AI에서는 그걸 메모리가 결정해버린 겁니다. 그게 작년부터 급속하게 늘어난 거죠. 그러면 쿠팡이 1등이 된 이유 중 하나가 새벽 배송인데, 새벽 배송을 하려면 물류센터를 전국에 많이 지어야 합니다. 오토바이도 많아야 하고요.
그게 메모리에 해당하는 겁니다. 지금은 인프라 전쟁인데, 그게 메모리로 넘어가버린 거예요. AI의 발전 단계가 에이전틱 AI가 되면서 갑자기 이런 현상이 작년 가을부터 나타난 겁니다. 어떻게 보면 리사 수나 젠슨 황, 아니면 테슬라의 일론 머스크도 아마 올해 1, 2월에 깨달았을 겁니다. 그래서 "큰일 났다, 한국 가자" 이렇게 됐다고 저는 생각합니다.



이유나> 사실 그동안 HBM 시장이 하이닉스에 치우쳐진 시장이였는데, HBM4부터는 삼성이 먼저 공급도 하고 있고 다른 분위기가 느껴지거든요?
김정호> 이제 HBM 제 기억이 맞다라면 2010년도에 AMD가 처음 HBM 개념을 제시했었고 그때 이제 저희가 오랫동안 비슷한 연구를 했었으니까 하이닉스하고 일을 했었는데 그게 HBM1이었어요. HBM2에서는 삼성전자가 들어왔었어요. 그래서 성능이 더 좋았어요.
제 기억에 어떤 설계상 전략적 판단에 약간 오류가 있었다고 할까요. 그래서 이제 HBM2는 또 삼성이 잘했었어요. 그런데 삼성의 어떤 경영적인 판단에 의해서 HBM3에서는 참여를 안 했죠. HBM3, 그러니까 칼을 갈다가 하이닉스가 HBM3에서 또 실력을 발휘한 거죠. 그래서 HBM4는 새로운 경쟁이 시작이 되는데 그래서 어떻게 보면 한 세대별로 계속 업치락뒤치락이 있는 것 같습니다. 그런데 이제 HBM4에서 크게 HBM3하고 다른 거는 커스터마이즈된 HBM이다. 그래서 CHBM이라고 불러요. 그러니까 삼성이나 SK하이닉스가 HBM을 제공할 때 엔비디아하고 설계하는 HBM하고 구글하고 AMD하고 다 다른 거예요.
그러니까 그걸 굉장히 커스터마이즈됐으니까 협력 체계가 중요하고 사전에 만들어 놓고 파는 게 아니라 정해진 고객들한테 어떻게 보면 요청하면 파는 이제 공급자 시장으로 바뀐 거죠. 그러니까 특히 이제 HBM4는 속도 높아지고 IO 개수도 두 배가 되지만 그 베이스 다이라고 하는 HBM 1층에 있는 그 부분의 설계가 이제 각자 달라지게끔 SK하이닉스와 삼성의 실력이 달라지는 거고 그 베이스 다이를 삼성은 자체 파운드리를 쓰고 하이닉스는 TSMC 공정을 쓰고 토탈 패키징도 TSMC가 하는데 삼성은 자체적으로 하죠. 그러니까 토탈 솔루션을 제공하는 거고요. 그래서 전략적으로도 굉장히 바뀐다.
그다음에 이제 엔비디아 입장에서는 최고 성능을 받아야 되고 또 어떤 특정한 하이닉스한테만 공급받으면 자기네 입지가 줄어드니까 삼성하고 이렇게 두 개를 경쟁을 붙이는 상황이 되고 삼성도 엔비디아만 볼 게 아니라 AMD도 볼 수 있고 또 구글도 볼 수 있고 TPU도 볼 수 있고 그래서 HBM4는 완전히 새로운 경쟁 체제다. 그러니까 과연 누가 위너가 될 것이냐, 삼성이냐 SK하이닉스냐, 성능이라는 면에서 그다음에 상대방에서 누가 더 물량을 많이 줄 거냐, 그러니까 경영적인 사업적인 측면에서 고도의 전쟁이 지금 벌어지고 있지 않느냐. 이렇게 해서 HBM4의 승부는 조금 더 두고 보면 드러나지 않을까 싶은데 어쨌든 HBM이 세대를 거듭할수록 업치락뒤치락이 될 것으로 예상이 되는데 좋은 거는 경쟁을 통해서 계속 성능이 올라가니까 다른 나라 기업들이 아예 근접을 못 하도록 하는 효과는 있지 않을까 그렇습니다. 그런데 두 회사의 경영자나 기술자들은 좀 고생할 것 같습니다.



이유나> 일타강사 보시는 구독자분들 중에 아무래도 투자하시는 분들이 많다보니까, 삼성과 SK하이닉스 누가 더 유리할 것으로 보시나요?
김정호> 제가 녹음은 안 해뒀지만 작년에 삼성 임원들 만나면 제가 건배사를 할 때 "30만 전자 가자" 이렇게 했는데 좀 안 믿는 눈치였어요. 그래도 제가 용감하게 몇백 명 모인 자리에서도 그렇게 하고 하이닉스 쪽에서는 "100만 닉스 가자" 이렇게 했는데 이미 다 거의 비슷해졌죠. 요즘은 그런 걸 제가 부르면 웃지도 않아요. 그래서 이제 값을 더 높여야 되나 여기는 몇십만, 여기는 몇백만 이렇게 불러야 되나 싶어서 값을 재조정하고 있습니다.
그런데 재미있는 거는 저희 연구실 여학생 박사가 얼마 전에 졸업해서 하이닉스를 갔어요. 그런데 결혼을 했는데 신랑은 삼성에 갔어요. 제가 주례를 봤는데 거기서 주례사로 "몇만 닉스 가자" 이렇게 했다가 신부 측 지도교수니까 하이닉스 주식을 불렀는데 신랑 친구들도 많이 와 있었잖아요. 그래서 나중에 좀 혼났습니다. 삼성은 왜 안 불렀냐고요. 어쨌든 제가 몇 년 전부터 "몇만 전자, 몇만 닉스 가자" 이렇게 얘기해왔는데 양쪽 분들을 만나면 이쪽 잘될 거라고 얘기하고 저쪽 만나면 또 그렇게 얘기하고 그렇습니다. 결국 둘 다 잘될 것 같다는 얘기입니다.
왜 그러냐면 기본적으로 메모리가 많이 필요한 시장이 됐고 HBM 수요는 증가할 수밖에 없기 때문에 어떤 특정한 기업이나 성장 속도에 차이는 있겠지만 둘 다 큰 기회가 있는 것 같습니다.
이유나>교수님이 이제 HBM과 HBF도 이제 그 얘기를 해 주셨는데 HBF가 최근에 얘기는 나오지만 상용화가 딱 아직 안됐잖아요.
김정호> 지금은 이제 막 설계 단계로 스펙은 거의 정해졌고요. 설계 단계에 있는데 상품으로 적용되는 거는 2027년이나 2028년 되는 것 같아요. 기업들은 2027년을 목표로 하는데 하다 보면 2028년이 되는데 개발 기간이 그렇게 보면 한 2년밖에 안 되는 거잖아요. 그런데 왜 그렇게 자신하냐 이렇게 물어보면 낸드 기술은 이미 갖고 있잖아요. 이제 쌓기만 잘하면 되는데 HBM 했을 때 잘 쌓아봤으니까 그 기술을 그대로 갖고 쌓는 거죠. 그리고 제가 주장하는 건 이렇습니다.
제 입장에서는 HBM과 HBF도 구분되지 않게 스펙을 정해라. 그러니까 차 모양도 똑같고 바퀴도 똑같고 규격을 똑같이 하면 물론 어떤 건 페라리도 있고 어떤 건 그랜저도 있겠지만 타는 사람, 그러니까 운전하는 사람이 모르게 그렇게 설계한 구조를 하라고 요청을 합니다. 왜냐하면 처음부터 완전히 HBF를 다른 개념으로 하면 투자 비용도 많이 들고 여러 리스크가 있으니까 그렇습니다.
그런데 HBF를 하는 기업 간에 약간 온도 차이가 있어요. 그래서 제가 눈빛으로 얘기를 좀 하는데 말은 못 하고 나중에 그러다가 크게 고생할 수도 있는데요. 그러면서 HBF 해야 됩니다 이렇게 하고 HBF를 쓰는 기업도 있잖아요. 그러면 구글일 수도 있고 AMD일 수도 있고 엔비디아일 수도 있고 또 테슬라가 될 수도 있잖아요. 그쪽 판단 잘해야죠. 그런데 저희 연구실은 어떤 연구를 하냐면 HBM, HBF를 이런 아키텍처로 쓰면 AI의 성능이 얼마나 좋아지냐, 성능이라는 거는 얼마나 많은 사람들한테 서비스하느냐, 얼마나 빨리 결과를 내느냐, 쿠팡으로 치면 몇 개의 가구에 몇 개의 상품을 하루 저녁에 배송할 수 있느냐,
그러면 비용은 얼마 드느냐 이런 데이터를 내는 편입니다. 그래서 그걸 HBF 하는 기업들한테도 제공하고 또 그 커스터머가 되는 기업들한테도 다 제공해서 그분들이 미처 거기까지 생각 못 해봤을 때 "이거 말 되네" 이렇게 하는 자료를 논문이나 인터넷으로 제공을 합니다. 그런데 이 온도 차이가 결국 3년 후에 회사의 매출과 운명을 가를 수 있습니다. 저는 기술도 기술이지만 기업의 문화가 얼마나 수용적인가, 한국에 있는 작은 연구실, 이름도 없는 교수가 이런 결과를 내면 "이거 맞는 거 아니야?" 하는 그런 개방적인 태도가 회사의 운명, 성장을 다르게 하지 않을까 이런 생각도 해봅니다.
출연: 김정호 카이스트 교수 진행: 이유나 (경제산업부 기자)방송: 머니투데이방송 MTN <경제1타강사>촬영일: 2026년 3월 19일풀영상 업로드일: 2026년 3월 28일
▶더 많은 내용은 유튜브 영상을 통해 확인가능합니다.
이유나 머니투데이방송 MTN 기자