<aside> 📋 📋 신영증권 강석용 / 2026-05-26 / 74페이지 반도체 테크전략 리포트. 핵심: HBM5 구조 대전환 + AI 추론에서 SRAM 부상 + NVIDIA Dynamo. 메모리 월 (Memory Wall): 연산:메모리 대역폭 비율 V100 139:1 → H100 295:1 악화. 수혜: 삼성·SK하이닉스·MU(HBM5) + EBARA(CMP) + Besi/EVG/AMAT(하이브리드 본더) + Intel(SRAM 재평가) + NVIDIA(Dynamo). 위험: ASIC 진영(TPU·Trainium·Cerebras).

</aside>

1. 핵심 주장 — AI 추론, 메모리가 발목 잡다

① 에이전틱 AI = 토큰 폭증 + KV 캐시 폭증 = 메모리 월 (Memory Wall)

• 챗봇 → 에이전틱 AI 전환으로 단일 작업 토큰 수 10~100배 폭증
• 100만 토큰 70B 모델 → 사용자 1명당 KV 캐시 310GB 필요, 100명 동시 처리 시 31TB
• 2028년 10T 파라미터 모델은 가중치만으로 5TB 상주 공간 차지
• 결론: AI는 연산이 아닌 메모리에서 병목

② 연산:메모리 대역폭 주고하 계속 악화 (V100 139:1 → H100 295:1)

지난 10년간 자본은 GPU/ASIC에 집중, 메모리 인프라 과소 투자. V100 139:1 → H100 295:1로 두 배 악화. 결과: 칩이 데이터 기다리며 쉬는 시간 길어짐 → 비싼 GPU도 메모리 병목에 무력.

③ 메모리 비용 구조 변화 → SRAM 부상

• DRAM·HBM 가격 상승 → SRAM과의 비용 격차 좌혀짐
• 추론 디코딩은 GPU 계산력보다 메모리 속도가 결정 → SRAM 중심 설계 경제적 설득력
• Groq LPU(SRAM 중심) = 추론 속도 극대화 → NVIDIA가 최근 우회 인수
• Groq 핵심: SRAM 양 + 컴파일러가 데이터 경로·실행 순서를 미리 정해 메모리 대기 시간 제거 = 결정론적 실행 모델

2. 학습용 메모리의 진화 — HBM5 구조 대전환

① 발열 문제 + 극박막화 + 하이브리드 본딩

HBM 적층 증가 → 발열 폭증 → 성능 저하. 해결책: 극박막화 (저장 다이 14μm, 구동 다이 1μm 미만), 하이브리드 본딩 도입.