제4부 데이터센터와 스케일

4.1 데이터센터 GPU 세대와 폼팩터

4.1.1 이 장에서 배우는 것 / 선수 지식

제4부의 시작. 지금까지(제1~3부)는 한 장의 GPU 안에서 일어나는 일이었다. 이제 여러 GPU·노드·랙으로 확장한다 — 그 첫걸음은 "어떤 GPU를, 어떤 폼팩터로 고르나"다. 이 장은 NVIDIA 데이터센터 GPU의 세대(아키텍처)·제품 라인업·폼팩터(SXM/PCIe)·시스템(HGX·DGX) 을 정리하고, 학습용 vs 추론용 선택 기준을 세운다. 구체 사양은 세대 교체가 잦아 "시점 의존, 확인 필요" 로 다루고, 변하지 않는 선택의 축에 집중한다.

배우는 것:

• 데이터센터 GPU가 소비자 GPU와 다른 점(NVLink·HBM·ECC·MIG·FP64·무디스플레이)과 그 이유.
• 아키텍처 세대(Volta→Ampere→Hopper→Blackwell 등)와 제품명(A100·H100·…)·라인업(Tensor Core GPU vs Ada 추론·그래픽)을 구분한다.
• 폼팩터 — SXM(NVLink·고전력·HGX 베이스보드) vs PCIe vs MGX 모듈 — 의 트레이드오프.
• 학습(SXM·NVLink·대용량 HBM) vs 추론(PCIe·L4/L40·MIG) 선택을 형상으로 결정한다.

선수 지식: 1.3(칩 상위 구조 — 세대마다 SM·코어가 늘어남), 1.9(HBM — 데이터센터 GPU의 메모리), 1.11~1.12(텐서코어 세대), 4.10(MIG는 여기서 개념만, 본격은 별도), 4.6~4.7(NVLink는 여기서 맥락만, 본격은 다음). 환경은 0.3. 모든 구체 수치(코어·HBM 용량·대역폭·TFLOPS·전력·가격)는 세대·SKU·시점 의존 → 공식 데이터시트로 확인. 미래 세대는 "발표 기준, 변동 가능".

4.1.2 데이터센터 GPU는 왜 다른가

같은 "GPU"라도 데이터센터용은 게이밍 카드와 설계 목표가 다르다:

핵심: 데이터센터 GPU는 "여러 장을 묶어 24/7로 큰 작업을 실행하는" 데 최적화됐다 — NVLink로 묶이고, HBM·ECC로 신뢰성 있게, MIG로 나뉘고, 고밀도 폼팩터로 랙에 쌓인다. 제2~3부의 커널은 이 위에서도 똑같이 동작하지만, 스케일·신뢰성·공유라는 새 축이 더해진다.

4.1.3 아키텍처 세대 vs 제품명 vs 라인업

혼동하기 쉬운 세 층을 분리한다.

① 아키텍처 세대(microarchitecture). 칩 설계 세대. 대략의 흐름(연도·세부는 확인 필요):

각 세대마다 텐서코어가 진화하고(1.12), 새 실행·메모리 기능이 더해지며, 공정·SM 수가 증가한다.

② 제품명. 한 아키텍처가 여러 제품으로 나온다. 예: Ampere 세대에 데이터센터 A100, 추론 A30·A10·A2 등. Hopper 세대에 H100·H200(메모리 증량판) 등. 아키텍처 ≠ 제품 — "Hopper"는 설계, "H100"은 그 설계의 한 SKU.

③ 라인업(용도 갈래). NVIDIA는 데이터센터 GPU를 대략 두 갈래로 둔다(명칭·구성은 시점 의존):

예: 학습은 H100/H200(SXM, HBM, NVLink), 추론·엣지서버는 L4·L40(PCIe, GDDR, 저전력)처럼 갈린다. "AI GPU"가 하나가 아니라 용도별 SKU 군이라는 것이 핵심.

정직: 위 제품명·연도·구성은 빠르게 바뀌고 리브랜딩된다. 이 책은 분류 축(세대/제품/라인업, 학습/추론 갈래)을 가르치되 특정 SKU의 정확한 사양은 외우지 말고 그 시점 데이터시트로 확인하라. Blackwell 등 최신·차세대는 "발표 기준, 변동 가능"(4.4~4.5).

4.1.4 폼팩터 — SXM vs PCIe vs 모듈

같은 칩이라도 패키지·소켓이 다르고, 그것이 NVLink·전력·시스템을 결정한다.

SXM은 학습·대규모(밀도·결합 우선)에, PCIe는 추론·범용(호환·전력·비용 우선)에 맞다.

MGX·컨버지드 모듈. NVIDIA는 서버 OEM이 GPU·CPU·DPU를 표준화된 방식으로 조합하게 하는 MGX 모듈 설계도 민다(시점 의존). 요지는 "정해진 베이스보드(HGX) 외에도 유연한 모듈식 조합"이 늘고 있다는 것.

핵심: SXM은 "여러 장을 NVLink로 하나처럼"(학습), PCIe는 "표준 서버에 유연하게"(추론). 학습 클러스터가 SXM·HGX·NVSwitch로 가는 이유는 다음 장들(4.2~4.9)의 NVLink·Grace·랙스케일로 이어진다.

4.1.5 시스템 — HGX vs DGX, 그리고 클라우드

GPU 한 장이 아니라 시스템으로 산다:

• HGX: NVIDIA가 OEM에 제공하는 베이스보드(4·8 GPU + NVSwitch). OEM(서버 제조사)이 이것을 받아 자기 서버에 통합 → 다양한 브랜드의 8-GPU 서버. "레퍼런스 GPU 복합체".
• DGX: NVIDIA가 직접 만든 완성 시스템(HGX 베이스보드 + CPU + 네트워킹 + 소프트웨어 스택을 NVIDIA가 검증·통합). 턴키. DGX SuperPOD은 DGX를 다수 묶은 레퍼런스 클러스터 설계.
• 클라우드 인스턴스: 위를 클라우드가 임대(예: 8×SXM 인스턴스). 대부분의 사용자가 실제로 만지는 형태.

실무 함의: 대부분 클라우드 8-GPU 노드를 빌려 쓴다. 그때 "이 8장이 NVSwitch로 풀연결인지(SXM·HGX) 아니면 PCIe로 느슨한지"가 다GPU 학습 성능(4.13~4.14 NCCL)을 크게 가른다 — 인스턴스 타입을 보고 확인할 것.

4.1.6 워크스루 — GPU 선택 의사결정

구체 사양을 외우는 대신, 형상으로 SKU 갈래를 고르는 워크스루.

시나리오 A — 70B 파라미터 LLM 사전학습.

시나리오 B — 이미지 분류 모델 실시간 추론 서비스.

시나리오 C — 연구실, 다양한 워크로드 혼재(소규모 학습 + 추론 + 실험).

결정 축 정리:

견해: 대부분의 팀은 소유하지 말고 클라우드로 시작한다 — 워크로드가 학습 바운드인지·추론 바운드인지·얼마나 큰지 데이터가 쌓이기 전엔 SKU를 고정하기 이르다. 학습이 정착하고 사용률이 높으면 그때 소유(또는 예약 인스턴스) 경제성이 생긴다.

4.1.7 중간 점검 (체크포인트)

• [ ] 데이터센터 GPU가 소비자 GPU와 다른 5가지(HBM·NVLink·ECC·MIG·무디스플레이)를 이유와 함께 제시한다.
• [ ] 아키텍처 세대·제품명·라인업(학습/추론 갈래)을 구분해 예로 설명한다.
• [ ] SXM과 PCIe의 트레이드오프(NVLink·전력·냉각·유연성)를 말하고 학습/추론에 매핑한다.
• [ ] 주어진 워크로드(대규모 학습/실시간 추론/혼재)에 갈래·폼팩터를 고르고 근거를 제시한다.

증상→의심: 다GPU 학습인데 통신이 병목·확장 안 됨 → PCIe 느슨 연결(NVSwitch SXM 아님, 4.13). 추론 GPU 활용률 낮은데 고가의 SXM 씀 → 과투자(추론 갈래·MIG가 맞음). 소비자 카드로 24/7 학습 중 ECC 오류·불안정 → 데이터센터 SKU 필요. 클라우드 다GPU가 기대만큼 안 빠름 → 인스턴스의 GPU 간 연결 토폴로지 확인.

4.1.8 트레이드오프 — 소유 vs 임대, 최신 vs 검증된 세대

견해: "무조건 최신 세대"가 답은 아니다. 신세대는 새 정밀도·실행 기능(FP8·TMA, 4.2~4.3)으로 같은 작업을 더 낮은 비용으로 하지만, 공급·가격·소프트웨어 성숙도를 고려해야 한다. 워크로드가 직전 세대로 충분하고 가용성이 좋으면 그것이 합리적일 때가 많다 — 벤치마크는 그 시점에 실측하고 TCO로 판단.

비NVIDIA 정직: 같은 자리를 AMD Instinct(MI 시리즈)·Intel Gaudi, 클라우드 자체 칩(TPU·Trainium·Inferentia 등)이 겨룬다. NVIDIA의 차별점은 칩 단품이 아니라 NVLink·NCCL·CUDA·HGX/DGX·소프트웨어 스택의 통합(이 책 전체)이다. 칩 사양만 비교하지 말고 소프트웨어·인터커넥트·생태계까지 보고, 워크로드로 실측하라.

4.1.9 흔한 함정

• 아키텍처와 제품명 혼동. "Hopper를 샀다"가 아니라 "H100 SXM 80GB를 샀다"처럼 SKU까지 봐야 메모리·폼팩터·NVLink가 정해진다. 같은 세대도 SKU마다 메모리·전력이 다르다.
• PCIe와 SXM을 성능 동급으로 가정. 같은 칩이라도 PCIe는 TDP·NVLink가 제한돼 다GPU·고전력 워크로드에서 SXM보다 느리고 확장이 약하다. 다GPU 학습에 PCIe를 구성하면 통신 병목.
• 소비자 카드로 데이터센터 워크로드. ECC 없음·24/7 비검증·NVLink 제한·라이선스(데이터센터 드라이버·일부 SW)·냉각 한계. 실험엔 되나 production 학습/서빙엔 부적합.
• 클라우드 인스턴스 토폴로지 무시. "8 GPU"라도 NVSwitch 풀연결인지 PCIe인지에 따라 다GPU 성능이 천차만별. 인스턴스 스펙에서 GPU 간 연결·노드 간 네트워크(4.11)를 확인.
• 사양 수치를 외워 단정. 코어·HBM·TFLOPS·전력은 세대·SKU·시점마다 바뀐다. 이 책의 어떤 수치도 그대로 인용하지 말고 데이터시트로.
• 최신 세대 신기능을 다 쓴다고 가정. FP8·FP4·TMA 같은 신기능은 소프트웨어·라이브러리가 지원해야 실현된다(4.2~4.4). 칩만 새것이라고 자동으로 빨라지지 않는다.

4.1.10 연습문제

연습 1 (갈래 매핑). 다음 각각에 학습 갈래(SXM·HBM·NVLink) vs 추론 갈래(PCIe·GDDR·MIG) 중 무엇이 맞고 왜인지: (a) 405B LLM 사전학습, (b) 초당 수천 건 이미지 분류 추론, (c) 8K 해상도 비디오 트랜스코딩+분석, (d) 단일 노드에서 13B 모델 LoRA 파인튜닝.

연습 2 (폼팩터 결과). 같은 Hopper 칩의 SXM과 PCIe 버전으로 8-GPU all-reduce(4.13) 집중 학습을 실행할 때 성능 차이가 나는 메커니즘을 두 가지 대고, 어느 쪽이 유리한지.

연습 3 (HGX vs DGX vs 클라우드). 스타트업이 첫 LLM 파인튜닝 인프라를 정한다. HGX 서버 구매·DGX 구매·클라우드 임대의 트레이드오프를 CapEx·유연성·운영부담으로 비교하고, 일반적 권고는?

연습 4 (세대 선택). 직전 세대 GPU가 가용성 좋고 30% 싸며 워크로드가 그것으로 충분하다. 최신 세대(FP8·새 기능)로 갈 합리적 근거와, 안 갈 근거를 각각.

4.1.11 요약 · 다음 장

• 데이터센터 GPU는 스케일·신뢰성·공유(HBM·NVLink·ECC·MIG·고밀도 폼팩터)에 최적화돼 소비자 GPU와 다르다.
• 아키텍처 세대 ≠ 제품명 ≠ 라인업. 용도는 대략 학습·HPC 갈래(SXM·HBM·NVLink) 와 추론·그래픽 갈래(PCIe·GDDR·저전력) 로 갈린다.
• 폼팩터: SXM(NVLink·고전력·HGX, 대규모 학습) vs PCIe(유연·저전력, 추론·범용). 시스템은 HGX(OEM 베이스보드)·DGX(NVIDIA 턴키)·클라우드 인스턴스로 산다.
• 선택은 형상으로: 모델이 한 GPU 초과·매 스텝 통신이면 SXM·NVSwitch, 작은 모델 다수면 추론 갈래·MIG. 구체 사양은 외우지 말고 데이터시트로, 최신 세대는 TCO로 판단.

다음 장: 4.2 Hopper I — 트랜스포머 엔진·FP8. 세대 하나를 깊게 판다. Hopper가 트랜스포머 학습·추론을 위해 도입한 FP8 + 트랜스포머 엔진(레이어별 동적 스케일링)이 정밀도(1.13~1.14)와 텐서코어(1.12)를 어떻게 한 단계 끌어올렸는지, 그리고 실제로 어떻게 켜는지를 본다.