엔비디아 기술 스택: AI·자율주행·로보틱스 전문 가이드 (학습 세분화 2판)

이 책은 무엇인가

엔비디아(NVIDIA)의 기술 스택을 컴퓨팅 기반(GPU·CUDA) → AI 소프트웨어 → 도메인 솔루션(데이터센터 AI·자율주행·로보틱스·디지털트윈) 의 층위로, 좁은 주제 단위로 끝까지 학습하도록 세분한 교재다. 이 2판은 각 장을 더 짧은 한 호흡(집중 학습 1회분)으로 더 잘게 나눠, 한 번에 소화하는 양을 줄였다. 각 장은 학습목표·개념·메커니즘·도해(mermaid·SVG)·따라하기(워크스루/실습 코드)·체크포인트·트레이드오프·함정·연습문제를 갖춘다. 주제·범위·출처 방침의 출처는 BOOK.md(BK), 변경 이력은 CHANGES.md(CHG).

독자와 전제

• 대상: AI/ML·자율주행·로보틱스 엔지니어, 시스템·HPC 아키텍트, 기술 리더.
• 전제: GPU·딥러닝·임베디드·리눅스·컨테이너 기초는 가정. 이 책은 기초 강의가 아니라 엔비디아 스택을 실습으로 익히는 교재다.

읽는 법 (학습 경로)

• 순차 학습: 제0~3부(GPU·CUDA·라이브러리, 0.1~3.8)는 모든 도메인의 토대다. 처음 학습자는 0.1부터 순서대로.
• 도메인 직행: 토대를 아는 독자는 제4부 이후 관심 도메인(데이터센터·자율주행·로보틱스·시뮬레이션)으로 분기. 각 도메인 장은 필요한 토대를 NV-NN으로 역참조한다.
• 역할별 로드맵은 A.4 참조.
• 실습 환경 준비는 0.3(개요)과 A.1(레퍼런스). 각 장은 환경 셋업을 반복하지 않고 이를 참조한다.
• 버전·사양 주의: 본문의 구체 수치·제품명·SDK 버전은 집필 시점 기준이며 세대 교체·리브랜딩이 잦다. "시점 의존, 확인 필요" 표기 항목은 반드시 해당 시점 공식 문서로 확인한다. 코드의 예상 출력·벤치마크는 환경 의존이며 개략값이다.

장 인덱스

제0부 — 개관

• 0.1: 엔비디아 풀스택 전략과 "3개의 컴퓨터" — 학습·시뮬레이션·배포의 세 컴퓨터(역할이지 하드웨어 종류 아님), 왜 풀스택인가.
• 0.2: 수직 통합과 이 책의 학습 지도 — 실리콘→시스템→소프트웨어→도메인, 부별 학습 경로.
• 0.3: 학습 환경 준비 — 드라이버·CUDA Toolkit·컨테이너(NGC)·devkit, 검증 절차, 이 책 실습의 전제.

제1부 — GPU 아키텍처

• 1.1: 처리량 vs 지연 컴퓨팅 — GPU가 CPU와 다른 설계 철학, 처리량 기계.
• 1.2: SIMT·워프·지연 은닉 — 32스레드 워프, 발행 모델, 메모리 지연을 숨기는 원리.
• 1.3: 칩 상위 구조 — GPC·TPC·SM 계층 — 코어 수의 의미, 스케일링 단위.
• 1.4: SM 내부 I — 처리블록·레지스터 파일 — 서브파티션 구조, 0사이클 문맥 전환.
• 1.5: SM 내부 II — 워프 스케줄링·지연 은닉·dual-issue — 매 사이클 발행, stall 사유.
• 1.6: SM 내부 III — 점유율 수계산·limiter·튜닝 — 레지스터·공유메모리·블록 한도로 occupancy 계산.
• 1.7: 온칩 메모리 I — 레지스터·공유 메모리·뱅크 — 저지연 메모리, 뱅크 충돌.
• 1.8: 온칩 메모리 II — L1/L2·캐시·메모리 병합 — 캐시 계층, coalescing.
• 1.9: HBM과 대역폭 산수 — 메모리 대역폭, 도달 가능 처리량 계산.
• 1.10: 루프라인·메모리바운드 분석 — 산술 강도, compute/memory bound 판별.
• 1.11: 텐서코어 I — MMA·워프 수준 행렬곱 — 행렬 곱-누산 동작.
• 1.12: 텐서코어 II — 세대 진화·트랜스포머 엔진 — 세대별 변화, FP8/FP4 가속.
• 1.13: 수치 정밀도 I — 부동소수 포맷 — FP32·TF32·FP16·BF16·FP8·FP4 구조.
• 1.14: 수치 정밀도 II — 혼합정밀도·양자화 기초·구조적 희소성 — 손실·스케일링·2:4 희소성.

제2부 — CUDA 프로그래밍

• 2.1: 첫 CUDA 커널 I — 빌드·실행·호스트/디바이스 흐름 — 컴파일·실행 파이프라인(실습).
• 2.2: 첫 CUDA 커널 II — 인덱싱·경계검사·검증 — 스레드 인덱싱, 정확성 검증(실습).
• 2.3: 실행 구성 — 그리드·블록·grid-stride 설계 — 차원 설계와 점유율 연결.
• 2.4: 메모리 모델 I — 종류 — 글로벌·상수·텍스처·로컬.
• 2.5: 메모리 모델 II — 전송 최적화 — pinned·async·zero-copy·통합 메모리.
• 2.6: 공유 메모리 I — 뱅크·충돌·동기화 — 공유메모리 메커니즘.
• 2.7: 공유 메모리 II — 타일 행렬곱 — 타일링 실습.
• 2.8: 동기화 I — barrier·atomic — 블록 동기화, 원자연산.
• 2.9: 동기화 II — 워프 shuffle·vote·협력 그룹 — 워프 수준 프리미티브.
• 2.10: 스트림·이벤트·비동기 오버랩 — 복사·연산 오버랩, 동시성.
• 2.11: CUDA Graphs — 런치 오버헤드 절감, 그래프 캡처.
• 2.12: 컴파일 흐름 — nvcc·PTX·SASS·아키텍처 타깃·JIT.
• 2.13: 프로파일링 I — Nsight Systems — 타임라인·시스템 수준 분석(실습).
• 2.14: 프로파일링 II — Nsight Compute — 커널 수준 분석·limiter(실습).
• 2.15: CUDA 라이브러리 I — Thrust·CUB·CCCL — 고수준 병렬 프리미티브.
• 2.16: CUDA 라이브러리 II — Python(CuPy·Numba·Warp) — 파이썬 GPU 가속.

제3부 — 딥러닝 라이브러리

• 3.1: cuBLAS·cuBLASLt — GEMM 가속과 에필로그 융합.
• 3.2: cuDNN I — 프리미티브 — 컨볼루션 알고리즘 중심(cuDNN의 정체성), norm·pooling·활성 등 나머지 프리미티브 개관.
• 3.3: cuDNN II — 그래프 융합 API·휴리스틱 — 연산 융합, 엔진 선택.
• 3.4: CUTLASS I — 계층·GEMM 구성 — 커널 구성 계층.
• 3.5: CUTLASS II — CuTe 레이아웃·텐서 — 레이아웃 대수(실습).
• 3.6: 어텐션 I — 메모리 문제·FlashAttention 원리 — 왜 융합이 필요한가.
• 3.7: 어텐션 II — 융합 커널·실전 라이브러리 — 적용·선택.
• 3.8: 데이터 로딩·전처리 가속 — DALI·CV-CUDA·nvJPEG.

제4부 — 데이터센터와 스케일

• 4.1: 데이터센터 GPU 세대와 폼팩터 — 라인업·SXM/PCIe 선택.
• 4.2: Hopper I — 트랜스포머 엔진·FP8 — FP8 학습·추론 가속.
• 4.3: Hopper II — TMA·스레드블록 클러스터·DSMEM — 신규 실행/메모리 기능.
• 4.4: Blackwell I — 듀얼다이·FP4·2세대 TE — 아키텍처(발표 기준).
• 4.5: Blackwell II — 5세대 NVLink·NVL72 — 랙스케일 인터커넥트(발표 기준).
• 4.6: NVLink·NVSwitch I — 링크·대역폭 — 노드 내 인터커넥트 기초.
• 4.7: NVLink·NVSwitch II — 도메인 토폴로지 — NVLink 도메인·스케일.
• 4.8: Grace I — Grace CPU·NVLink-C2C·메모리 일관성 — CPU-GPU 결합.
• 4.9: Grace II — GB200 NVL72 랙스케일 — 슈퍼칩·랙 단위 시스템.
• 4.10: MIG와 GPU 공유 — 하드웨어 분할·멀티테넌시.
• 4.11: 스케일아웃 네트워킹 I — InfiniBand·Spectrum-X — 클러스터 패브릭.
• 4.12: 스케일아웃 네트워킹 II — GPUDirect RDMA·스토리지 — 데이터 경로 가속.
• 4.13: NCCL I — 집합연산 원리·알고리즘 — ring·tree, 통신 기본기.
• 4.14: NCCL II — 병렬화 매핑·튜닝 — 병렬화 전략에의 매핑(실습).

제5부 — 추론 최적화와 서빙

• 5.1: 추론 최적화 개관 — 지연·처리량·정밀도·메모리 사면체.
• 5.2: TensorRT I — ONNX→엔진 빌드 흐름 — 빌드 파이프라인(실습).
• 5.3: TensorRT II — 빌더 최적화·동적 shape — 최적화 프로파일(실습).
• 5.4: TensorRT 정밀도 I — INT8 PTQ·캘리브레이션 — 후처리 양자화.
• 5.5: TensorRT 정밀도 II — QAT·FP8·정확도 검증 — 학습 인지 양자화.
• 5.6: TensorRT 플러그인·커스텀 레이어 — 미지원 연산 처리.
• 5.7: TensorRT-LLM I — 아키텍처·KV 캐시 — LLM 추론 구조.
• 5.8: TensorRT-LLM II — 인플라이트 배칭·페이지드 KV — 처리량 극대화.
• 5.9: TensorRT-LLM III — 양자화·병렬(TP·PP) — 정밀도·분산 추론.
• 5.10: TensorRT-LLM IV — speculative decoding — 디코딩 가속(실습).
• 5.11: Triton I — 모델 리포지토리·백엔드 — 서빙 구조(실습).
• 5.12: Triton II — config·동시성·인스턴스 — 인스턴스·동시성(실습).
• 5.13: Triton III — 동적·시퀀스 배칭 — 배칭 전략.
• 5.14: Triton IV — 앙상블·BLS·운영 지표 — 파이프라인·관측.
• 5.15: 오픈소스 서빙과 비교 — vLLM·SGLang vs 엔비디아 스택.

제6부 — 생성형 AI 플랫폼

• 6.1: 생성형 AI 라이프사이클 개관 — 데이터→학습→정렬→배포→RAG.
• 6.2: NeMo I — 프레임워크 구조·데이터 — 구성요소·데이터 경로.
• 6.3: NeMo II — 병렬화(TP·PP·DP·시퀀스) — 대규모 분산 학습.
• 6.4: NeMo III — SFT·PEFT(LoRA) — 커스터마이즈(실습).
• 6.5: NeMo IV — 정렬(RLHF·DPO) — 선호 정렬(실습).
• 6.6: 데이터 큐레이션 — NeMo Curator.
• 6.7: NIM I — 구조·OpenAI 호환 API — 마이크로서비스 추론.
• 6.8: NIM II — 배포·스케일 — 운영·확장(실습).
• 6.9: RAG I — Retriever·임베딩·벡터DB — 검색 구성요소.
• 6.10: RAG II — 파이프라인·평가 — 엔드투엔드·평가(실습).
• 6.11: 가드레일·에이전트·안전 — NeMo Guardrails·에이전틱 워크플로우.

제7부 — 엔터프라이즈 운영과 MLOps

• 7.1: NVIDIA AI Enterprise — 스위트 구성·라이선스.
• 7.2: 쿠버네티스 GPU 운영 I — GPU Operator·디바이스 플러그인 — 클러스터 셋업.
• 7.3: 쿠버네티스 GPU 운영 II — DCGM·모니터링·스케줄링 — 관측·배치(실습).
• 7.4: GPU 가상화·공유 I — vGPU·타임슬라이싱 — 공유 방식 I.
• 7.5: GPU 가상화·공유 II — MPS·MIG 비교·선택 — 공유 방식 II·선택.
• 7.6: AI 인프라 보안 — 컨테이너·공급망·쿠버네티스 — 이미지·모델 가중치 공급망, RBAC·시크릿, 격리의 보안 함의. 번호는 추가 순서상 책 끝이나 내용은 이 자리(7.5 다음)에 속한다.
• 7.7: MLOps 라이프사이클과 관측성 — 파이프라인·드리프트·활용률.

제8부 — 자율주행

• 8.1: 자율주행 컴퓨팅 요구와 중앙집중 아키텍처 — 존 아키텍처·실시간·전력.
• 8.2: DRIVE SoC I — Orin 아키텍처 — 이기종 컴퓨팅 블록.
• 8.3: DRIVE SoC II — Thor·차세대 — 차세대 SoC(발표 기준).
• 8.4: DLA·PVA I — DLA 오프로드 — 고정기능 추론 가속.
• 8.5: DLA·PVA II — PVA·VPI·GPU 분업 — 비전 가속·분업.
• 8.6: DRIVE OS I — 하이퍼바이저·RTOS — 기반 OS·격리.
• 8.7: DRIVE OS II — 미들웨어·통신·DRIVE 스택 — 미들웨어 계층.
• 8.8: 기능안전 I — ISO 26262·ASIL 기초 — 안전 무결성 기본.
• 8.9: 기능안전 II — 안전 메커니즘·아키텍처 패턴 — 결함 처리·중복화.
• 8.10: 기능안전 III — SOTIF(ISO 21448) — 의도 기능의 안전.
• 8.11: 기능안전 IV — AI 인지의 안전·검증 — 학습 기반 인지의 보증.
• 8.12: 자율주행 사이버보안 — ISO/SAE 21434·CSMS·TARA — 안전의 4번째 기둥(보안은 안전의 전제). 번호는 추가 순서상 책 끝이나 내용은 이 자리(8.8~8.11 안전)에 속한다.
• 8.13: DriveWorks·Hyperion 센서 스택 — 센서 추상화·캘리브레이션·융합(워크스루).
• 8.14: 자율주행 AI I — 인지·계획·데이터 엔진 — 인지/계획 파이프라인.
• 8.15: 자율주행 AI II — DRIVE Sim·재시뮬레이션 — 시뮬레이션·재현.

제9부 — 로보틱스

• 9.1: Jetson 플랫폼과 모듈 선택 — 라인업·SoC·폼팩터.
• 9.2: JetPack·L4T I — 플래싱·부팅 — 이미지·부트 흐름.
• 9.3: JetPack·L4T II — 컨테이너·배포 — 엣지 배포(실습).
• 9.4: Jetson 전력·성능 운영 — nvpmodel·발열·메모리 공유.
• 9.5: DeepStream — 비디오 분석 파이프라인 — 멀티스트림 추론.
• 9.6: VPI — 비전 가속 — 비전 프리미티브(실습).
• 9.7: Isaac ROS I — NITROS·GPU 가속 ROS 2 — 가속 구조.
• 9.8: Isaac ROS II — 그래프·노드 — 가속 그래프 구성(실습).
• 9.9: Isaac 인지 — cuVSLAM·nvblox — 위치추정·매핑.
• 9.10: Isaac 매니퓰레이션 — cuMotion — 모션 플래닝.
• 9.11: Isaac Sim I — PhysX·씬·RTX 센서 — 시뮬레이션 기반.
• 9.12: Isaac Sim II — ROS 브리지·합성데이터 — 연동·데이터(실습).
• 9.13: Isaac Lab I — GPU 병렬 RL 구조 — 대규모 병렬 학습.
• 9.14: Isaac Lab II — 도메인 랜덤화·학습 — 정책 학습(실습).

제10부 — 시뮬레이션·디지털트윈·피지컬 AI

• 10.1: Omniverse I — Kit·확장·앱 — 플랫폼 핵심.
• 10.2: Omniverse II — Nucleus·RTX·커넥터 — 협업·렌더·연결.
• 10.3: OpenUSD I — Stage·Prim·Layer — 데이터 모델 기초.
• 10.4: OpenUSD II — 컴포지션 아크 — 컴포지션·오버라이드(실습).
• 10.5: 합성데이터 I — Replicator 파이프라인 — 생성 파이프라인.
• 10.6: 합성데이터 II — 도메인 랜덤화·자동 라벨 — 라벨·다양화(실습).
• 10.7: Sim2Real과 도메인 갭 — 이전·system identification·미세조정.
• 10.8: 디지털트윈 I — 산업·로봇 트윈 구축 — 트윈 설계.
• 10.9: 디지털트윈 II — 운영·실시간 연동 — 운영·데이터 연동.
• 10.10: 휴머노이드·GR00T I — VLA 파운데이션 모델 — 로봇 파운데이션 모델.
• 10.11: 휴머노이드·GR00T II — 데이터 플라이휠·학습 — 데이터·학습 루프.

제11부 — 종합

• 11.1: 엔드투엔드 워크플로우 통합 — 학습→최적화→배포→엣지, 도메인 대조.
• 11.2: 도메인 간 공통 기술과 미래 방향 — 수렴·피지컬 AI·로드맵·리스크.

부록

• A.1: 실습 환경 셋업 레퍼런스 — OS·드라이버·CUDA·컨테이너·클라우드·devkit.
• A.2: 용어집·약어 — 아키텍처·SDK·도메인 용어.
• A.3: 참고 자료·SDK·문서 출처 — 공식 진입점(추측 링크 없음).
• A.4: 역할별 학습 로드맵 — 직무별 권장 학습 경로.