제7부 엔터프라이즈 운영과 MLOps

7.4 GPU 가상화·공유 I — vGPU·타임슬라이싱

7.4.1 이 장에서 배우는 것 / 선수 지식

5.12·7.2에서 "GPU가 한 워크로드에 전체가 할당되면 낭비된다"를 봤고, 타임슬라이싱·MIG·MPS를 언급만 했다. 이제 GPU 공유를 본격적으로 판다. 공유는 활용률을 높이지만 격리·간섭·QoS라는 새 질문을 만든다 — 한 워크로드가 다른 워크로드의 메모리를 과점유하거나 연산을 독점하면? 이 장(I)은 vGPU(가상머신·VDI에 GPU 할당)와 타임슬라이싱(시간 분할 공유)을 다루고, 7.5(II)에서 MPS·MIG와 비교한다.

핵심 통찰: GPU 공유 방식들은 "격리 수준"의 스펙트럼이다 — 타임슬라이싱(격리 없음) → MPS(약함) → vGPU(메모리 분할 + 시간 공유) → MIG(하드웨어 완전 격리). 그리고 메모리가 핵심 제약이다 — 타임슬라이싱은 연산을 시간으로 나누되 메모리는 안 나눈다(먼저 점유하는 쪽이 우선), vGPU 프로파일은 메모리(프레임버퍼)를 분할한다. 무엇을 쓸지는 "격리가 얼마나 필요한가"로 정한다.

배우는 것:

공유 스펙트럼 — 타임슬라이싱·vGPU·MPS·MIG의 격리·용도 위치.
vGPU — 하이퍼바이저 + vGPU 소프트웨어로 물리 GPU를 VM들에 가상화, 프로파일(프레임버퍼 분할), VDI·VM·클라우드.
타임슬라이싱 — 시간 분할 공유, 격리 없음, 메모리 미분할, 오버서브스크립션.
메모리가 핵심 제약 — 시간 공유 vs 메모리 분할의 차이.
vGPU 스케줄링 정책·라이선스(NVAIE, 7.1)·가상화 오버헤드 vs VM 이점.

선수 지식: 5.12(활용률·인스턴스)·7.2(k8s 타임슬라이싱), 4.10(MIG 개념), 7.1(vGPU 라이선스), 4.1(데이터센터 GPU). MPS·MIG 비교는 7.5. 환경은 가상화(VMware/KVM) 또는 k8s.

정직: vGPU 소프트웨어·프로파일·하이퍼바이저 지원·라이선스는 버전·제품 의존이고 자주 바뀐다 — 이 장은 공유의 원리·격리 트레이드오프를 가르치고 구체 프로파일·명령은 개념으로. 가격은 다루지 않는다(BK-04). 모든 수치는 환경 의존.

7.4.2 공유 스펙트럼 — 격리의 축

한 GPU를 여럿이 나누는 네 방식을 격리 수준으로 줄 세운다:

방식	메모리	연산	격리	이 책
타임슬라이싱	미분할	시간 분할	없음	이 장
vGPU	프로파일 분할	시간 분할(VM간)	메모리○·연산△	이 장
MPS	공유	공간(SM)	약함	7.5
MIG	하드 분할	하드 분할	완전	4.10·7.5

핵심: "격리가 얼마나 필요한가"가 방식을 정한다. 개발·신뢰하는 워크로드면 타임슬라이싱(간단), VM·VDI·멀티테넌시면 vGPU(메모리 분할), 작은 커널 동시 효율이면 MPS, 멀티테넌트 production·성능 예측이면 MIG(완전 격리). 메모리 분할 여부가 큰 갈림길이다.

7.4.3 타임슬라이싱 — 시간 분할, 격리 없음

타임슬라이싱(temporal sharing): GPU가 여러 컨텍스트를 시간으로 번갈아 실행한다(7.2에서 k8s 설정으로 봄).

시간 축: GPU 1개를 3개 워크로드(A·B·C)가 컨텍스트 전환으로 번갈아 점유한다(시간 분할). 특성 — 연산은 시간 분할(한 번에 하나의 컨텍스트가 GPU 점유), 메모리는 '분할 안 됨'(각 워크로드가 자기 메모리를 할당, 합이 GPU 메모리 초과하면 OOM), 격리 없음(한 워크로드가 메모리를 다 잡으면 다른 것이 OOM, 연산을 오래 점유하면 다른 것이 기아 상태), 오버서브스크립션(실제보다 많은 '가상 GPU'를 광고, 활용↑·경합 위험).

타임슬라이싱의 본질:

간단·범용: 특별한 하드웨어 분할 없이 컨텍스트 전환으로. 어떤 GPU·워크로드에도.
메모리 미분할이 함정: 연산은 시간으로 나누지만 메모리는 공유 풀이다 — 먼저 할당하는 워크로드가 임자, 합이 초과하면 OOM. 그래서 타임슬라이싱은 "메모리가 충분히 작은 워크로드 여럿"에 적합.
격리 없음: 한 워크로드의 메모리 폭주·연산 독점·크래시가 다른 워크로드에 영향. 신뢰 경계가 같은(같은 팀·개발) 경우에.

견해: 타임슬라이싱은 개발·작은 추론·버스트 적은 워크로드의 활용률 높이기에 좋다(간단·범용). 그러나 격리·QoS가 필요한 멀티테넌트 production엔 부적합 — 메모리 미분할·간섭 때문. 격리가 필요하면 vGPU(메모리 분할)·MIG(완전).

7.4.4 vGPU — 가상머신에 GPU를

vGPU는 하이퍼바이저(VMware·KVM 등) + NVIDIA vGPU 소프트웨어로 물리 GPU를 여러 VM에 가상화한다.

각 VM은 'vGPU'(가상 GPU)를 보며, 프로파일로 프레임버퍼(메모리)가 분할되고, 연산은 VM 간 시간 분할(스케줄)된다.

vGPU의 핵심:

프로파일(profile): 각 vGPU에 프레임버퍼(GPU 메모리)의 고정 몫을 할당(예: 24GB GPU를 4GB×6, 8GB×3 등). 메모리는 분할되어 VM 간 격리 — 한 VM이 다른 VM 메모리를 못 침범(타임슬라이싱과 차이).
연산 스케줄: 기본적으로 VM 간 시간 분할(스케줄링 정책으로 best-effort·equal·fixed share). 또는 MIG 기반 vGPU로 연산까지 하드 격리(7.5).
VM 이점: 격리(보안·장애)·마이그레이션·멀티테넌시·기존 가상화 인프라(VMware) 활용. VDI(가상 데스크톱)·VM 기반 클라우드·엔터프라이즈.

용도:

용도	내용
VDI(Virtual Desktop)	지식 노동자에게 GPU 가속 가상 데스크톱(그래픽·CAD)
VM 기반 AI	VM 안에서 AI 워크로드(기존 VMware 인프라·격리·멀티테넌시)
클라우드 GPU 인스턴스	하이퍼바이저로 GPU를 테넌트에 분할 제공

라이선스: vGPU는 vGPU 소프트웨어·AI Enterprise 라이선스(7.1) 대상(시점 의존).
가상화 오버헤드: 베어메탈 대비 약간의 오버헤드가 있으나, VM의 격리·관리·멀티테넌시 이점과 교환.

핵심: vGPU는 "VM 세계에서 GPU를 안전하게 나누는" 방식이다 — 프로파일로 메모리를 분할해 VM 간 격리하고, 기존 가상화 인프라(VMware)·VDI·멀티테넌시에 통합한다. 베어메탈 k8s(7.2)와 다른 운영 모델(VM 중심)인 조직에 맞다.

7.4.5 메모리가 핵심 제약

공유 방식의 가장 큰 갈림길은 메모리를 분할하느냐다.

방식	메모리	함의
타임슬라이싱	미분할(공유 풀)	워크로드들의 메모리 합 ≤ GPU 메모리여야 함(초과하면 OOM), 한 워크로드가 메모리를 다 잡으면 다른 것이 못 들어옴(격리 없음)
vGPU/MIG	분할(프로파일/슬라이스)	각자 정해진 메모리 몫, 다른 것을 침범 못 함(격리), 단 몫이 고정이라 유연성↓(작은 몫에 큰 모델 적재 불가)

함의(공유 설계):

타임슬라이싱: 메모리 작은 워크로드 여럿(개발·작은 추론). 메모리 큰 모델을 여러 개 적재하면 OOM.
vGPU: 메모리를 분할해 격리하되, 각 VM의 몫이 그 워크로드에 충분해야(작은 몫에 큰 모델 불가).
KV 캐시 주의(LLM): LLM은 KV 캐시(5.7)로 메모리가 크게 변동 → 타임슬라이싱 공유 시 OOM 위험. 격리(MIG·vGPU 프로파일)가 안전.

견해: "연산만 나누면 되나, 메모리도 나눠야 하나" 가 첫 질문이다. 메모리 작고 신뢰하는 워크로드면 타임슬라이싱(연산만 시간 분할), 메모리 격리·QoS가 필요하면 vGPU(메모리 분할)·MIG. LLM처럼 메모리가 크고 변동하면 격리 쪽으로.

7.4.6 워크스루 — 공유 방식 적용

타임슬라이싱(k8s, 7.2 복습):

# device plugin 타임슬라이싱: GPU 1개를 4개로 광고(격리 없음)
sharing:
  timeSlicing:
    resources:
    - name: nvidia.com/gpu
      replicas: 4          # 1 GPU → 4 파드 시간 분할. 메모리 합 주의(OOM)

vGPU(하이퍼바이저, 개념):

각 VM은 격리된 메모리 몫 + 시간 분할 연산을 받는다 — VDI·VM AI·멀티테넌시.

선택 가이드:

상황	선택
메모리 작고 신뢰(개발·작은 추론)	타임슬라이싱(간단)
VM·VDI·기존 가상화 인프라·멀티테넌시	vGPU(메모리 분할)
작은 커널 동시 효율(추론)	MPS(7.5)
멀티테넌트 production·성능 예측·완전 격리	MIG(7.5)

7.4.7 중간 점검 (체크포인트)

[ ] GPU 공유 네 방식(타임슬라이싱·vGPU·MPS·MIG)을 격리 수준으로 줄 세운다.
[ ] 타임슬라이싱이 연산을 시간 분할하되 메모리를 안 나누고 격리가 없음을, 적합·한계와 함께 안다.
[ ] vGPU가 하이퍼바이저+소프트웨어로 VM에 GPU를 가상화하고, 프로파일로 메모리를 분할해 VM 간 격리함을 안다.
[ ] 메모리 분할 여부가 공유의 핵심 갈림길임과, LLM(KV 변동)에서 격리가 안전함을 안다.
[ ] vGPU의 용도(VDI·VM AI·멀티테넌시)·스케줄링 정책·라이선스(NVAIE)·가상화 오버헤드 vs VM 이점을 안다.

증상→의심: 타임슬라이싱 후 한 워크로드가 다른 것 OOM → 메모리 미분할(정상) → vGPU/MIG로 격리. 한 워크로드가 연산 독점·다른 것 기아 상태 → 격리 없음 → vGPU 정책·MIG. VM에서 GPU 필요 → 베어메탈 아님 → vGPU. VM의 vGPU 메모리 부족으로 큰 모델 안 올라감 → 프로파일 몫 작음 → 큰 프로파일·MIG 백드. LLM 공유 중 OOM → KV 변동 → 격리(MIG·vGPU). VDI 그래픽 가속 필요 → vGPU.

7.4.8 트레이드오프·대안

방식	누구에게	격리	비고
타임슬라이싱	개발·작은 추론·신뢰·베어메탈	없음	간단·범용, 메모리 미분할 OOM 위험
vGPU	VM·VDI·멀티테넌시·기존 가상화	메모리○·연산△	프로파일 분할, 가상화 오버헤드, 라이선스
MPS(7.5)	작은 커널 동시·추론	약함	공간 공유
MIG(4.10·7.5)	멀티테넌트·예측·완전 격리	완전	하드 분할, 입자 고정

견해: 운영 모델이 갈림길이다 — 베어메탈 k8s면 타임슬라이싱/MPS/MIG(7.2·7.5), VM/VDI 중심(VMware)이면 vGPU. 격리가 필요 없고 메모리가 작으면 타임슬라이싱, 멀티테넌트·메모리 격리·VDI면 vGPU, production 완전 격리면 MIG. LLM·KV 변동·미션 크리티컬은 격리 쪽. 도구는 환경(VM vs 베어메탈)·격리·라이선스로.

비엔비디아 정직: GPU 가상화·공유는 다른 접근(클라우드 GPU 인스턴스가 내부적으로 vGPU/MIG 사용, 다른 하이퍼바이저)도 있다. vGPU의 강점은 VMware 등 주류 하이퍼바이저 통합·VDI·메모리 분할·NVAIE 지원이다. 클라우드면 인스턴스가 이미 공유를 추상화 — 직접 vGPU 운영 vs 클라우드 인스턴스를 환경으로 판단.

7.4.9 흔한 함정

타임슬라이싱 = 격리로 오해. 메모리 미분할·연산 독점·크래시 전파 — 격리 없음. 신뢰 경계 같은 경우만. 멀티테넌트는 vGPU/MIG.
메모리 합 초과. 타임슬라이싱은 메모리 풀 공유 — 워크로드 메모리 합이 GPU 초과하면 OOM. 작은 워크로드 여럿에만.
LLM을 타임슬라이싱 공유. KV 캐시(5.7) 변동으로 OOM 위험 → 격리(MIG·vGPU 프로파일).
vGPU 프로파일 몫 부족. 작은 프레임버퍼 프로파일에 큰 모델 안 올라감 → 큰 프로파일·MIG 백드 vGPU.
vGPU 라이선스 누락. vGPU/NVAIE 라이선스 필요(시점 의존) — 확인.
가상화 오버헤드 무시 또는 과대평가. 약간의 오버헤드 vs VM 격리·관리·멀티테넌시 이점을 교환 — 워크로드로 판단.
환경 안 맞는 방식. 베어메탈에 vGPU(불필요), VM에 베어메탈 공유 가정 — 운영 모델에 맞게.
production QoS를 공유로 무시. 격리 없는 공유는 간섭으로 SLA 위반 → 격리(MIG)·전용.

7.4.10 연습문제

연습 1 (스펙트럼). GPU 공유 네 방식(타임슬라이싱·vGPU·MPS·MIG)을 격리 수준으로 줄 세우고, 각각 메모리·연산이 어떻게 다뤄지는지 한 줄로.

정답

격리 약→강: 타임슬라이싱 < MPS < vGPU < MIG. ① 타임슬라이싱: 메모리 미분할(공유 풀, OOM 위험), 연산 시간 분할, 격리 없음. ② MPS(7.5): 메모리 미분할(공유), 연산 공간 공유(SM 나눔), 약한 격리. ③ vGPU: 메모리 프로파일로 분할(VM 간 격리), 연산 VM 간 시간 분할(또는 MIG 백드면 하드), 메모리 격리○·연산△. ④ MIG(4.10): 메모리·SM·대역을 하드웨어로 분할(완전 격리), 연산도 하드 격리. 핵심 갈림길은 메모리 분할 여부 — 타임슬라이싱/MPS는 미분할(공유), vGPU/MIG는 분할(격리). 격리가 필요할수록 오른쪽.

연습 2 (타임슬라이싱 한계). 8개 작은 추론 모델을 한 GPU에 타임슬라이싱으로 올렸더니 가끔 OOM이 난다. 원인과, 격리가 필요하면 무엇으로 바꾸나?

정답

원인: 타임슬라이싱은 연산을 시간 분할하되 메모리를 분할하지 않는다 — 8개 모델이 공유 메모리 풀에서 각자 할당하므로, 그 합이 GPU 메모리를 초과하는 순간(또는 한 모델이 일시적으로 메모리를 더 쓸 때) OOM. 시간 분할이라 연산은 번갈아 되지만 메모리는 동시에 상주해야 하니 합이 초과하면 실패. 게다가 격리가 없어 한 모델의 메모리 폭주가 다른 모델을 OOM시킴. 해결: ① 모델 메모리 합이 GPU에 들어가게 수를 줄이거나, ② 격리가 필요하면 MIG(7.5) — 하드웨어로 메모리·SM을 분할해 각 모델이 격리된 몫을 받음(다른 모델 침범 불가), 또는 vGPU 프로파일(VM 환경이면). MIG는 입자가 고정이라 모델 크기에 맞는 슬라이스 선택. LLM이면 KV 변동으로 더 위험 → 격리 필수. 핵심: 타임슬라이싱은 메모리 작고 합이 안전한 경우만, 격리·QoS는 MIG/vGPU.

연습 3 (vGPU). VMware 기반 기업이 가상 데스크톱(VDI)과 VM 안 AI에 GPU를 쓰려 한다. vGPU가 어떻게 동작하고 타임슬라이싱과 무엇이 다른가?

정답

vGPU 동작: 하이퍼바이저(VMware)에 vGPU 소프트웨어를 설치해 물리 GPU를 여러 VM에 가상화. 각 VM에 vGPU 프로파일을 할당하는데, 프로파일이 프레임버퍼(GPU 메모리)의 고정 몫을 분배(예: 24GB를 8GB×3 VM) → 메모리가 VM 간 분할·격리(한 VM이 다른 VM 메모리 침범 불가). 연산은 VM 간 시간 분할(스케줄링 정책으로 공정성). VM 안 게스트 드라이버로 VM이 GPU처럼 사용. 타임슬라이싱과 차이: ① 메모리 분할(vGPU 프로파일 O vs 타임슬라이싱 미분할) → vGPU는 VM 간 OOM·간섭 격리. ② VM 통합 — vGPU는 VMware 인프라·VDI·마이그레이션·멀티테넌시에 통합(타임슬라이싱은 베어메탈 k8s 컨텍스트). ③ vGPU는 라이선스(NVAIE/vGPU SW) 필요. VDI(그래픽 가속 가상 데스크톱)·VM AI·멀티테넌시에 vGPU가 적합 — 기존 가상화 인프라와 격리가 핵심. 가상화 오버헤드는 VM 이점과 교환.

연습 4 (메모리 갈림길). "연산만 나누면 되나, 메모리도 나눠야 하나"가 공유 방식 선택의 첫 질문인 이유를, 두 시나리오로 설명하라.

정답

메모리 분할 여부가 격리·OOM·QoS를 좌우하기 때문. 시나리오 A — 메모리 작고 신뢰하는 개발 워크로드 여럿: 메모리 합이 GPU에 들어가고 서로 신뢰(같은 팀)하면 메모리를 안 나눠도(타임슬라이싱) 연산만 시간 분할하면 충분 — 간단·활용↑. 메모리 분할의 고정성·오버헤드 불필요. 시나리오 B — 멀티테넌트·메모리 큰·변동(LLM KV)·QoS: 서로 안 믿는 테넌트나 메모리가 크고 변동하면, 메모리 미분할은 한 테넌트가 메모리를 모두 점유해 다른 테넌트 OOM·간섭(격리 없음). 이때 메모리를 분할(vGPU 프로파일·MIG)해 각자 격리된 몫을 보장해야 안전·QoS. 즉 메모리 분할은 격리·예측을 주지만 유연성(고정 몫)을 희생. 첫 질문이 "메모리도 나눠야 하나"인 이유: 그 답이 타임슬라이싱/MPS(미분할) vs vGPU/MIG(분할)를 가른다. 메모리 큰·변동·멀티테넌트는 분할 쪽.

연습 5 (선택). 다음에 타임슬라이싱·vGPU·MIG(7.5) 중 무엇을: (a) 데이터과학자들의 개발 노트북용 GPU 공유(베어메탈 k8s), (b) VMware 기반 VDI, (c) 외부 고객에게 격리된 GPU를 파는 멀티테넌트 추론 서비스.

정답

(a) 타임슬라이싱 — 개발용이라 신뢰 경계가 같고(같은 조직), 메모리 작은 실험이 많아 간단한 시간 분할로 활용률↑. 격리·QoS가 production만큼 중요하지 않음. 베어메탈 k8s 컨텍스트(7.2). 단 메모리 합·OOM 주의. (b) vGPU — VMware 기반이라 하이퍼바이저 + vGPU 소프트웨어로 VM(가상 데스크톱)에 GPU 가상화, 프로파일로 메모리 분할, VDI 그래픽 가속·기존 가상화 인프라 통합. 타임슬라이싱은 VM 환경이 아니고, MIG는 VDI보다 멀티테넌트 compute에. (c) MIG(7.5) — 외부 고객 멀티테넌트는 완전 격리(메모리·SM·대역)가 필수(테넌트 간 간섭·보안 차단·성능 예측·SLA). 타임슬라이싱(격리 없음)·MPS(약함)는 부적합. MIG로 각 고객에게 격리된 슬라이스를 제공. (또는 vGPU MIG-백드.) 핵심: 개발=타임슬라이싱, VM/VDI=vGPU, 멀티테넌트 격리 production=MIG.

7.4.11 요약 · 다음 장

GPU 공유는 격리 수준의 스펙트럼 — 타임슬라이싱(없음) → MPS(약함) → vGPU(메모리 분할) → MIG(완전). 메모리 분할 여부가 핵심 갈림길.
타임슬라이싱: 연산을 시간 분할하되 메모리 미분할·격리 없음 — 개발·작은 추론·신뢰 경계 같은 경우. 메모리 합 초과 OOM 주의.
vGPU: 하이퍼바이저 + 소프트웨어로 VM에 GPU 가상화, 프로파일로 프레임버퍼(메모리) 분할해 VM 간 격리 — VDI·VM AI·멀티테넌시. 가상화 오버헤드 vs VM 이점, NVAIE 라이선스(7.1).
메모리 분할 여부가 첫 질문 — 작고 신뢰면 시간 공유(미분할), 멀티테넌트·메모리 큰·변동(LLM KV)이면 분할(vGPU/MIG). 운영 모델(베어메탈 vs VM)도 갈림길.
정직: vGPU 소프트웨어·프로파일·라이선스 버전 의존, 가격 미포함(BK-04), MPS·MIG 비교는 7.5.

다음 장: 7.5 GPU 가상화·공유 II — MPS·MIG 비교·선택. 이 장의 타임슬라이싱·vGPU에 더해 MPS(공간 공유)와 MIG(하드웨어 분할, 4.10)를 깊게 비교하고, 네 방식(타임슬라이싱·MPS·MIG·vGPU)을 격리·활용·QoS·용도로 한 표에 놓아 "언제 무엇을"의 의사결정을 완성한다.