제4부 데이터센터와 스케일

4.11 스케일아웃 네트워킹 I — InfiniBand·Spectrum-X

4.11.1 이 장에서 배우는 것 / 선수 지식

4.5~4.10은 NVLink 도메인 안(노드·랙)이었다. 모델·클러스터가 그 도메인을 넘으면 통신은 노드 간 네트워크로 내려간다 — 그것이 스케일아웃 패브릭이다. NVLink보다 느린 이 계층이 대규모 학습의 다음 병목이다. NVIDIA는 두 갈래를 민다: InfiniBand(HPC 전용 인터커넥트)와 Spectrum-X(AI 최적화 이더넷). 이 장은 둘의 구조와, 왜 무손실·낮은 지연·in-network 집계가 집합연산(4.13)에 결정적인지를 본다. (NVIDIA는 GPUDirect·NCCL·이 절의 네트워킹 스택 전체를 Magnum IO라는 우산 이름으로 묶어 문서화한다 — 이 책은 개별 구성요소를 장별로 다루지만, 공식 문서를 찾을 땐 이 이름이 진입점이 될 수 있다.)

배우는 것:

노드 간 통신이 왜 다음 병목인지 — 대역 위계(NVLink ≫ 네트워크)와 데이터·파이프라인 병렬의 노드 간 통신.
InfiniBand — RDMA·무손실(credit 흐름제어)·fat-tree·SHARP(in-network reduction) 의 구조.
Spectrum-X — RoCE·적응 라우팅·혼잡 제어로 이더넷을 AI에 맞춘 대안.
무손실 네트워킹이 왜 집합연산에 필수인지(패킷 손실→재전송→집합연산 정지), bisection at scale.

선수 지식: 4.6~4.7(NVLink·토폴로지·bisection — 네트워크는 그 다음 계층), 2.5(전송·RDMA 개념), 4.12(GPUDirect RDMA·스토리지 — 다음 장, 데이터 경로), 4.13~4.14(NCCL — 이 패브릭 위 집합연산), 4.5(NVLink 도메인 경계). 환경은 0.3. 대역·포트 속도·SHARP 가용성·제품 구성은 세대·시점 의존 → 확인 필요. 이 장은 구조와 원리에 집중.

4.11.2 동기 — 네트워크가 다음 병목

대역 위계(4.6)를 다시 보면, 노드/랙 경계 너머는 급격히 느려진다:

NVLink 도메인 경계를 넘는 순간, 통신 대역이 한 자릿수~수십 배 떨어질 수 있다.

대규모 학습에서 노드 간 통신이 발생하는 지점:

데이터 병렬 all-reduce(4.13): 스텝마다 모든 GPU의 그래디언트를 합산 — 노드를 넘으면 네트워크로.
파이프라인 병렬: 스테이지 경계에서 활성화·그래디언트 전달(노드 간).
텐서·전문가 병렬이 NVLink 도메인을 초과(4.5~4.7)하면 그 통신마저 네트워크로 — 가장 아픈 경우.

확장성 법칙: GPU를 N배 늘려도, 노드 간 통신이 스텝을 지배하면 속도는 안 는다(4.14)
→ 네트워크 대역·지연·집합연산 효율이 '얼마나 큰 클러스터까지 선형 확장되나'를 결정

그래서 학습 클러스터는 칩만큼 네트워크에 투자한다. NVLink가 노드 내를 풀었다면, IB/Spectrum-X는 노드를 넘는 통신을 책임진다.

4.11.3 InfiniBand — RDMA·무손실·fat-tree

InfiniBand(IB) 는 HPC·AI 클러스터의 표준 인터커넥트다. 핵심 특성:

① RDMA(Remote Direct Memory Access). 한 노드가 다른 노드의 메모리를 CPU·OS 커널을 거의 안 거치고 직접 read/write. CPU 오버헤드·복사 없이 낮은 지연으로 대량 전송(2.5의 전송을 노드 간으로). GPU 메모리 직접은 GPUDirect RDMA(4.12).

② 무손실(lossless) — credit 기반 흐름제어. IB는 수신 측에 버퍼 여유(credit)가 있을 때만 보낸다 → 패킷을 폐기하지 않는다. 이것이 집합연산에 결정적(4.11.5).

③ fat-tree(Clos) 토폴로지. 스위치를 계층(leaf-spine)으로 쌓아 큰 bisection 대역(4.7)을 제공 — 임의의 노드 쌍이 높은 대역으로. 대규모에서 all-reduce·all-to-all이 토폴로지 병목에 안 묶이게.

각 노드는 GPU 서버다. 상위로 갈수록 링크를 두껍게(fat) 만들어 큰 bisection·비차단에 가깝게 한다.

④ SHARP — in-network reduction. IB 스위치가 네트워크 안에서 직접 reduction(합산 등)을 수행한다. all-reduce(4.13)의 합산을 GPU가 아니라 스위치가 대신 해, 데이터가 오가는 양·홉을 줄인다(in-network aggregation). 큰 클러스터 all-reduce 가속의 핵심.

4.11.4 Spectrum-X — AI에 맞춘 이더넷

이더넷은 범용·저렴·익숙하지만, 전통적으로 손실 허용(best-effort) 이라 집합연산엔 불리했다(패킷 손실·혼잡). Spectrum-X(NVIDIA)는 이더넷을 AI 워크로드에 맞춰 보강한 스택이다(스위치 + SuperNIC + 소프트웨어):

핵심 기능(AI 이더넷):

RoCE(RDMA over Converged Ethernet): 이더넷에서 RDMA.
적응 라우팅(adaptive routing): 혼잡 경로를 피해 분산 → bisection 활용↑.
혼잡 제어: ECN/PFC 등으로 손실·혼잡 억제(거의 무손실에 근접).

이로써 '이더넷의 범용성 + IB에 근접한 AI 성능'을 노린다.

왜 이더넷 갈래인가: 데이터센터가 이미 이더넷 생태계(운영·도구·인력)를 갖췄고, AI 클러스터를 기존 이더넷 인프라와 통합하고 싶을 때. Spectrum-X는 그 이더넷을 집합연산이 견딜 수준으로 끌어올린다.

4.11.5 무손실이 왜 집합연산에 필수인가

집합연산(all-reduce 등)은 모든 참여자가 동기적으로 데이터를 주고받는다. 한 링크에서 패킷 하나만 손실돼도:

대규모일수록 링크·홉이 많아 '어딘가 손실'할 확률↑ → 무손실이 결정적이다.

그래서:

IB: credit 흐름제어로 애초에 손실을 안 만든다(무손실 by design).
Spectrum-X: 혼잡 제어·적응 라우팅으로 손실·혼잡을 억제해 무손실에 근접.
전통 이더넷(best-effort): 손실 가능 → 대규모 집합연산에서 성능 불안정.

핵심: 평균 대역폭만 높다고 되는 것이 아니라, 꼬리(최악) 지연·무손실이 집합연산 성능을 좌우한다. "99% 빠르고 1% 느린" 네트워크는 동기 집합연산에서 그 1%에 전체가 묶인다. 이것이 AI 네트워크가 일반 이더넷과 다르게 설계되는 이유.

4.11.6 워크스루 — 네트워크 확인·대역 가늠

1) IB 상태 확인.

ibstat                # HCA(IB 카드) 포트 상태·속도(예 ... Gb/s)·LinkUp 여부
ibv_devinfo           # IB 디바이스·포트 상세
nvidia-smi topo -m    # GPU↔NIC 친화도(어느 GPU가 어느 NIC에 가까운지 — GPUDirect, 4.12)

2) 노드 간 대역·지연 실측.

# 두 노드 사이 RDMA 대역폭 (perftest)
# 서버: ib_write_bw    클라이언트: ib_write_bw <서버IP>
ib_write_bw           # 한 노드
ib_write_bw <server>  # 다른 노드 → 대역폭(GB/s)·메시지 크기별 출력
ib_write_lat <server> # 지연(us)

3) 확장성 가늠(개념 산수). 데이터 병렬 학습에서 스텝당 all-reduce 통신량은 모델 그래디언트 크기 G에 비례. 노드 간 네트워크 대역이 B_net이면 all-reduce 시간 ≈ $\sim2\cdot G / B_{\mathrm{net}}$(ring all-reduce 근사, 4.13). 이것이 연산 시간보다 크면 통신 바운드 → GPU 늘려도 확장 안 됨.

조건	결과
연산 시간 > 통신 시간(all-reduce)	통신이 연산 뒤에 은닉됨 → 확장 ✓
연산 시간 < 통신 시간	통신이 스텝 지배 → 확장 ✗ (네트워크가 병목)

처방: 네트워크 대역↑(IB/Spectrum-X), SHARP(in-network), 통신 줄이는 병렬화(4.14), 오버랩(2.10).

관찰: 노드 간 대역이 NVLink보다 한참 작으므로, 통신을 NVLink 도메인 안에 최대한 가두고(4.5~4.7) 노드 간엔 통신이 드문 병렬화를 매핑하는 것이 핵심(4.14).

4.11.7 중간 점검 (체크포인트)

[ ] NVLink 도메인을 넘는 통신이 왜 다음 병목인지(대역 위계·데이터/파이프라인 병렬) 설명한다.
[ ] IB의 네 특성(RDMA·무손실 credit·fat-tree·SHARP)과 각각이 무엇을 해결하는지 안다.
[ ] Spectrum-X가 이더넷을 AI에 맞춘 방식(RoCE·적응 라우팅·혼잡 제어)과 IB와의 포지션 차이를 말한다.
[ ] 무손실·꼬리 지연이 집합연산 성능을 좌우하는 이유(손실→재전송→전원 스톨)를 설명한다.

증상→의심: 다노드 학습이 단노드 대비 확장 안 됨 → 노드 간 통신 바운드(네트워크 대역·all-reduce 시간 측정). all-reduce가 불규칙 → 패킷 손실·혼잡(무손실 설정·PFC/ECN·라우팅 점검). 일부 노드만 느림 → NIC·케이블·포트 속도 저하(ibstat). GPU-NIC 친화도 무시로 느림 → GPUDirect 경로 아닌 호스트 경유(4.12·topo -m).

4.11.8 트레이드오프 — IB vs Spectrum-X(이더넷)

축	InfiniBand	Spectrum-X(이더넷)
성능	최고 수준·검증된 무손실·SHARP	IB에 근접(AI 최적 이더넷)
무손실	by design(credit)	혼잡 제어로 근접
생태계	HPC 전용·전문 운영	이더넷 범용·기존 인프라·인력
in-network reduction	SHARP	기능·구성 의존(확인)
통합	별도 패브릭	기존 이더넷과 통합 쉬움

견해: 최고 성능·검증된 대규모 학습은 전통적으로 IB(무손실·SHARP·성숙도). 기존 이더넷 인프라·운영 친숙도를 살리고 싶거나 멀티테넌트 클라우드 통합이 중요하면 Spectrum-X가 매력적 — 이더넷 생태계에서 AI 성능을 끌어올린다. 선택은 성능 요구·운영 역량·기존 인프라·비용으로, 그 시점 벤치마크와 클러스터 규모로 판단. 대부분은 클라우드가 고른 패브릭을 쓰게 되니, 인스턴스·클러스터의 네트워크 사양을 확인하는 것이 실무.

비NVIDIA 정직: 무손실·저지연 AI 네트워킹은 경쟁·표준화가 활발하다 — 이더넷 진영의 Ultra Ethernet Consortium(UEC), RoCE 생태계, 다른 벤더의 패브릭. "IB vs 이더넷"은 수년째 진화 중이고, 이더넷이 AI 성능 격차를 좁히는 방향이다. NVIDIA는 양쪽(IB·Spectrum-X)을 다 제공한다. 특정 패브릭에 락인되기보다 무손실·bisection·집합연산 오프로드라는 요건으로 평가하라.

4.11.9 흔한 함정

평균 대역만 보고 네트워크 선택. 집합연산은 꼬리 지연·무손실이 좌우한다. 평균 빠르고 손실 잦은 네트워크는 대규모 동기 집합연산에서 전체가 스톨에 묶인다.
이더넷을 그대로 쓰면 IB급일 거라 가정. 전통 best-effort 이더넷은 손실·혼잡으로 집합연산이 불안정. AI엔 무손실 설정(PFC/ECN)·적응 라우팅(Spectrum-X 류)이 필요 — 설정 없는 이더넷 ≠ AI 네트워크.
GPU-NIC 친화도 무시. 어느 GPU가 어느 NIC에 가까운지(topo -m) 무시하면 GPUDirect RDMA(4.12) 대신 호스트·PCIe를 거쳐 느려진다. rail-optimized 배치·친화도 확인.
통신을 노드 간으로 흘림. 통신 집약 병렬화(텐서·전문가)를 NVLink 도메인 밖 네트워크로 보내면 병목. 네트워크엔 통신 드문 병렬화를 매핑(4.14).
SHARP 가용성 가정. in-network reduction은 스위치·구성·소프트웨어가 받쳐야. 가용성·설정을 확인하고, 없으면 NCCL이 일반 경로로(여전히 동작하나 가속 덜함).
대역·속도 단정. 포트 속도·세대·SHARP·구성은 시점 의존. ibstat·실측으로 확인, 데이터시트 수치를 그대로 믿지 말 것.

4.11.10 연습문제

연습 1 (병목 계층). 대역 위계(HBM·NVLink·네트워크)에서 노드 간 네트워크가 "다음 병목"인 이유를, 데이터 병렬 학습의 스텝 구조로 설명하라.

정답

데이터 병렬은 스텝마다 모든 GPU의 그래디언트를 all-reduce(합산·분배)한다. GPU들이 한 노드(NVLink 도메인) 안이면 고대역 NVLink로 빠르지만, 노드를 넘으면 그 all-reduce가 노드 간 네트워크(NVLink보다 한참 느림)를 거친다. 네트워크 all-reduce 시간이 연산 시간을 넘으면 통신이 스텝을 지배해 GPU를 늘려도 확장이 안 된다(4.14). HBM·NVLink는 노드 내를 빠르게 했지만 노드 경계 너머가 새 천장 — 그래서 네트워크 대역·무손실·SHARP가 클러스터 확장성을 결정한다.

연습 2 (무손실). "평균 대역이 같아도 손실이 있는 네트워크가 집합연산에서 훨씬 느릴 수 있다"를 메커니즘으로 설명하고, IB와 Spectrum-X가 각각 어떻게 손실을 막는지.

정답

집합연산(all-reduce)은 모든 참여 GPU가 동기적으로 데이터를 주고받아, 한 링크의 패킷 손실 하나가 재전송을 유발하고 그 데이터를 기다리는 모든 GPU가 스톨한다 → 전체가 최악(꼬리) 지연·재전송에 묶인다. 평균이 높아도 손실 1%가 그 1%에 전원을 정지시킨다. IB: credit 기반 흐름제어로 수신 버퍼 여유가 있을 때만 보내 애초에 손실을 안 만든다(무손실 by design). Spectrum-X: ECN/PFC 혼잡 제어 + 적응 라우팅으로 혼잡·손실을 억제해 무손실에 근접. 둘 다 "손실을 막아 꼬리 지연을 없앤다"가 목표.

연습 3 (SHARP). in-network reduction(SHARP)이 일반 all-reduce 대비 무엇을 줄이는지 그림으로 설명하고, 어떤 집합연산·규모에서 이득이 큰지.

정답

일반 all-reduce: GPU들이 데이터를 서로 주고받으며 단계적으로 합산 → 데이터가 네트워크를 여러 번 오가고(여러 홉·왕복) 트래픽이 크다. SHARP: 데이터가 스위치를 거치며 스위치가 직접 합산 → GPU 간 왕복·트래픽이 줄고 합산이 네트워크에서 오프로드된다. 그림: (일반) GPU↔GPU 다단계 교환 vs (SHARP) GPU→스위치(합산)→결과 배포. 이득이 큰 곳: all-reduce·reduce류(합산이 핵심)이고 참여 노드가 많은 대규모일수록 — 홉·트래픽 절감이 누적돼 큰 클러스터의 그래디언트 all-reduce(데이터 병렬)에서 특히 효과적. (가용성은 스위치·구성 의존, 확인.)

연습 4 (IB vs 이더넷 결정). 다음 두 조직에 IB와 Spectrum-X 중 무엇을 권할지와 근거: (a) 검증된 최대 성능으로 수천 GPU 학습 클러스터를 새로 구축, (b) 기존 대형 이더넷 데이터센터에 AI 클러스터를 통합하려는 클라우드 사업자.

정답

(a) InfiniBand 권장 경향 — 수천 GPU 대규모 동기 학습은 검증된 무손실·SHARP·성숙도가 확장성에 결정적. 전용 HPC 패브릭 운영 부담을 감수할 만한 규모·성능 요구. (b) Spectrum-X(이더넷) 권장 경향 — 이미 이더넷 생태계·운영·인력·멀티테넌트 인프라를 갖췄고, AI 클러스터를 그와 통합하려면 이더넷 기반이 운영·비용에서 유리. Spectrum-X가 RoCE·적응 라우팅·혼잡 제어로 AI 성능을 끌어올려 IB와의 격차를 좁힌다. 단 둘 다 그 시점 벤치마크·규모·TCO로 확정하고, 클라우드면 제공 패브릭을 확인.

4.11.11 요약 · 다음 장

NVLink 도메인을 넘는 노드 간 네트워크가 대규모 학습의 다음 병목 — 데이터·파이프라인 병렬, 그리고 NVLink 도메인을 초과한 텐서·전문가 병렬의 통신이 여기로.
InfiniBand: RDMA(커널 우회 직접 전송)·무손실(credit 흐름제어)·fat-tree(큰 bisection)·SHARP(in-network reduction) — HPC·AI의 검증된 최고 성능.
Spectrum-X: RoCE·적응 라우팅·혼잡 제어로 이더넷을 AI에 맞춘 대안 — 범용 생태계 + IB 근접 성능.
집합연산은 평균 대역이 아니라 무손실·꼬리 지연이 좌우한다. 통신을 NVLink 도메인에 최대한 가두고 네트워크엔 통신 드문 병렬화를 매핑(4.14). 패브릭은 요건(무손실·bisection·오프로드)으로 평가, 수치는 실측.

다음 장: 4.12 스케일아웃 네트워킹 II — GPUDirect RDMA·스토리지. 네트워크 위에서 데이터가 GPU에 닿는 경로를 최적화한다. GPUDirect RDMA(NIC↔GPU 직접), GPUDirect Storage(스토리지↔GPU 직접), BlueField DPU로 CPU·호스트 메모리 우회를 어떻게 달성하는지 본다.