제10부 시뮬레이션·디지털트윈·피지컬 AI

10.7 Sim2Real과 도메인 갭

10.7.1 이 장에서 배우는 것 / 선수 지식

9.11부터 시뮬레이션(Isaac Sim·Lab·합성데이터)을 다루며 "Sim2Real 갭" 을 반복해 경고했다 — 시뮬에서 된 것이 실세계서 안 될 수 있다고, 그래서 도메인 랜덤화(9.14·10.6)·실로봇 검증이 필요하다고. 이 장은 그 Sim2Real 갭을 정면으로·종합적으로 다룬다. 갭이 어디서 오는가(외형·동역학·내용), 좁히는 전략 전체(도메인 랜덤화·system identification·도메인 적응·실로봇 미세조정·충실도·teacher-student·혼합), 그리고 "얼마나 좁혀졌나"를 측정하는 법. 시뮬레이션 부(9.11~10.6)를 잇는 다리이자, 디지털트윈(10.8)으로 가기 전의 종합.

핵심 통찰: Sim2Real에는 은총알이 없다 — 갭을 좁히는 것은 단일 기법이 아니라 "전략 포트폴리오"이고, 그 포트폴리오의 성패는 "실세계에서 측정"하는 규율에 달렸다. 갭은 한 곳이 아니라 여러 곳(외형·동역학·내용)에서 오고, 각 갭에 맞는 전략이 다르다 — 외형은 시각 랜덤화·도메인 적응, 동역학은 system identification·물리 랜덤화. 그리고 두 큰 축이 상보적이다: system identification(실측으로 시뮬을 실세계에 맞춤)으로 갭의 중심을 잡고, 도메인 랜덤화(시뮬을 다양하게)로 남은 불확실성을 덮는다. 무엇보다 — 시뮬 성능은 실세계 성능을 보장하지 않으므로, "얼마나 좁혀졌나"는 반드시 실데이터·실로봇으로 측정해야 한다. "시뮬에서 잘 되니 됐다"가 Sim2Real 최대의 함정이다.

배우는 것:

• 도메인 갭의 출처 — 외형(appearance)·동역학(dynamics)·내용(content) 갭, 어느 시스템(비전·제어)에.
• 전략 지형 — 갭을 좁히는 다섯 접근과 각각 어느 갭·언제.
• DR vs system identification — 분포로 덮기 vs 실측으로 보정, 왜 결합이 강력한가.
• 실데이터 활용 — 도메인 적응(sim→real)·실로봇 미세조정·합성+실 혼합.
• 갭 측정 — 실 평가·Sim2Real 상관·"믿지 말고 측정하라", ablation.

선수 지식: 9.11(시뮬 충실도·Sim2Real 개념)·9.14(물리 DR·teacher-student·ADR)·10.5·10.6(합성데이터·시각 DR·혼합)·8.13(캘리브레이션 — sysID의 일종)·8.14(데이터 엔진·플라이휠)·8.15(자율주행 Sim2Real). 머신러닝 학습·평가·분포 개념은 가정(BK-02). 디지털트윈은 10.8. 이 장은 시뮬레이션 부의 종합 — 앞 장들의 갭 언급을 한곳에 모은다.

정직: Sim2Real은 활발한 연구 영역이고 "해결된" 문제가 아니다 — 이 장은 "갭의 출처와 전략 포트폴리오·측정의 원리"를 가르치되, 어느 전략이 얼마나 효과 있는가는 과제·로봇·도메인 의존이라 보편 답이 없다. 구체 기법(특정 도메인 적응 모델·sysID 절차)은 그 분야 문헌·도구로. 시뮬 성공이 실세계 성공을 보장하지 않으며, 실세계 검증은 타협 불가임을 핵심으로 둔다. 이 장은 도구가 아니라 개념·의사결정 중심(코드보다 전략). 수치·효과는 개략·과제 의존.

10.7.2 도메인 갭이란 — 어디서 오나

도메인 갭(domain gap, reality gap) 은 "시뮬과 실세계의 차이"인데, 하나의 묶음이 아니라 여러 출처에서 온다. 갭을 출처별로 나눠야 맞는 전략을 고른다.

   세 가지 도메인 갭(출처별):

   ① 외형 갭(appearance) — 시뮬 영상 ≠ 실 영상
      · 텍스처·재질·조명·그림자·반사가 실제와 다름
      · 센서 특성(노이즈·왜곡·블러·노출)이 이상화됨
      → 비전 인지(9.7~9.9·검출·분할·깊이)에 영향

   ② 동역학 갭(dynamics) — 시뮬 물리 ≠ 실 물리
      · 마찰·질량·관성·접촉·액추에이터 응답·지연이 다름
      · PhysX 근사 ≠ 실세계 물리
      → 제어·RL 정책(9.13·9.14·보행·매니퓰레이션)에 영향

   ③ 내용 갭(content) — 시뮬 장면 ≠ 실 분포
      · 어떤 객체가·어떻게 배치되나(레이아웃·롱테일·빈도)가 실분포와 다름
      · 시뮬 자산·씬이 실세계 다양성을 못 담음
      → 인지·계획 전반(일반화·롱테일 8.14)에 영향

• 외형 갭(비전): 시뮬 영상과 실 영상의 차이 — 재질·조명·그림자(RTX로 줄이나 10.2)·센서 불완전성(실카메라는 노이즈·왜곡·블러, 시뮬은 이상적 9.11). 비전 모델(9.7~9.9)이 시뮬 외형에 과적합하면 실세계서 무너짐. 전략: 시각 DR(10.6)·포토리얼(RTX)·센서 노이즈·도메인 적응.
• 동역학 갭(제어): 시뮬 물리와 실 물리의 차이 — 마찰·질량·관성·접촉·액추에이터 응답·지연(9.11 게인). PhysX는 근사라 실세계와 다르다. RL 정책(9.13·9.14)이 시뮬 물리에 맞춰지면 실로봇서 실패. 전략: 물리 DR(9.14)·system identification·액추에이터 모델·실 미세조정.
• 내용 갭(분포): 시뮬 장면·분포가 실세계와 다름 — 어떤 객체가 나오나·어떻게 배치되나·롱테일(8.14). 시뮬 자산·씬이 실 다양성을 못 담으면, 외형·물리가 완벽해도 본 적 없는 상황에서 실패. 전략: 현실적 자산·구조적 DR(10.6)·실데이터 혼합·데이터 엔진(8.14).
• 왜 분리가 중요한가: "Sim2Real 갭"을 하나로 보면 잘못된 전략을 쓴다 — 동역학 갭에 시각 DR을 키워봐야 소용없다. 어느 갭이 문제인지 진단하고 맞는 전략을(10.7.7).

핵심: 도메인 갭은 하나의 묶음이 아니라 외형(비전 — 영상·센서)·동역학(제어 — 물리·액추에이터)·내용(분포 — 장면·롱테일) 세 출처에서 온다. 어느 갭이 문제인지 진단해야 맞는 전략을 고른다 — 외형은 시각 DR·포토리얼·센서 모델, 동역학은 물리 DR·sysID, 내용은 현실 자산·실혼합. "갭"을 일괄 취급하면 잘못된 처방.

10.7.3 전략 지형 — 갭을 좁히는 다섯 접근

Sim2Real 갭을 좁히는 전략은 여럿이고, 각각 다른 갭·전제·비용을 가진다. 지형부터.

여기에 teacher-student(9.14·제어)·합성+실 혼합(10.5)·데이터 플라이휠(8.14)이 더해진다. 포트폴리오로 보통 여러 개를 결합한다 — 은총알은 없다.

• ① 도메인 랜덤화(9.14·10.6): 시뮬을 다양하게 만들어 실세계가 그 분포 안에 들게. 실데이터 불필요(시뮬만)·강건하나 과보수(너무 넓으면 차선)·갭을 "덮는" 접근. 외형(시각 DR)·동역학(물리 DR) 둘 다.
• ② system identification(다음 절): 실세계 파라미터(마찰·질량·게인·카메라 intrinsic)를 측정해 시뮬을 맞춤. 실측 필요하나 갭을 출처에서 줄임. 동역학·센서 갭.
• ③ 도메인 적응: sim→real 매핑(GAN으로 시뮬 영상을 실처럼)이나 특징 정렬(시뮬·실 특징 분포를 가깝게). 실데이터(보통 무라벨) 필요. 외형 갭에 주로.
• ④ 실로봇 미세조정(10.7.5): 시뮬에서 학습 후 소량 실데이터로 미세조정. 라벨 실데이터 필요하나 매우 효과적. 모든 갭에.
• ⑤ 충실도 향상: 더 사실적 RTX 렌더(10.2)·PhysX 튜닝(9.11)·센서 노이즈 모델. 실데이터 불필요하나 비용↑·완벽 불가. 모든 갭을 근본적으로 약간씩.
• 포트폴리오(핵심): 실전은 여러 전략을 결합 — 예: sysID로 중심 맞추고(②) + DR로 불확실성 덮고(①) + 실 미세조정으로 마무리(④) + 충실도(⑤). 은총알은 없다.

견해: Sim2Real 전략은 ① DR(분포로 덮기)·② sysID(실측 보정)·③ 도메인 적응(sim→real)·④ 실 미세조정·⑤ 충실도의 포트폴리오다 — 각각 다른 갭·전제(실데이터 필요 여부)·비용. 은총알 없음 — 실전은 결합한다(sysID로 중심 + DR로 덮기 + 미세조정 마무리). 어느 갭이 문제인지(10.7.2)·실데이터가 있는지로 전략을 고른다.

10.7.4 DR vs system identification — 두 축

전략의 두 큰 축인 도메인 랜덤화(DR) 와 system identification(sysID) 은 대조적이면서 상보적이다 — 이 둘의 관계가 Sim2Real 사고의 핵심.

결합이 가장 강력하다 — sysID로 갭의 "중심"을 맞추고 → DR로 남은 "불확실성"을 덮는다. 예: 실 마찰 = 0.7 측정 → 시뮬을 0.7 중심 + DR로 0.5~0.9 랜덤화(측정 오차·변동·마모를 DR이 흡수).

• DR — 모르니 덮는다: 실세계 파라미터를 모른다고 가정하고 시뮬을 넓게 랜덤화해 실세계가 그 분포 안에 들길. 실측 불필요가 장점(측정 어려운 환경)·강건. 단 너무 넓으면 과보수(차선 정책)·낭비(9.14). 모르는 변동(다양한 지면·조명)에 강함.
• sysID — 측정해 맞춘다: 실세계 파라미터(마찰·질량·관성·드라이브 게인·액추에이터 지연·카메라 intrinsic 8.13)를 측정해 시뮬을 실세계에 맞춘다. 캘리브레이션(8.13)도 sysID의 일종(카메라·센서 보정). 갭을 출처에서 줄여 정확·효율. 단 측정 필요(실로봇·실험)·측정 못 한 변동엔 취약.
• 왜 결합이 강력한가(핵심): 둘은 상보적이다. sysID로 갭의 중심을 맞추고(실 마찰 0.7 측정 → 시뮬 0.7), DR로 남은 불확실성을 덮는다(0.5~0.9 랜덤화 — 측정 오차·온도·마모·개체차 흡수). sysID만 쓰면 측정 오차·변동에 취약(시뮬이 한 점), DR만 쓰면 과보수(넓은 분포). 결합 = 측정으로 중심 + 랜덤화로 강건 → 정확하면서 강건. ADR(9.14)도 측정 근처에서 점진 확대.
• 실측 가능성으로 선택: 실로봇·측정이 가능하면 sysID + DR, 측정 어렵거나 다양성이 본질이면 DR 중심. 카메라 intrinsic처럼 쉽게 측정되는 것은 꼭 sysID(캘리브레이션 8.13).

견해: DR(모르니 다 흔들어 덮기) 과 sysID(측정해 시뮬을 맞춤) 는 대조적이되 상보적이다 — sysID로 갭 중심을 맞추고 DR로 남은 불확실성(측정 오차·마모·개체차)을 덮는 결합이 가장 강력하다. sysID만은 측정 오차·변동에 취약, DR만은 과보수. 캘리브레이션(8.13)이 sysID의 친숙한 예. 측정 가능하면 꼭 sysID + DR.

10.7.5 실데이터 활용 — 도메인 적응·미세조정·혼합

DR·sysID가 시뮬을 실세계에 맞추는 접근이라면, 다른 축은 실데이터를 직접 활용하는 것이다 — 도메인 적응·미세조정·혼합.

   실데이터 활용 세 방법:

   도메인 적응(domain adaptation):
     · sim→real 이미지 변환(CycleGAN 등) — 시뮬 영상을 실처럼 보이게
     · 특징 정렬 — 시뮬·실 특징 분포를 가깝게(무라벨 실데이터로)
     · 외형 갭에 주로, 무라벨 실데이터 활용

   실로봇 미세조정(fine-tuning):
     · 시뮬에서 사전학습 → 소량 실데이터(라벨)로 미세조정
     · 매우 효과적·널리 씀, 라벨 실데이터 필요(소량이라도)
     · 시뮬이 "대부분"을, 실데이터가 "마지막 간격"을

   합성+실 혼합(10.5·10.6):
     · 학습 데이터를 합성+실로 섞음(합성=규모·롱테일, 실=실제 분포)
     · 보통 최선의 데이터 전략

• 도메인 적응(domain adaptation): 시뮬과 실의 외형 차이를 메우는 학습 기법 — ① 이미지 변환(CycleGAN류로 시뮬 영상을 실처럼 — pixel-level) ② 특징 정렬(모델 특징의 시뮬·실 분포를 가깝게 — feature-level). 무라벨 실데이터(라벨 없는 실영상)로도 가능이 장점. 외형 갭에 주로. DR과 보완(DR로 다양화 + 적응으로 실에 맞춤).
• 실로봇 미세조정(fine-tuning) — 가장 실용적: 시뮬에서 대량 사전학습(완벽 라벨·다양성)한 모델·정책을 소량의 실데이터로 미세조정. 시뮬이 "기초·대부분"을 가르치고, 실데이터가 "마지막 간격" 을 메운다. 라벨 실데이터 필요하나 소량이라도 큰 효과(처음부터 실데이터로 학습하는 것보다 훨씬 적은 실데이터로). 비전·제어 모두. 매우 널리 쓰임.
• 합성+실 혼합(10.5·10.6): 학습 데이터를 합성 + 실로 섞음 — 합성으로 규모·롱테일·완벽 라벨, 실로 실제 분포·갭 보정. 보통 최선의 데이터 전략. 미세조정과 함께(합성 사전학습 → 실 미세조정, 또는 섞어 학습).
• 실데이터의 가치: DR·sysID·충실도가 "시뮬을 실에 맞추는" 간접 접근이라면, 실데이터 활용은 실세계를 직접 학습에 넣는 직접 접근 — 갭을 가장 확실히 줄인다. 단 실데이터(라벨 또는 무라벨) 비용이 든다. 그래서 소량 실 + 대량 시뮬(미세조정·혼합)이 효율적.
• 데이터 플라이휠(8.14·10.5): 배포 → 실패 발견 → 그 실패를 시뮬에 반영(타깃 재생성)·실데이터 수집 → 재학습. 실데이터 활용을 순환으로 — Sim2Real을 한 번이 아니라 지속 개선.

견해: 실데이터 활용은 갭을 직접 줄인다 — 도메인 적응(무라벨 실로 외형 맞춤)·실 미세조정(소량 실로 마지막 간격, 가장 실용적)·합성+실 혼합(규모+실제 분포). 시뮬(DR·sysID·충실도)이 "대부분"을, 소량 실데이터가 "마지막 간격" 을 메우는 것이 효율적. 플라이휠(8.14)로 순환. 실데이터 비용 대비 효과가 커 미세조정이 널리 쓰인다.

10.7.6 갭을 측정하기 — 믿지 말고 측정하라

Sim2Real의 가장 중요한 규율: "시뮬에서 잘 되니 됐다"를 믿지 말고, 갭을 실제로 측정하라.

   갭 측정의 원칙:

   시뮬 메트릭만 믿으면 안 되는 이유:
     · 시뮬 성능 ↑ ≠ 실세계 성능 ↑ (갭이 있으면 시뮬이 거짓 안심)
     · 시뮬에 과적합한 모델은 시뮬 평가서 높고 실세계서 낮음

   측정 방법:
     ① 실 테스트셋 평가 — 실데이터로 최종 성능(진실의 척도)
     ② Sim2Real 상관 — 시뮬 성능이 실 성능을 예측하나(상관 높아야 시뮬 평가 신뢰)
     ③ 도메인 갭 메트릭 — 특징 분포 거리·이미지 FID 등(간접)
     ④ ablation — 어느 전략(DR·sysID·미세조정)이 실 성능을 올렸나
     ⑤ 실로봇 시험 — 제어·매니퓰레이션은 실로봇서(안전 여유 9.10)

   규율: 실 평가 없이 "Sim2Real 됐다" 주장 금지

• 시뮬 메트릭의 함정: 시뮬 평가 점수가 높아도 실세계 성능을 보장하지 않는다 — 갭이 있으면 시뮬이 거짓 안심을 준다(시뮬에 과적합한 모델은 시뮬서 100점·실세계서 낙제). "시뮬에서 잘 되니 됐다"가 Sim2Real 최대의 함정(9.13·9.14·10.5·10.6 반복).
• ① 실 테스트셋(진실의 척도): 실데이터로 최종 성능을 측정 — 이것이 실질적 척도. 소량이라도 실 테스트셋이 있어야 한다. 비전은 실 라벨 테스트셋, 제어는 실로봇 시험.
• ② Sim2Real 상관: 시뮬 성능이 실 성능을 예측하나? 상관이 높으면 시뮬 평가를 (어느 정도) 신뢰 — 빠른 시뮬 반복으로 개발하되 실로 검증. 상관이 낮으면 시뮬 평가가 무의미(갭이 큼).
• ③ 도메인 갭 메트릭(간접): 시뮬·실 특징 분포 거리(MMD 등)·이미지 FID로 외형 갭을 정량화 — 간접 지표(성능과 완전 일치는 아님)이나 DR·적응 효과 모니터에.
• ④ ablation — 무엇이 효과 있었나: 전략(DR 범위·sysID·미세조정·충실도)을 하나씩 켜고/끄며 실 성능 변화를 봐 어느 전략이 갭을 줄였나. 포트폴리오 튜닝의 근거 — 효과 없는 전략에 낭비 안 하게.
• ⑤ 실로봇 시험(제어·안전): 매니퓰레이션·보행(9.10·9.14)은 실로봇에서 — 안전 여유(9.10)·점진(쉬운 조건부터). 시뮬 SIL(9.12)로 거르되 실로봇이 최종.
• 규율: 실 평가 없이 "Sim2Real 됐다"는 주장하지 않는다. 시뮬은 개발·반복을 빠르게 하되, 실세계가 심판. 데이터 플라이휠(8.14)이 이 측정·개선을 순환.

견해: Sim2Real의 핵심 규율은 "믿지 말고 측정하라" — 시뮬 메트릭은 갭이 있으면 거짓 안심을 준다. 실 테스트셋·실로봇 시험이 진실의 척도, Sim2Real 상관으로 시뮬 평가 신뢰도를, ablation으로 어느 전략이 효과 있었나를 측정. 실 평가 없이 "됐다" 주장 금지 — 시뮬은 빠른 반복, 실세계가 심판. 이것이 9.13·9.14·10.5·10.6에서 반복한 "실검증 필수"의 정체.

10.7.7 워크스루 — 전략 포트폴리오 워크스루

Sim2Real은 도구가 아니라 의사결정이다. 한 과제(로봇 부품 파지)에 포트폴리오를 적용하는 워크스루.

   과제: 로봇 팔이 컨베이어의 부품을 카메라로 보고 집는다
        (인지 9.9 + 매니퓰레이션 9.10 + RL/제어 9.14)

   1) 갭 진단(10.7.2) — 어느 갭이?
      · 외형: 부품 영상이 실카메라와 다름(조명·재질·노이즈) → 인지 실패
      · 동역학: 파지 접촉·마찰이 시뮬≠실 → 미끄러짐·놓침
      · 내용: 실제 부품 변형·배치가 시뮬에 없음 → 본 적 없는 케이스

   2) 갭별 전략(10.7.3~10.7.5):
      외형  → 시각 DR(조명·재질·시점 10.6) + RTX 포토리얼(10.2)
              + 센서 노이즈 + (선택) 도메인 적응(무라벨 실영상)
              + 카메라 intrinsic은 sysID(캘리브레이션 8.13)
      동역학 → 물리 DR(마찰·질량·게인 9.14) + sysID(실 마찰·게인 측정)
              + DR로 측정 불확실성 덮기(10.7.4 결합)
      내용  → 현실적 부품 자산·구조적 DR(컨베이어 위 배치 10.6)
              + 실데이터 혼합(10.5)

   3) 학습·배포: 합성 사전학습 → 소량 실데이터 미세조정(10.7.5)
                → TensorRT(5.2) → 엣지(9.1)

   4) 측정(10.7.6): 실 부품 테스트셋(인지)·실로봇 파지 성공률(제어)
                      ablation으로 어느 전략이 성공률 올렸나

   5) 플라이휠(8.14): 실패 부품·조건 → 시뮬 반영·실수집 → 재학습

• 진단이 먼저(10.7.2): "Sim2Real 안 됨"을 일괄 취급하지 말고 어느 갭인지 — 인지가 실패(외형)? 파지가 미끄러짐(동역학)? 본 적 없는 부품(내용)? 갭마다 다른 전략.
• 갭별 전략 + 결합(10.7.4): 외형은 시각 DR + 포토리얼 + (intrinsic sysID), 동역학은 물리 DR + sysID 결합, 내용은 현실 자산 + 실혼합. sysID로 중심, DR로 덮기.
• 미세조정으로 마무리(10.7.5): 시뮬로 대부분, 소량 실데이터 미세조정으로 마지막 간격.
• 측정·ablation(10.7.6): 실 파지 성공률로 측정, ablation으로 어느 전략이 효과 있었나 — 효과 없는 데 낭비 안 하게.
• 플라이휠(8.14): 실패를 시뮬·실데이터에 환류해 순환. Sim2Real은 한 번이 아니라 지속.

견해: Sim2Real 실전은 ① 갭 진단(어느 갭) → ② 갭별 전략 + 결합(sysID 중심 + DR 덮기) → ③ 미세조정 마무리 → ④ 실 측정·ablation → ⑤ 플라이휠의 의사결정이다. "안 됨"을 일괄 취급하지 말고 어느 갭인지 진단하고, 갭마다 맞는 전략을 결합하고, 실세계로 측정하며, 플라이휠로 순환. 은총알 없이 포트폴리오로.

10.7.8 중간 점검 (체크포인트)

• [ ] 도메인 갭이 외형·동역학·내용 세 출처에서 오고 어느 시스템(비전·제어·일반화)에 영향하는지 안다.
• [ ] 전략 지형(DR·sysID·도메인 적응·미세조정·충실도)과 각각 어느 갭·실데이터 필요 여부를 안다.
• [ ] DR(모르니 덮기)과 sysID(측정해 맞춤) 의 대조와 결합이 강력한 이유(중심+불확실성)를 안다.
• [ ] 도메인 적응(무라벨)·실 미세조정(소량 라벨)·합성+실 혼합으로 실데이터를 활용함을 안다.
• [ ] 시뮬 메트릭을 믿지 말고 실 평가·상관·ablation으로 측정함과 그 규율을 안다.
• [ ] Sim2Real이 은총알 없는 포트폴리오 의사결정(진단→전략→측정→플라이휠)임을 안다.

증상→의심: 인지가 실세계서 실패 → 외형 갭 → 시각 DR(10.6)·포토리얼·센서 노이즈·intrinsic sysID(8.13)·도메인 적응. 제어/파지가 실패 → 동역학 갭 → 물리 DR(9.14)·sysID(마찰·게인)·실 미세조정. 본 적 없는 상황서 실패 → 내용 갭 → 현실 자산·구조적 DR·실혼합·플라이휠(8.14). 시뮬은 100점 실세계 낙제 → 시뮬 과적합·실 평가 안 함 → 실 테스트셋·측정(10.7.6). DR 키워도 안 됨 → 과보수·잘못된 갭·sysID 필요 → 진단·sysID 결합. 측정 못 함 → 실데이터 없음 → 소량이라도 실 테스트셋 확보.

10.7.9 트레이드오프·대안

견해: Sim2Real은 포트폴리오 의사결정 — 단일 전략이 아니라 갭·자원에 맞춰 결합한다. 실측 가능하면 sysID + DR(중심 + 덮기), 소량 실데이터 있으면 미세조정(가장 효율적), 무라벨 실 있으면 도메인 적응, 충실도는 근본적이나 비용. 무엇보다 실세계로 측정 — 시뮬은 빠른 개발·반복, 실세계가 최종 심판. "DR만 키우면"·"시뮬 점수 높으면"은 함정. 갭을 진단하고 맞는 전략을 결합하고 측정하며 플라이휠로 순환하는 것이 정석.

비엔비디아 정직: Sim2Real은 로보틱스·ML의 활발한 연구 영역으로 "해결"되지 않았다 — 도메인 랜덤화(Tobin 등)·도메인 적응(CycleGAN·DANN 등)·system identification·sim2real RL(OpenAI·ETH·DeepMind 등)·미세조정이 모두 학계·업계 공통 기법이다. NVIDIA(Isaac·Omniverse)는 고충실도 시뮬(RTX·PhysX)·대규모 DR·합성데이터·스택 통합으로 이를 실용화하나, 기법 자체는 NVIDIA 고유가 아니고 다른 시뮬·도구로도 한다. 어느 전략이 얼마나 효과 있는가는 과제·로봇·도메인 의존이라 보편 답이 없다 — 자기 과제에서 ablation·실 측정으로 확인. 가장 정직한 사실: 시뮬은 강력한 도구이되 실세계의 근사이고, Sim2Real 갭은 좁히되 없앨 수 없다 — 실 검증은 타협 불가.

10.7.10 흔한 함정

• 갭을 구분 없이 일괄 취급함. 외형·동역학·내용을 구분 안 하면 잘못된 전략(동역학 갭에 시각 DR) → 진단 먼저(10.7.2).
• 시뮬 메트릭만 믿음(최대 함정). 시뮬 100점·실세계 낙제 → 실 테스트셋·실로봇 측정(10.7.6).
• DR만 키움. 과보수·잘못된 갭이면 무효 → sysID·미세조정 결합(10.7.4·10.7.5).
• sysID만, DR 없이. 측정 오차·변동·개체차에 취약 → DR로 불확실성 덮기(10.7.4).
• 캘리브레이션(intrinsic) 무시. 쉽게 측정되는 sysID를 안 함 → 캘리브레이션(8.13).
• 실데이터 0으로 검증. 측정 불가 → 소량이라도 실 테스트셋·실로봇.
• ablation 없이 전부 적용. 효과 없는 전략에 낭비 → ablation으로 무엇이 효과 있나(10.7.6).
• 한 번에 완벽 기대. Sim2Real은 순환 → 플라이휠(8.14)로 지속 개선.
• 충실도만으로 해결 기대. 완벽 시뮬은 불가·비쌈 → 포트폴리오(DR·적응·미세조정).
• "Sim2Real 해결됨" 가정. 연구 영역·과제 의존 → 자기 과제 검증(정직).

10.7.11 연습문제

연습 1 (세 갭). 도메인 갭의 세 출처(외형·동역학·내용)를 설명하고 각각 어떤 시스템에 영향하며 어떤 전략으로 좁히는지, 왜 갭을 일괄 취급하면 안 되는지 답하라.

연습 2 (DR vs sysID). 도메인 랜덤화와 system identification의 차이를 설명하고, 왜 둘의 결합이 각각 단독보다 강력한지 구체 예(마찰·카메라)로 답하라.

연습 3 (실데이터 활용). 실데이터를 활용하는 세 방법(도메인 적응·실 미세조정·합성+실 혼합)을 설명하고, 각각 어떤 실데이터(라벨/무라벨·양)가 필요하며 언제 쓰는지 답하라.

연습 4 (측정). "시뮬에서 잘 되니 됐다"가 왜 Sim2Real 최대의 함정인지 설명하고, 갭을 어떻게 측정하며(다섯 방법) 왜 실 평가가 타협 불가인지 답하라.

연습 5 (포트폴리오 설계). 로봇 팔이 카메라로 부품을 보고 집는 과제에서, Sim2Real 갭을 진단하고 갭별 전략을 결합한 포트폴리오와 측정·플라이휠을 설계하라.

10.7.12 요약 · 다음 장

• 도메인 갭의 출처: 외형(비전 — 영상·센서)·동역학(제어 — 물리·액추에이터)·내용(분포 — 장면·롱테일). 갭을 일괄 취급하지 말고 진단해 맞는 전략을.
• 전략 지형: DR(분포로 덮기)·sysID(실측 보정)·도메인 적응(sim→real)·실 미세조정·충실도 — 각각 다른 갭·실데이터 전제·비용. 은총알 없는 포트폴리오.
• 두 축 결합: sysID로 갭 중심을 맞추고 DR로 불확실성을 덮는다 — 단독보다 강력(측정 + 강건). 캘리브레이션(8.13)이 sysID의 예.
• 실데이터 활용: 도메인 적응(무라벨)·실 미세조정(소량 라벨 — 가장 실용적)·합성+실 혼합. "시뮬이 대부분, 실이 마지막 간격". 플라이휠(8.14)로 순환.
• 측정이 규율: 시뮬 메트릭을 믿지 말고 실 테스트셋·실로봇·ablation으로 측정 — "시뮬에서 됐다"가 최대 함정. 실 검증은 타협 불가. 정직: Sim2Real은 연구 영역·과제 의존, 기법은 학계 공통, 갭은 좁히되 못 없앰.

제10부 전반부(시뮬·합성데이터·Sim2Real, 10.1~10.7) 한 흐름 완료 — Omniverse·OpenUSD(플랫폼·데이터)·합성데이터(생성·다양화·라벨)·Sim2Real(갭 종합).

다음 장: 10.8 디지털트윈 I — 산업·로봇 트윈 구축. 시뮬·USD·Sim2Real을 익혔으니, 이를 실세계와 이어진 살아있는 가상 복제 — 디지털트윈 — 으로 종합한다. 공장·물류·로봇 셀을 USD로 짓고(10.3·10.4·10.2), 물리·센서를 시뮬(9.11)하며, 실라인과 연동할 트윈의 설계·구축을 본다. 시뮬레이션이 운영의 거울로.