제9부 로보틱스

9.11 Isaac Sim I — PhysX·씬·RTX 센서

9.11.1 이 장에서 배우는 것 / 선수 지식

9.7~9.10에서 실로봇의 인지(cuVSLAM·nvblox)·행동(cuMotion) 을 봤다. 그런데 9.10에서 못박았듯 — 충돌 회피·매니퓰레이션을 실로봇에서 바로 시험하면 위험하고 비용이 크다. 로봇이 부서지고, 사람이 다치고, 한 번 실패에 하드웨어·시간이 든다. 그래서 로보틱스 개발은 시뮬레이션으로 간다. 이 장은 NVIDIA의 로봇 시뮬레이터 Isaac Sim의 세 기둥 — PhysX(물리 엔진)·씬(USD 장면 구성)·RTX 센서(인지 시뮬레이션) — 을 판다. 로봇을 안전하게 개발·학습(9.13·9.14)·검증(9.12)하고, 합성 데이터(10.5)를 만드는 토대다.

핵심 통찰: 시뮬레이션의 가치는 "안전·규모·데이터"이고, 그 한계는 "Sim2Real 갭"이다. 시뮬은 ① 실로봇 없이 안전하게(부서질 걱정 없이), ② 대규모·병렬로(수천 개 로봇을 동시에, 9.13), ③ 결정적·반복으로(회귀·디버깅), ④ 완벽한 라벨의 데이터를 무한히(10.5) 만든다. 그러나 시뮬의 물리·센서는 현실의 근사라, 시뮬에서 된 것이 실로봇에서 안 될 수 있다(Sim2Real 갭, 10.7). 그래서 Isaac Sim은 물리(PhysX)와 센서(RTX)의 충실도(fidelity) 에 투자한다 — 현실에 가까울수록 갭이 좁아진다. "충실도 vs 속도"가 시뮬의 영원한 트레이드오프다.

배우는 것:

• 왜 시뮬레이션 — 로보틱스에서 안전·규모·결정성·데이터, 그리고 Sim2Real 갭(10.7)의 정직.
• Isaac Sim 지형 — Omniverse(10.1·10.2)·OpenUSD(10.3·10.4)·RTX·PhysX 위의 앱, 이 장의 세 기둥.
• PhysX — 강체·아티큘레이션(로봇 관절)·충돌·드라이브(stiffness/damping)·솔버·GPU 병렬 물리(9.13 토대).
• 씬·USD — 스테이지·프림·에셋(로봇 URDF→USD)·머티리얼(물리/시각)·라이트(USD 심화는 10.3·10.4).
• RTX 센서 — 포토리얼 카메라·깊이·의미 분할·바운딩박스(GT 라벨)·RTX LiDAR, 센서 충실도와 Sim2Real.

선수 지식: 9.10(실로봇 매니퓰레이션의 위험)·8.15(자율주행 시뮬·Sim2Real 정신)·9.7~9.9(Isaac ROS 인지 — RTX 센서가 이것을 먹임)·9.4(GPU). Omniverse·OpenUSD의 깊은 설명은 뒤(10.1~10.4) 로 미루고 이 장은 로보틱스 시뮬에 필요한 만큼만. ROS 연동·합성데이터는 9.12, 병렬 RL은 9.13·9.14, Sim2Real은 10.7.

정직: Isaac Sim·PhysX·RTX 센서의 기능·API·요구 사양·UI는 릴리스 의존이 크고 변화가 빠르다(Omniverse 플랫폼 위라 더). 이 장은 "시뮬레이터가 무엇을·왜·어떤 충실도/한계로 제공하는가"의 원리와 운영 지식을 가르치고, 구체 API·메뉴·버전은 "그 릴리스 문서로 확인". Isaac Sim은 보통 RTX GPU 워크스테이션/서버에서 실행되고(Jetson 아님), 학습된 정책·검증 결과를 엣지(9.1~9.4)에 배포한다 — 이 구분을 정직하게 둔다. 코드는 개념 골격.

9.11.2 왜 시뮬레이션인가 (로보틱스)

8.15에서 자율주행 시뮬을 봤다면, 로보틱스도 같은 동기에 몇 가지가 더해진다.

• 로보틱스 특유의 절실함: 로봇 팔·다리·드론은 실패가 물리적 파손·부상이다(9.10 충돌 회피는 안전 직결). 강화학습(9.13)은 수백만 번 시행착오가 필요한데, 실로봇으로는 불가능 — 시뮬에서 수천 환경 병렬로 며칠이면 한다.
• 데이터 엔진: 카메라 인지(9.7~9.9)는 라벨된 데이터가 필요한데, 실데이터 라벨링은 비용이 크고 느리다. 시뮬은 픽셀마다 완벽한 GT(분할·깊이·박스)를 추가 비용 없이·자동으로 준다(10.5 Replicator). 롱테일·위험 장면도 안전하게.
• 결정적 검증: 같은 씬·시드면 같은 결과 → 알고리즘 변경의 회귀 테스트(8.14 자율주행 재시뮬과 같은 정신). 실로봇은 매번 다른 조건이라 회귀가 어렵다.
• Sim2Real 갭(정직, 10.7): 시뮬 물리(마찰·접촉·관성)와 센서(노이즈·왜곡·조명)는 현실의 근사다. 시뮬에서 학습·검증한 것이 실로봇에서 그대로 되지 않을 수 있다 — 이것이 시뮬의 본질적 한계이고, 충실도(PhysX·RTX)·도메인 랜덤화(9.14·10.6)·실로봇 병행으로 좁히되 없앨 수는 없다.

핵심: 로보틱스 시뮬은 안전(실패 마음껏)·규모(수천 병렬, 9.13)·결정성(회귀)·데이터(완벽 라벨, 10.5) 를 준다 — 실로봇으로는 불가능한 시행착오·학습·데이터를 연다. 대가는 Sim2Real 갭(10.7): 시뮬은 현실의 근사라 시뮬 성공이 실로봇 성공을 보장 안 한다. 그래서 Isaac Sim은 충실도에 투자한다.

9.11.3 Isaac Sim 한눈에 — 무엇 위에 서 있나

Isaac Sim은 독립 시뮬레이터가 아니라 Omniverse 플랫폼 위의 로보틱스 앱이다. 무엇 위에 서는지 알면 길을 잃지 않는다(깊은 설명은 10.1~10.4, 여기선 지형만).

Isaac Sim의 토대(아래에서 위로):

• OpenUSD(10.3·10.4): 씬(로봇·환경·물체·라이트)을 기술하는 장면 표현·구성 시스템. Isaac Sim의 씬은 USD 스테이지다. 이 장은 USD를 "씬을 담는 그릇"으로만 다루고 컴포지션·레이어 등 깊은 것은 10.3·10.4.
• RTX: GPU 레이트레이싱 렌더러. 포토리얼 카메라·RTX LiDAR 센서 시뮬레이션의 엔진(9.11.6). 사실적 조명·그림자·반사가 Sim2Real(비전)을 좁힌다.
• PhysX: NVIDIA 물리 엔진. 강체·관절·충돌·접촉을 GPU로 시뮬(9.11.4). 게임·Omniverse 공통.
• Omniverse Kit(10.1·10.2): 이 모두를 묶는 앱 프레임워크·확장 시스템. Isaac Sim도, 다른 Omniverse 앱도 Kit 위의 확장 묶음.
• 이 장의 범위: 토대 셋(PhysX·USD 씬·RTX 센서)을 로보틱스 시뮬 관점에서. Omniverse·USD의 플랫폼적 깊이는 제10부(10.1~10.4)에서 되돌아온다.
• 위 다이어그램은 단순화: "Kit이 USD·RTX·PhysX 위에"로 그렸지만, 정확한 관계(Kit 커널은 오히려 가장 작은 핵이고 USD 런타임·RTX·PhysX 연동은 그 위에 구축되는 확장)는 10.1.3에서 다룬다 — 여기선 "이 넷이 함께 Isaac Sim을 떠받친다" 정도로 읽는다.

핵심: Isaac Sim = Omniverse Kit(10.1·10.2) 위, OpenUSD(씬, 10.3·10.4)·RTX(센서)·PhysX(물리)를 묶은 로보틱스 앱이다. 독립 도구가 아니라 플랫폼 위 앱이라, 같은 USD 씬·RTX 렌더를 다른 Omniverse 앱과 공유한다. 이 장은 세 토대를 로보틱스용으로 보고, 플랫폼 깊이는 제10부로 미룬다.

9.11.4 PhysX — 물리 시뮬레이션

PhysX는 로봇과 환경의 물리를 시뮬한다 — 강체가 어떻게 움직이고 부딪히고, 로봇 관절이 어떻게 구동되는지.

PhysX 핵심 요소:

• 아티큘레이션 = 로봇: 로봇 팔·다리는 관절로 연결된 링크 트리(URDF의 kinematic tree)다. PhysX의 아티큘레이션이 이를 안정적으로 시뮬한다(자유 강체 + 조인트보다 안정·정확). URDF를 임포트하면 USD 아티큘레이션이 된다.
• 드라이브 게인(stiffness/damping) — 가장 흔한 튜닝 함정: 관절을 목표로 구동하는 P(stiffness)·D(damping) 게인. 너무 약하면(soft) 팔이 중력에 처지고 목표를 못 따라가며, 너무 강하면(stiff) 불안정·진동·폭발. 실로봇 컨트롤러 게인과 맞춰야 Sim2Real(동역학)이 좁다.
• 솔버·타임스텝: PhysX는 TGS(Temporal Gauss-Seidel) 같은 반복 솔버로 접촉·관절을 푼다. iteration·substep이 많을수록 안정·정확하나 느리다. 타임스텝(dt): 작을수록(예 1/120s) 안정·정확, 클수록 빠르나 관통(tunneling)·불안정. 충실도↔속도.
• GPU 병렬 물리(중요): PhysX는 GPU에서 수천 개 환경을 동시에 시뮬할 수 있다 — 이것이 Isaac Lab의 대규모 병렬 RL(9.13) 의 토대다. 한 GPU에서 4096개 로봇이 동시에 걸으며 학습. CPU 물리로는 불가능.
• 결정성 주의(정직): 고정 타임스텝이면 대체로 재현되나, GPU 병렬 리덕션·부동소수가 미세한 비결정성을 줄 수 있다 — 완벽 비트 단위 재현은 보장 못 함(9.13 학습 재현 시 유의).

핵심: PhysX는 강체·충돌·아티큘레이션(로봇 관절 트리) 을 시뮬하고, 드라이브 게인(stiffness/damping)·솔버 iteration·타임스텝이 안정성↔속도↔충실도를 정한다. 게인을 실로봇과 맞추는 것이 동역학 Sim2Real의 핵심. 그리고 GPU 병렬 물리가 수천 환경 동시 시뮬 → 9.13 대규모 RL의 엔진. 비결정성(GPU 부동소수)은 정직하게 인지.

9.11.5 씬·USD — 무엇을 시뮬레이션하나

물리가 "어떻게 움직이나"라면, 씬(USD 스테이지) 은 "무엇이·어디에 있나"다 — 로봇·환경·물체·라이트·카메라의 구성.

USD 스테이지(씬) 구성(개념 — 깊은 USD는 10.3·10.4):

• 프림(Prim): 스테이지의 노드(로봇·메시·라이트…), 계층 구조.
• 머티리얼: 시각(PBR — RTX 렌더용) + 물리(마찰·반발 — PhysX용) 둘 다.
• 프림(Prim)·계층: USD 스테이지는 프림(객체)의 트리다. 로봇·환경·물체·라이트가 각각 프림이고 변환(위치·회전)·속성을 가진다. (USD 컴포지션·레이어·참조 등은 10.3·10.4.)
• 에셋 임포트: 로봇은 URDF→USD(또는 MJCF·USD 직접)로 임포트 → 아티큘레이션. 환경·물체는 USD 에셋(메시+충돌+머티리얼). NVIDIA가 로봇·환경·물체 에셋 라이브러리를 제공(릴리스 의존).
• 두 머티리얼: ① 시각 머티리얼(PBR) — RTX 렌더가 쓰는 색·금속성·거칠기 → 포토리얼리즘(센서 충실도). ② 물리 머티리얼 — 마찰계수·반발 → PhysX 접촉. 둘은 별개다(예쁘게 보여도 물리 마찰이 틀리면 미끄러짐).
• 조명의 이중 역할: 라이트는 보기 좋으라고만이 아니다 — RTX 카메라 센서가 보는 영상을 정한다(그림자·반사·노출). 조명이 비현실적이면 시뮬 영상이 실영상과 달라 비전 Sim2Real 갭↑.
• 도메인 랜덤화 훅(9.14·10.6): 씬을 절차적으로 바꾸는(물체 위치·색·조명·텍스처 무작위화) 토대. 한 씬을 수천 변형으로 → 강건한 학습·데이터(10.6).

견해: 씬은 USD 스테이지의 프림 트리 — 로봇(URDF→USD 아티큘레이션)·환경·물체·라이트·카메라. 머티리얼이 시각(PBR, RTX용)·물리(마찰, PhysX용) 둘로 나뉨과 조명이 센서 영상을 정함을 놓치면 "보기 좋은데 물리가 틀리거나" "영상이 실제와 다른" 갭이 생긴다. USD의 깊은 구성(컴포지션·레이어)은 10.3·10.4, 여기선 "씬을 담는 그릇 + 도메인 랜덤화 토대(10.6)"로.

9.11.6 RTX 센서 — 인지를 시뮬레이션하다

로봇의 인지(9.7~9.9)는 센서 입력을 소비한다. 시뮬이 쓸모 있으려면 센서를 사실적으로 시뮬해야 한다 — 여기서 RTX 레이트레이싱이 핵심이다.

RTX 센서 — GPU 레이트레이싱으로 사실적 인지 시뮬:

→ 의미 분할·인스턴스 분할·2D/3D 바운딩박스·법선·모션벡터는 모두 완벽한 라벨이라 합성데이터(10.5)의 토대다.

• 왜 RTX(레이트레이싱)인가: 카메라 Sim2Real(비전)의 핵심은 시뮬 영상이 실영상과 얼마나 닮았나다. RTX의 전역 조명·그림자·반사·재질이 포토리얼리즘을 주어, 시뮬로 학습한 비전 모델(9.7~9.9)이 실세계에서도 작동할 확률을 높인다(갭 축소, 10.7).
• 완벽한 GT 라벨(합성데이터의 핵심, 10.5): 시뮬은 픽셀마다 정답을 안다 — 의미/인스턴스 분할, 깊이, 2D/3D 박스, 법선을 자동·완벽·무비용으로 출력(annotator). 실데이터 라벨링(비용이 크고 노이즈)과 정반대. 이것이 Replicator(10.5) 합성데이터 생성의 토대다.
• RTX LiDAR: 레이트레이싱으로 LiDAR를 시뮬 — 빔별 거리·강도, 회전식/솔리드스테이트 패턴, 재질 반사. 자율주행(8.13·8.15)·로봇 매핑 센서 시뮬.
• 센서 충실도·노이즈(정직): 이상적(완벽) 센서는 실센서와 다르다 — 실카메라는 노이즈·왜곡·모션블러·롤링셔터, 실LiDAR는 노이즈·드롭아웃이 있다. 시뮬이 노이즈 모델을 안 넣으면 "지나치게 이상적인" 입력으로 학습해 실세계서 취약(갭). 충실도와 현실적 노이즈가 Sim2Real을 좌우(10.7).
• 인지 스택과 연결: 이 RTX 센서 출력이 ROS 브리지(9.12) 로 Isaac ROS(9.7~9.9)에 들어가, 실로봇과 같은 인지 코드를 시뮬에서 실행한다 — Software-in-the-Loop.

견해: RTX 센서의 두 가치는 포토리얼리즘(비전 Sim2Real 좁힘) 과 완벽한 GT 라벨(합성데이터 10.5) 이다. 레이트레이싱이 사실적 영상·LiDAR를 만들고, 시뮬이 픽셀 정답을 알아 라벨을 추가 비용 없이 준다. 단 현실적 노이즈·왜곡을 안 넣으면 "지나치게 이상적이라서" 갭이 생긴다 — 충실도는 사실성과 현실적 불완전성 둘 다. 이 센서가 9.12 ROS 브리지로 실로봇과 같은 인지(9.7~9.9)에 입력한다.

9.11.7 워크스루 — 씬·물리·센서 구성하고 스텝

Isaac Sim은 GUI(에디터)와 Python API 둘로 쓴다. 개념 골격으로 "로봇 로드 → 물리 → 카메라 → 스텝 → 센서 데이터" 흐름을 본다.

# Isaac Sim 파이썬 — 씬 구성·물리 스텝·센서 읽기
# (개념 골격 — 모듈·API·경로는 릴리스 의존, 반드시 확인. omni.isaac.* 네임스페이스는 버전별 변동)
from omni.isaac.kit import SimulationApp
sim_app = SimulationApp({"headless": True})   # RTX GPU 필요(워크스테이션/서버, Jetson 아님)

from omni.isaac.core import World
from omni.isaac.core.utils.stage import add_reference_to_stage
# (센서·로봇 API는 릴리스별 모듈 — 문서 확인)

world = World(physics_dt=1.0/120.0, rendering_dt=1.0/60.0)   # 물리/렌더 타임스텝
world.scene.add_default_ground_plane()

# 1) 로봇 임포트(URDF→USD 아티큘레이션) — 에셋 참조
add_reference_to_stage(usd_path="/Isaac/Robots/Franka/franka.usd", prim_path="/World/Robot")
# robot = Articulation("/World/Robot"); world.scene.add(robot)

# 2) 물체·환경(강체+충돌+물리 머티리얼)
add_reference_to_stage(usd_path="/Isaac/Props/Blocks/block.usd", prim_path="/World/Cube")

# 3) RTX 카메라 센서 + GT annotator(깊이·분할 — 합성데이터 10.5)
# camera = Camera(prim_path="/World/Cameras/cam", resolution=(640,480))
# camera.add_distance_to_image_plane_to_frame()   # 깊이
# camera.add_semantic_segmentation_to_frame()     # 분할 GT

world.reset()             # 물리 초기화
# 4) 시뮬레이션 루프 — 물리·렌더 스텝
for i in range(1000):
    # robot.apply_action(...)            # 관절 드라이브 목표(stiffness/damping은 USD/설정)
    world.step(render=True)              # 물리 1스텝 + RTX 렌더 1프레임
    # rgb = camera.get_rgba(); depth = camera.get_depth()   # 센서 읽기
    # → ROS 브리지(9.12)로 Isaac ROS(9.7~9.9)에 보내면 SIL
sim_app.close()

• RTX GPU 필요(정직): Isaac Sim은 레이트레이싱·GPU 물리라 RTX 워크스테이션/서버에서 실행된다 — Jetson(9.1)에서 시뮬을 실행하지 않는다. 시뮬에서 개발·학습한 정책·검증 결과를 엣지에 배포(9.2·9.3). 시뮬=개발 컴퓨터, 엣지=배포 컴퓨터(0.1 "3개의 컴퓨터" 정신).
• 헤드리스·스케일: headless=True로 GUI 없이 서버·클라우드에서. 대규모 학습(9.13)·데이터 생성(10.5)은 헤드리스 배치.
• GUI 병행: 초기 씬 구성·디버깅은 GUI 에디터가 편하고, 반복·배치·학습은 Python. 둘은 같은 USD 씬.

견해: 시뮬 루프의 본질은 world.step() = 물리 1스텝 + RTX 렌더 1프레임이고, 체크포인트는 ① 로봇이 안정적으로 구동되나(게인) ② 물체가 안 뚫나(타임스텝·충돌) ③ 센서가 사실적·라벨이 정확한가(RTX·머티리얼·조명) 다. Isaac Sim은 RTX GPU 워크스테이션에서 실행되고(Jetson 아님), 결과를 엣지에 배포 — "개발 컴퓨터 vs 배포 컴퓨터"(0.1)의 시뮬판. 센서를 ROS 브리지(9.12)로 빼면 실로봇과 같은 인지를 시뮬에서.

9.11.8 중간 점검 (체크포인트)

• [ ] 시뮬레이션이 안전·규모·결정성·데이터를 주고 그 한계가 Sim2Real 갭(10.7) 임을, 로보틱스에서 왜 절실한지 안다.
• [ ] Isaac Sim이 Omniverse Kit(10.1·10.2)·OpenUSD(10.3·10.4)·RTX·PhysX 위의 앱임을 안다.
• [ ] PhysX의 아티큘레이션(로봇 관절)·드라이브 게인(stiffness/damping)·솔버·타임스텝과 안정성↔속도 트레이드오프, GPU 병렬 물리(9.13 토대) 를 안다.
• [ ] 씬이 USD 프림 트리이고 머티리얼이 시각(PBR)·물리(마찰) 둘로 나뉘며 조명이 센서 영상을 정함을 안다.
• [ ] RTX 센서가 포토리얼 카메라·완벽한 GT 라벨(분할·박스·깊이, 10.5)·RTX LiDAR 를 주고, 노이즈 모델이 Sim2Real에 중요함을 안다.
• [ ] Isaac Sim이 RTX GPU 워크스테이션에서 실행되고(Jetson 아님) 결과를 엣지에 배포함을 안다.

증상→의심: 팔이 처짐/진동/폭발 → 드라이브 게인(stiffness/damping)·타임스텝·솔버 iteration(9.11.4). 물체가 바닥/서로 관통 → dt 너무 큼·충돌 모양 누락·솔버 부족. 물체가 미끄러짐/파지 실패 → 물리 머티리얼 마찰(시각 머티리얼과 별개). 영상이 비현실/어두움 → 조명·PBR 머티리얼·노출. 시뮬은 되는데 실로봇서 실패 → Sim2Real 갭(게인·센서 노이즈·마찰) → 도메인 랜덤화(9.14·10.6)·충실도. 너무 느림 → 렌더 충실도·해상도·환경 수↔속도. Jetson서 Isaac Sim 안 됨 → 시뮬은 RTX 워크스테이션, 엣지는 배포(9.11.7).

9.11.9 트레이드오프·대안

견해: 충실도와 속도는 용도가 정한다. 비전 인지(9.7~9.9) 학습·데이터(10.5)는 RTX 포토리얼·현실적 노이즈가 핵심(갭 축소). 상태 기반 RL(관절각·속도로 걷기, 9.13)은 렌더가 불필요하니 물리만 빠르게 수천 병렬. 매니퓰레이션(9.10) 접촉은 정밀 물리·게인이 중요. 즉 같은 Isaac Sim도 비전이면 렌더 충실도, 제어/RL이면 물리 처리량에 투자. Sim2Real이 목표면 충실도+도메인 랜덤화(9.14·10.6)+실로봇 병행 — 어느 하나로는 갭을 못 닫는다.

비엔비디아 정직: 로봇 시뮬레이터는 여럿이다 — Gazebo(ROS 생태계 표준·경량·친숙), MuJoCo(빠른 접촉 물리·RL 연구 표준), PyBullet, Isaac Gym(Isaac Sim 이전의 GPU RL, 일부 기능이 Isaac Lab 9.13로 계승), CoppeliaSim 등. Isaac Sim의 강점은 RTX 포토리얼리즘(비전 Sim2Real·합성데이터)·OpenUSD(에셋·구성·디지털트윈 10.8)·대규모 GPU 병렬·NVIDIA 스택 통합(Isaac ROS·Lab·GR00T) 이다. 빠른 RL 연구·경량 ROS 시뮬엔 MuJoCo·Gazebo가 더 적합할 수 있다 — 포토리얼·대규모·USD 통합이 필요하면 Isaac Sim. 물리·센서 충실도는 설정·튜닝 의존이라 자기 과제에서 검증.

9.11.10 흔한 함정

• 드라이브 게인 미튜닝. stiffness/damping이 실로봇과 다르면 팔이 처지거나 진동 → 게인을 실로봇 컨트롤러와 정합(동역학 Sim2Real, 10.7).
• 타임스텝 너무 큼. 물체 관통(tunneling)·불안정·폭발 → dt↓·솔버 iteration↑·연속 충돌 검출(빠른 물체).
• 시각·물리 머티리얼 혼동. 예쁘게 보여도 물리 마찰이 틀리면 미끄러짐·못 잡음 → 물리 머티리얼 따로 설정(9.11.5).
• 조명 무시. 비현실 조명이면 RTX 영상이 실영상과 달라 비전 갭↑ → 사실적 조명·노출.
• 이상적(노이즈 없는) 센서로 학습. "지나치게 이상적"이라 실세계서 취약 → 센서 노이즈·왜곡 모델(10.7).
• 시뮬 성공을 실로봇으로 단정. Sim2Real 갭 → 도메인 랜덤화(9.14·10.6)·실로봇 검증.
• Jetson에서 시뮬 시도. Isaac Sim은 RTX 워크스테이션/서버 → 엣지는 배포 대상(9.11.7).
• 결정성 과신. GPU 병렬·부동소수로 미세 비결정 가능 → 비트 단위 재현 기대 금지(학습 재현 9.13).
• 충실도 낭비. 상태 기반 RL에 RTX 렌더를 켜 느려짐 → 용도별 충실도(렌더 끄기, 9.13).
• 에셋·충돌 모양 불충분. 복잡 메시를 충돌로 직접 쓰면 느림·불안정 → 볼록 분해·프리미티브 근사.

9.11.11 연습문제

연습 1 (왜·한계). 로보틱스에서 시뮬레이션이 주는 네 가지 가치를 들고, 각각이 실로봇 개발의 어떤 어려움을 푸는지, 그리고 Sim2Real 갭이 왜 본질적 한계인지 설명하라.

연습 2 (PhysX 안정성). 시뮬에서 로봇 팔이 (a) 중력에 처지거나 (b) 진동·폭발하거나 (c) 물체가 바닥을 뚫는다. 각 증상의 원인과 조정 손잡이를 PhysX 요소(게인·타임스텝·솔버·충돌)로 설명하라.

연습 3 (RTX 센서·합성데이터). RTX 센서가 비전 Sim2Real을 좁히는 두 측면(포토리얼리즘·완벽 라벨)을 설명하고, 그럼에도 "지나치게 이상적인 센서"가 왜 문제이며 어떻게 보완하는지 답하라. 이 센서가 인지 스택(9.7~9.9)과 어떻게 연결되나?

연습 4 (충실도 vs 속도). Isaac Sim을 (a) 상태 기반 보행 RL(9.13), (b) 비전 인지 학습·합성데이터(10.5), (c) 매니퓰레이션 접촉(9.10) 세 용도로 쓸 때, 각각 어디(물리·렌더·충실도)에 투자하고 무엇을 줄이는지 설계하라.

연습 5 (시뮬↔실 배치·대안). Isaac Sim이 RTX 워크스테이션에서 실행되고 Jetson에서 실행되지 않는다는 사실이 "3개의 컴퓨터"(0.1)와 어떻게 맞물리는지 설명하고, MuJoCo·Gazebo 대비 Isaac Sim을 언제 택할지 답하라.

9.11.12 요약 · 다음 장

• 왜 시뮬: 안전(실패 마음껏)·규모(수천 병렬 9.13)·결정성(회귀)·데이터(완벽 라벨 10.5). 대가는 Sim2Real 갭(10.7) — 시뮬은 현실의 근사, 성공이 충분조건 아님.
• Isaac Sim 지형: Omniverse Kit(10.1·10.2)·OpenUSD(씬, 10.3·10.4)·RTX(센서)·PhysX(물리) 위의 로보틱스 앱. 이 장은 세 토대.
• PhysX: 강체·아티큘레이션(로봇 관절)·충돌·드라이브 게인(stiffness/damping)·솔버·타임스텝(안정↔속도). GPU 병렬 물리가 9.13 대규모 RL의 엔진. 게인 정합이 동역학 Sim2Real.
• 씬·USD: 프림 트리(로봇 URDF→USD·환경·물체·라이트). 머티리얼이 시각(PBR)·물리(마찰) 둘, 조명이 센서 영상을 정함. 도메인 랜덤화 토대(10.6).
• RTX 센서: 포토리얼 카메라(비전 Sim2Real 좁힘)·완벽 GT 라벨(분할·박스·깊이, 10.5)·RTX LiDAR. 노이즈 모델이 중요(지나치게 이상적이면 갭). ROS 브리지(9.12)로 인지(9.7~9.9) SIL.
• 배치·정직: Isaac Sim은 RTX 워크스테이션/서버(Jetson 아님), 결과를 엣지 배포(0.1 3개 컴퓨터). 대안(MuJoCo·Gazebo)과 용도로 선택, 충실도는 과제별 병목에 투자, API·사양 릴리스 의존.

다음 장: 9.12 Isaac Sim II — ROS 브리지·합성데이터. 시뮬 토대(물리·씬·센서)를 세웠으니, 이제 시뮬을 실제 워크플로우에 연결한다 — RTX 센서를 ROS 2 브리지로 Isaac ROS(9.7~9.9)에 보내 실로봇과 같은 인지를 시뮬에서 실행하고(SIL), 합성 데이터를 실습으로 만든다. 시뮬이 인지·학습 파이프라인의 일부로.