제10부 시뮬레이션·디지털트윈·피지컬 AI

10.11 휴머노이드·GR00T II — 데이터 플라이휠·학습

10.11.1 이 장에서 배우는 것 / 선수 지식

10.10에서 VLA·GR00T의 개념(비전+언어→행동, 휴머노이드 파운데이션 모델)과 그 최대 난관 — 로봇 데이터 희소성 — 을 봤다. 이 장은 그 난관을 푸는 방법을 깊이 판다 — 희소한 로봇 데이터를 어떻게 모으고·곱하고·엮는가(데이터 플라이휠) 와, 그 데이터로 모델을 어떻게 학습하는가(사전학습·모방학습·RL·미세조정), 그리고 실로봇 배포까지. 로봇 파운데이션 모델의 사활은 데이터이고, 이 장이 그 데이터·학습 루프다. 제10부의 마지막 장.

핵심 통찰: 로봇 데이터 문제의 답은 "데이터 피라미드 + 플라이휠"이다 — 풍부하지만 거친 데이터(인간 영상)와 정확하지만 희소한 데이터(텔레오퍼레이션)를, 무한히 곱할 수 있는 시뮬(9.13·10.5)로 증폭해 엮는다. 인간 영상은 인터넷에 많지만 로봇 행동 라벨이 없고(거침), 텔레오퍼레이션은 정확하지만 비용이 크고 느리다(희소). 둘 다로는 파운데이션 모델의 데이터를 못 채운다. 그래서 핵심 전략은 소수의 정확한 데모(텔레오퍼레이션)를 시뮬에서 도메인 랜덤화·궤적 변형으로 수백~수천 배 곱하고(10.5·10.6·10.7), 인간 영상으로 일반 동작 prior를 학습하는 것이다. 그리고 학습은 LLM의 레시피(사전학습→SFT→RLHF, 6.1·6.4·6.5)와 닮은 흐름 — 사전학습(넓게)→모방학습(데모)→RL/미세조정(다듬기) 으로. 데이터를 만들고·학습하고·배포하고·실패를 환류하는 플라이휠(8.14)이 로봇 파운데이션 모델을 실행한다. 단 이 레시피는 연구·진화 중이며 정착되지 않았다(정직).

배우는 것:

• 로봇 데이터 피라미드 — 인간 영상(풍부·거침)·시뮬(무한·갭)·텔레오퍼레이션(정확·희소)의 세 층.
• 데이터 소스 깊이 — 각각의 역할·장단·과제(약지도·embodiment 갭·Sim2Real).
• 데이터 플라이휠 — 희소 데모를 시뮬로 곱하기(궤적 증강·도메인 랜덤화 10.5~10.7), 실패 환류.
• 학습 루프 — 사전학습·모방학습(behavior cloning)·RL·미세조정, LLM 레시피(6.1·6.4·6.5)와 대조.
• cross-embodiment — 여러 로봇·인간에서 전이, 인간→로봇 retargeting, 왜 어렵고 중요한가.

선수 지식: 10.10(VLA·GR00T·데이터 희소성)·9.13·9.14(RL·시뮬·도메인 랜덤화)·10.5·10.6(합성데이터)·10.7(Sim2Real)·6.1·6.4·6.5(LLM 라이프사이클·SFT·정렬 — 학습 레시피 대조)·8.14(데이터 엔진·플라이휠)·8.3·5.2(Thor·TensorRT 배포). VLA 개념은 10.10. 워크플로우 통합은 11.1, 미래 방향은 11.2.

정직: GR00T의 데이터·학습 구성요소(합성 궤적 생성·월드 모델 기반 생성 등)는 발표·진화 중이고 빠르게 변한다 — NVIDIA가 발표한 도구·방법(예: 시뮬 기반 데모 증강·합성 모션)을 다루되 구체 명칭·방법·성능은 발표 기준·시점 의존, 변동 가능(BK-05). 이 장은 "로봇 데이터 문제를 푸는 전략(피라미드·플라이휠)과 학습 레시피의 원리"를 가르치고, 구체 GR00T 컴포넌트는 "공식 발표로 확인". 로봇 파운데이션 모델의 데이터·학습 레시피는 정착되지 않은 활발한 연구이고, 데이터·Sim2Real·cross-embodiment·dexterity가 미해결임을 정직하게 둔다. 과장 금지(10.10.6). 코드·수치는 개념 골격·개략.

10.11.2 로봇 데이터 피라미드 — 희소성을 푸는 구조

로봇 데이터 희소성(10.10.2)을 푸는 핵심 구조가 데이터 피라미드 — 풍부함·정확함·비용이 다른 데이터를 층으로 쌓는다.

로봇 데이터 피라미드(많고 거침 ↔ 적고 정확) — 전략: 각 층이 다른 역할로, 넓은 prior(인간 영상) + 규모(시뮬) + 정확(텔레오퍼레이션)을 조합하고, 희소한 top을 시뮬(middle)로 곱한다(10.11.4).

• 세 층의 역할: ① 인간 영상(bottom — 풍부·거침) — 인터넷의 사람 작업 영상이 방대하나 로봇 행동 라벨이 없어 약지도(일반 동작·물체 상호작용 prior를 배움). ② 시뮬·합성(middle — 무한·갭) — Isaac Lab(9.13)·합성데이터(10.5)가 대규모·완벽 라벨이나 Sim2Real 갭(10.7). ③ 텔레오퍼레이션(top — 정확·희소) — 사람이 로봇을 조종한 정확한 실데모이나 비용이 크고 느림.
• 왜 피라미드인가: 한 소스로는 안 된다 — 인간 영상만(라벨 없음)·시뮬만(갭)·텔레오퍼레이션만(희소). 세 층을 조합 — 인간 영상으로 넓은 prior, 시뮬로 규모, 텔레오퍼레이션으로 정확함. LLM이 웹 데이터(넓음)+고품질 데이터(정확)를 섞듯, 로봇은 이 피라미드.
• 핵심 전략 — 희소를 곱하기(10.11.4): 가장 정확하나 희소한 텔레오퍼레이션 데모를, 시뮬(middle)에서 도메인 랜덤화·궤적 변형으로 수백~수천 배 곱한다(10.5·10.6·10.7). 소수의 실제 데모 → 대량 데이터. 피라미드의 top과 middle을 잇는 것이 데이터 전략의 핵심.
• GR00T의 프레이밍(발표 기준): NVIDIA(GR00T)가 이 데이터 피라미드를 명시적 전략으로 제시 — 인간 영상·시뮬·실로봇 데이터를 엮는다. 구체 방법·도구는 발표·진화 중.

핵심: 로봇 데이터 희소성의 답은 데이터 피라미드 — 인간 영상(풍부·거침·넓은 prior)·시뮬(무한·갭·규모)·텔레오퍼레이션(정확·희소·실데모) 의 세 층을 조합한다. 한 소스로는 안 되고 셋이 보완(prior+규모+정확). 핵심 전략은 희소한 텔레오퍼레이션 데모를 시뮬로 곱하기(10.11.4). LLM의 데이터 믹스에 대응하는 로봇판.

10.11.3 데이터 소스 깊이 — 각 층의 역할·과제

각 데이터 소스를 깊이 — 무엇을 주고, 어떤 과제가 있나.

• 인간 영상 — 넓은 prior, 약지도: 인터넷의 요리·조립·작업 영상은 방대·다양해 일반 동작·물체 상호작용·손-물체 관계 prior를 준다. 단 ① 행동 라벨 없음(영상에 로봇 관절 명령이 없음) → 행동을 추론하거나 표현 사전학습(시각·동작 이해)에 활용 ② embodiment 갭(인간 손 ≠ 로봇 그리퍼 — 동작이 직접 전이 안 됨) → retargeting(10.11.6) ③ 시점·맥락 차이. 풍부하나 직접 행동 데이터는 아님.
• 텔레오퍼레이션 — 정확하나 희소(gold standard): 사람이 VR·leader-follower 팔로 로봇을 조종 → 정확한 관측+행동 쌍(실로봇·실물리). 가장 정제된 데모이나 사람이 일일이 조종해 비용이 크고 느림·과제마다 수집. 그래서 희소 — 이것을 시뮬로 곱하는 것이 핵심(10.11.4).
• 시뮬·합성 — 규모, 갭: Isaac Lab(9.13)이 대규모 병렬·무한·완벽 라벨, Replicator(10.5)가 인지·외형. 활용: ① RL 스킬(9.13 — 시뮬에서 보행·파지 학습) ② 데모 증강(텔레오퍼 데모를 시뮬에서 변형·곱하기 10.11.4) ③ 인지 데이터(10.5·10.6). 단 Sim2Real 갭(10.7) → 도메인 랜덤화·미세조정.
• 조합의 묘: 각 소스의 약점을 다른 것이 보완 — 인간 영상의 약지도를 텔레오퍼/시뮬의 정확 행동이, 텔레오퍼의 희소를 시뮬이, 시뮬의 갭을 텔레오퍼/실데이터가. 피라미드가 서로를 받친다.

견해: 인간 영상(넓은 prior·약지도·embodiment 갭)·텔레오퍼레이션(정확·실물리·희소·고비용)·시뮬(규모·완벽 라벨·Sim2Real 갭)이 각각 다른 것을 준다 — 한 소스의 약점을 다른 것이 보완. 특히 희소한 텔레오퍼레이션을 시뮬로 곱하고, 인간 영상으로 prior를. embodiment 갭·Sim2Real 갭·약지도가 각 소스의 과제이고, 조합이 답.

10.11.4 데이터 플라이휠 — 희소 데이터를 곱하기

로봇 데이터 전략의 핵심은 희소한 데이터를 시뮬로 곱하고, 배포 실패를 환류하는 플라이휠이다(8.14 데이터 엔진의 로봇판).

• 곱하기(augmentation) — 희소의 극복: 소수의 텔레오퍼레이션 데모(예: 수십~수백 개)를 시뮬에서 곱한다 — 같은 작업을 다른 물체·위치·외형·조명·물리로 도메인 랜덤화(10.6)하고 궤적을 변형해 수백~수천 배 데이터로. 시뮬 물리(PhysX 9.11)로 변형이 타당한지 검증(물리적으로 가능한 궤적). 소수 실제 데모 → 대량 다양 데이터. 이것이 텔레오퍼레이션의 희소(10.11.3)를 푸는 핵심.
• 합성 궤적·월드 모델(발표 기준): NVIDIA가 데모 증강(시뮬 기반)·월드 모델 기반 생성(영상·미래 예측으로 데이터 생성) 같은 방법을 발표(GR00T 관련 — 구체는 진화·발표 기준). 핵심 아이디어는 소수 데이터를 생성 모델·시뮬로 증폭.
• 환류(flywheel) — 8.14의 로봇판: 배포(Thor 8.3) → 실패 발견(특정 물건·상황서 실패) → 그 조건을 텔레오퍼레이션·시뮬에 반영(그 케이스 데모·증강) → 타깃 데이터 → 재학습 → 개선. 8.14 자율주행 데이터 엔진·9.12·10.5 합성 플라이휠의 로봇 파운데이션판. 돌수록 데이터·모델이 좋아진다.
• 데이터 품질·다양성(6.6·10.6): 맹목적 곱하기가 아니라 다양성·타당성(물리적으로 가능·현실적)이 중요(10.6 다양성·6.6 큐레이션 정신). 비현실 증강은 갭만 키움.
• Sim2Real 위에서(10.7): 곱한 시뮬 데이터는 Sim2Real 갭이 있으니, 도메인 랜덤화·실데이터 혼합·미세조정(10.7)과 함께. 곱하기가 양을, Sim2Real이 실전이를.

견해: 데이터 플라이휠의 핵심은 희소 데모를 시뮬로 곱하기(소수 텔레오퍼레이션 → 도메인 랜덤화·궤적 변형으로 수천 배, 물리로 타당성 검증)와 배포 실패를 환류(8.14 로봇판)다. 맹목적 곱하기가 아니라 다양성·타당성(10.6·6.6)이 관건이고, Sim2Real(10.7) 위에서. 돌수록 좋아지는 플라이휠이 로봇 데이터 희소(10.10)를 푸는 전략. 발표 컴포넌트(합성 궤적·월드 모델)는 진화 중.

10.11.5 학습 루프 — 사전학습·모방학습·RL·미세조정

데이터를 모았으면 학습한다. 로봇 파운데이션 모델 학습은 LLM의 레시피(6.1·6.4·6.5)와 닮은 흐름이다.

= 넓게(prior) → 데모(능력) → 다듬기(강건/최적)

• ① 사전학습(pretrain) — 넓은 데이터(인간 영상 + 시뮬)로 일반 표현(시각·동작·언어 이해, VLM 기반 10.10)을 학습. LLM이 웹으로 언어를 배우듯, 로봇은 영상·시뮬로 세계·동작 prior. 데이터 피라미드의 bottom·middle.
• ② 모방학습(imitation learning / behavior cloning) — 데모(텔레오퍼레이션 + 시뮬 증강 10.11.4)를 따라하기 — 관측 → 데모 행동을 예측하도록(지도학습). 과제 수행 능력을 배움. LLM의 SFT(6.4) 에 대응(지시-응답 따라하기 ↔ 관측-행동 따라하기). 로봇 학습의 주력(데모가 있으면 강력).
• ③ RL·미세조정 — 시뮬 RL(9.13·9.14) 로 스킬을 다듬거나(모방만으론 부족한 강건·최적화), 실데이터 미세조정(10.7)으로 실로봇 적응. LLM의 RLHF/DPO(6.5) 에 대응(다듬기·정렬). 모방으로 기초, RL로 강건.
• 레시피의 닮음(6.1 정신): 넓게(prior) → 데모(능력) → 다듬기(강건/최적) — 로봇과 LLM이 같은 구조. 파운데이션 모델의 보편 레시피(사전학습 → 지도 → 강화). 6.1·6.4·6.5를 로봇에 대응시키면 이해가 쉽다.
• 모방 vs RL(9.13 대조): 모방학습은 데모가 있으면 효율적·안정(데모를 따라함)이나 데모 너머는 못 함. RL(9.13)은 데모 없이 보상으로 탐색·최적화하나 샘플·보상 설계가 어렵다. 조합 — 모방으로 기초, RL로 다듬기·데모 없는 부분. 둘 다 시뮬(9.13) 위에서.
• 정직(진화 중): 이 레시피는 연구·진화 중이고 정착되지 않았다 — 모방·RL·사전학습의 비율·방법이 활발히 탐구됨. LLM처럼 안정된 레시피가 아직 없다(10.10.6).

견해: 로봇 파운데이션 학습은 사전학습(넓은 데이터로 prior)→모방학습(데모 따라하기, LLM SFT 6.4 대응)→RL·미세조정(다듬기, LLM RLHF 6.5 대응) — 넓게→데모→다듬기의 LLM 레시피(6.1)와 닮은 구조. 모방(데모 효율·안정)과 RL(9.13 탐색·최적화)을 조합, 시뮬 위에서. 단 레시피는 연구·진화 중으로 정착 안 됨(LLM만큼 안정 아님). 6.1·6.4·6.5 대응으로 이해.

10.11.6 cross-embodiment — 여러 로봇·인간에서 전이

generalist 로봇 모델의 야심 중 하나는 cross-embodiment — 여러 로봇 몸체·인간에서 데이터를 모아 전이하는 것이다(10.10 GR00T의 목표).

• 왜 어려운가: 로봇마다 몸체(embodiment) 가 다르다 — 관절 수·구성·손(2지/5지)·크기·동역학. 한 로봇 데이터·정책이 다른 로봇에 직접 안 맞는다(같은 의도도 다른 관절 명령). 그래서 데이터를 모아도 호환·전이가 어렵다.
• 왜 중요한가: ① 데이터 공유 — 여러 로봇의 데이터를 합쳐 희소(10.10)를 극복 ② generalist — 한 모델이 여러 휴머노이드에(10.10 GR00T) ③ 인간 데이터 활용 — 인간 영상(풍부)을 로봇에. cross-embodiment가 되면 데이터·모델이 몸체를 넘어 쌓인다.
• 접근: ① 공유 표현 — 여러 embodiment를 공통 표현 공간에(고수준은 공유) ② embodiment 조건화 — 몸체 정보(관절 구성)를 입력에 줘 모델이 적응 ③ 행동 추상화 — 끝점·목표 수준(저수준 관절 제어는 로봇별 컨트롤러로, VLA는 고수준). RT-X(여러 로봇 데이터)·GR00T 등이 시도.
• 인간 → 로봇 retargeting: 인간 영상(10.11.3)의 동작을 로봇 몸체로 변환(retarget) — 인간 손-물체 동작을 로봇 그리퍼 동작으로 매핑(embodiment 갭 메우기). 인간 데이터의 풍부함을 로봇에 가져오는 다리. 단 인간 손(정교)과 로봇 그리퍼의 차이가 retargeting을 어렵게(10.10.6 dexterity).
• 정직(미해결): cross-embodiment는 활발한 연구·미해결이다 — 완벽한 몸체 간 전이는 아직 어렵고, embodiment 갭·retargeting이 난제. generalist 휴머노이드의 핵심이자 미해결 부분.

견해: cross-embodiment는 여러 로봇 몸체·인간에서 데이터를 모아 전이하는 것 — 데이터 공유(희소 극복)·generalist(10.10)·인간 데이터 활용에 핵심이나, 몸체 차이(관절·손·동역학)로 어렵다. 공유 표현·embodiment 조건화·행동 추상화로 접근, 인간→로봇은 retargeting(손-그리퍼 매핑). 활발한 연구·미해결 — generalist 휴머노이드의 핵심이자 난제(정직).

10.11.7 워크스루 — 데이터·학습·배포 파이프라인

GR00T류 파이프라인의 전체 흐름(개념 — 구체 도구·방법은 발표·진화 의존, 코드보다 구조).

체크포인트

• 데이터 피라미드 세 층 다 활용하나(인간 영상·시뮬·텔레오퍼)
• 희소 데모를 시뮬로 곱하고 다양성·타당성 확보하나(10.11.4)
• 학습 레시피(사전학습→모방→RL/미세조정) 적용하나(10.11.5)
• Sim2Real(10.7) — 시뮬 데이터의 갭을 DR·미세조정으로
• 엣지 실시간 추론(Thor·TensorRT·행동 청크 10.10.4)
• 실패 환류 플라이휠 도나(8.14)
• 데이터가 8할의 일(10.10.2·10.11.2): 파이프라인의 핵심·난점은 데이터 수집·생성 — 텔레오퍼레이션(수집)·시뮬 곱하기(증강)·인간 영상(prior). 학습은 레시피(10.11.5)가 있으나 데이터가 사활.
• 시뮬이 양 축에(9.13·10.5): 시뮬은 ① 데이터 곱하기(데모 증강 10.11.4) ② RL 스킬(9.13) ③ 학습 환경으로 — 로봇 파운데이션의 데이터·학습 양쪽에. 이 책 시뮬 부(9.11~10.9)가 GR00T를 위한 토대(10.10.7).
• 배포·실시간(8.3·5.2·10.10.4): 큰 VLA를 엣지(Thor)에서 실시간 — TensorRT(5.2)·행동 청크·계층(10.10.4). 학습 거대(데이터센터)·추론 경량(엣지) — 0.1.
• 플라이휠(8.14): 실패 환류로 데이터·모델 개선 — 돌수록 좋아짐. 로봇 파운데이션은 한 번이 아니라 순환.
• 정직(진화): 이 파이프라인은 연구·진화 중 — 데이터 믹스·학습 레시피·증강 방법이 활발히 탐구되고 정착 안 됨. GR00T 구체 컴포넌트는 발표 기준(10.10.6·10.11.1).

견해: 파이프라인은 데이터(인간 영상·텔레오퍼·시뮬 곱하기)→학습(사전학습→모방→RL/미세조정)→배포(Thor·TensorRT·실시간)→환류(플라이휠) 이고, 데이터가 8할의 일(수집·증강). 시뮬이 데이터 곱하기·RL·학습 환경 양쪽에(9.11~10.9가 토대). 배포는 엣지 실시간(8.3·5.2·10.10.4), 플라이휠(8.14)로 순환. 단 레시피는 연구·진화 중(정직).

10.11.8 중간 점검 (체크포인트)

• [ ] 로봇 데이터 피라미드(인간 영상·시뮬·텔레오퍼레이션)의 세 층과 각 역할·트레이드오프를 안다.
• [ ] 각 소스의 장단·과제(인간 영상 약지도·embodiment 갭, 텔레오퍼 정확·희소, 시뮬 규모·Sim2Real)를 안다.
• [ ] 데이터 플라이휠이 희소 데모를 시뮬로 곱하고(도메인 랜덤화·궤적 변형) 실패를 환류(8.14)을 안다.
• [ ] 학습 레시피(사전학습→모방학습→RL/미세조정)와 LLM(6.1·6.4·6.5)과의 대조를 안다.
• [ ] cross-embodiment(여러 로봇·인간 전이)가 왜 어렵고 중요하며 retargeting을 안다.
• [ ] 데이터·학습·배포(Thor·TensorRT)·플라이휠 파이프라인과 시뮬이 양 축(데이터·학습)임을 안다.

증상→의심: 데이터 부족 → 텔레오퍼 희소 → 시뮬로 곱하기(10.11.4)·인간 영상 prior. 곱한 데이터가 비현실 → 맹목적 증강·다양성/타당성 부족 → 물리 검증·다양성(10.6·6.6). 인간 영상이 로봇에 전이 안 됨 → embodiment 갭 → retargeting·조건화(10.11.6). 모방학습이 데모 너머 못 함 → BC 한계 → RL 다듬기(9.13·10.11.5). 시뮬 학습이 실로봇서 실패 → Sim2Real 갭 → DR·미세조정(10.7). VLA 실시간 안 됨 → 큰 모델 → 행동 청크·계층·TensorRT(10.10.4·10.10.57). 여러 로봇에 안 맞음 → embodiment별 → cross-embodiment·조건화(10.11.6).

10.11.9 트레이드오프·대안

견해: 로봇 데이터 희소(10.10)를 푸는 정석은 피라미드 + 플라이휠 — 인간 영상(prior)·텔레오퍼레이션(정확·희소)을 시뮬로 곱하고(규모) 실패를 환류한다. 학습은 모방(데모)+RL(다듬기) 조합, 사전학습으로 prior. cross-embodiment로 데이터를 몸체 너머 쌓되 미해결. 핵심은 양보다 다양성·타당성(10.6·6.6)과 Sim2Real(10.7). 단 이 레시피는 연구·진화 중이고 정착 안 됨 — LLM처럼 안정된 공식이 아직 없다(정직 10.10.6). 데이터가 사활이고 시뮬이 그 답.

비엔비디아 정직: 로봇 데이터·학습 방법은 활발한 학계·업계 경쟁이다 — 모방학습(behavior cloning·diffusion policy)·RL·cross-embodiment(RT-X)·인간 영상 학습·텔레오퍼레이션(ALOHA·UMI 등)·데이터 증강이 널리 연구된다. NVIDIA(GR00T)의 강점은 시뮬(Isaac Lab 9.13)·합성데이터(10.5)·도메인 랜덤화·Omniverse·Thor·풀스택으로 데이터 곱하기·학습·배포를 통합하는 것이나, 방법 자체는 NVIDIA 고유가 아니고 경쟁·진화가 치열하다. 데이터 수집 방법(텔레오퍼레이션 하드웨어)·학습 레시피는 다양한 그룹이 탐구. 로봇 데이터·학습은 정착 안 된 연구 영역이라 구체 방법·승자·성능을 단정 말고 발표·연구 기준으로. 가장 정직한 사실: 데이터 플라이휠·시뮬 증강은 유망한 전략이되, 로봇 파운데이션 모델의 데이터·Sim2Real·cross-embodiment·dexterity는 미해결이고 레시피는 진화 중이다.

10.11.10 흔한 함정

• 한 데이터 소스만. 인간 영상만(라벨 없음)·텔레오퍼만(희소)·시뮬만(갭) → 피라미드 조합(10.11.2).
• 텔레오퍼레이션만으로 규모 기대. 비용이 크고 느려 부족 → 시뮬로 곱하기(10.11.4).
• 맹목적 곱하기. 비현실·비다양 증강은 갭만 → 다양성·물리 타당성(10.6·6.6).
• 인간 영상 직접 전이 기대. embodiment 갭(손≠그리퍼) → retargeting·조건화(10.11.6).
• 모방학습만. 데모 너머·강건성 부족 → RL 다듬기(9.13·10.11.5).
• 사전학습 건너뜀. 데이터 희소에 처음부터 학습 → prior(사전학습)로 일반화(10.11.5).
• 시뮬 데이터 갭 무시. 곱한 시뮬을 바로 실로봇 → Sim2Real DR·미세조정(10.7).
• cross-embodiment 과소·과대평가. 직접 전이 기대 또는 포기 → 조건화·추상화·미해결 인정(10.11.6).
• VLA 엣지 실시간 무시. 큰 모델 느림 → 행동 청크·계층·TensorRT(10.10.4·10.10.57).
• 레시피 정착 가정. 연구·진화 중 → 발표·연구 기준, 과장 금지(10.10.6).

10.11.11 연습문제

연습 1 (데이터 피라미드). 로봇 데이터 피라미드의 세 층(인간 영상·시뮬·텔레오퍼레이션)을 풍부함·정확함·비용으로 설명하고, 왜 한 소스로는 안 되고 조합이 답인지 답하라.

연습 2 (데이터 소스 과제). 각 데이터 소스(인간 영상·텔레오퍼레이션·시뮬)의 역할과 핵심 과제를 설명하고, 각 약점을 어떻게 다루는지 답하라.

연습 3 (플라이휠·곱하기). 데이터 플라이휠이 희소한 텔레오퍼레이션 데모를 어떻게 곱하는지 설명하고, 맹목적 곱하기의 위험과 환류(8.14)이 어떻게 작동하는지 답하라.

연습 4 (학습 레시피). 로봇 파운데이션 학습 레시피(사전학습·모방학습·RL/미세조정)를 설명하고 LLM(6.1·6.4·6.5)과 대조하며, 모방학습과 RL의 차이·조합을 답하라.

연습 5 (cross-embodiment). cross-embodiment가 무엇이고 왜 어려우며 왜 중요한지 설명하고, 접근 방법과 인간→로봇 retargeting, 그리고 정직한 한계를 답하라.

10.11.12 요약 · 다음 장

• 데이터 피라미드: 인간 영상(풍부·거침·prior)·시뮬(무한·갭·규모)·텔레오퍼레이션(정확·희소·실데모) 세 층 조합 — 한 소스로는 안 되고 서로 보완. 로봇 데이터 희소(10.10)의 답.
• 데이터 플라이휠: 핵심은 희소 텔레오퍼 데모를 시뮬로 곱하기(도메인 랜덤화·궤적 변형·물리 타당성 10.5~10.7) + 실패 환류(8.14). 양보다 다양성·타당성(10.6·6.6).
• 학습 레시피: 사전학습(prior)→모방학습(데모·BC)→RL/미세조정(다듬기) — LLM(사전학습→SFT 6.4→RLHF 6.5)과 닮은 구조. 모방(효율·안정)+RL(탐색·최적) 조합, 시뮬 위에서.
• cross-embodiment: 여러 로봇·인간 전이(데이터 공유·generalist) — 몸체 차이로 어렵고(공유 표현·조건화·추상화·retargeting), 미해결.
• 파이프라인: 데이터(8할의 일)→학습→배포(Thor·TensorRT 실시간 8.3·5.2·10.10.4)→플라이휠. 시뮬이 데이터·학습 양 축(9.11~10.9가 토대). 정직: 레시피 연구·진화 중·정착 안 됨, 데이터·Sim2Real·cross-embodiment·dexterity 미해결, 경쟁 치열(RT-X·ALOHA 등), 발표 기준·과장 금지(10.10.6).

제10부 시뮬레이션·디지털트윈·피지컬 AI(10.1~10.11) 완료 — Omniverse·OpenUSD·합성데이터·Sim2Real·디지털트윈·휴머노이드 GR00T. 컴퓨팅 기반(제1~4부)→AI 소프트웨어(제5~7부)→자율주행(제8부)→로보틱스(제9부)→시뮬·피지컬 AI(제10부)가 한 흐름으로.

다음 장: 11.1 엔드투엔드 워크플로우 통합. 제11부 종합 — 이 책 전체(GPU·CUDA·라이브러리·데이터센터·추론·생성형 AI·자율주행·로보틱스·시뮬·피지컬 AI)를 학습→최적화→배포→엣지의 한 워크플로우로 관통하고, 도메인(데이터센터·자율주행·로보틱스)을 대조한다. 풀스택이 어떻게 한 흐름으로 이어지는지를.