Physical AI
스터디 커리큘럼

Physical AI는 기존 vision-language AI와 무엇이 다르며, 이 분야의 논문·테크리포트를 어떤 기준으로 읽어야 하는가?

• perception → representation → prediction → planning → action의 연결과 closed loop
• 최소 로봇 리터러시: observation/state/action, joint·EE space, open/closed-loop, action chunk, teleoperation, control frequency, inference latency
• 읽는 기준: method / data / system / product claim 구분, claim-evidence 구분, task 정의가 다른 성공률을 직접 비교하지 않기
• (마지막 5~10분) 하드웨어 지형은 "이런 제품들이 있다" 수준으로만

산출물 — Physical AI problem map 초안 · 공통 발제 템플릿 확정 · 용어집 v1. 서베이 3종(부록 A.1)은 정독하지 않고 좌표 확인용으로 반복 참조한다.

로봇 action을 언어처럼 token으로 예측하면 무엇이 좋아지고, 웹 규모 VLM의 지식은 어디까지 제어로 전이되는가?

• RT-1: Robotics Transformer for Real-World Control at Scale (2022)anchor
• RT-2: VLA Models Transfer Web Knowledge to Robotic Control (2023)

• action discretization과 autoregressive prediction, 13만 episode 데이터 엔진 (RT-1)
• VLM co-fine-tuning, web knowledge transfer, emergent capability 평가 (RT-2)
• 두 논문 사이에서 유지된 것(action 표현)과 바뀐 것(백본·데이터·주장)

토론 — token probability는 continuous multimodality의 해결인가, 우회인가? generalization claim과 평가 설계의 간격. 산업계 claim-evidence 표 첫 적용.

cross-embodiment 데이터셋과 공개 학습 파이프라인은 왜 그 자체로 연구 기여인가?

• Open X-Embodiment: Robotic Learning Datasets and RT-X Models (2023)
• OpenVLA: An Open-Source Vision-Language-Action Model (2024)anchor

• 서로 다른 로봇 데이터를 합칠 때의 action space·카메라·주파수 정렬, positive transfer의 조건 (RT-X)
• RT 계보의 공개 구현과 fine-tuning, discrete token의 정밀도·주파수·deployment 비용

산출물 — 공개성·하드웨어 요구량·수정 가능 지점을 담은 재현 가능성 카드. 우리 연구실이 fine-tuning·probing·adapter 연구를 시작할 수 있는 지점은 어디인가?

한 스텝씩 action을 예측하면 왜 실패하며, chunk는 무엇을 해결하고 무엇을 잃는가?

• Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT/ALOHA) (2023)anchor
• Mobile ALOHA: Bimanual Mobile Manipulation with Whole-Body Teleoperation (2024)

• compounding error, action chunking과 temporal aggregation, chunk 길이 vs 반응성 trade-off
• 저가 bimanual teleop rig의 연구적 의미, 베이스 포함 whole-body action과 co-training 효과

연결 — DP·π0·GR00T·RDP의 공통 action 단위. 전신 teleop 데이터 수집은 Ch.11에서 humanoid로 확장. 산출물: single-step / chunk / token 1차 비교표.

같은 관측에서 여러 action이 모두 정답일 때 MSE 회귀는 왜 실패하며, iterative sampling의 비용은 어떻게 줄이는가?

• Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (2023)anchor
• Flow Matching for Generative Modeling (2023)

• action multimodality, observation-conditioned denoising, receding-horizon 실행
• diffusion↔flow의 관계, vector field·ODE 직관, 적은 sampling step이 제어 주파수에 중요한 이유
• 기초 범위: DDPM forward/reverse 직관까지만 — ELBO 유도·OT 이론 생략

핵심 장면 — 좌·우 회피가 모두 정답인데 평균 action이 장애물 정면을 향하는 사례. 산출물: 추론 step ↔ latency ↔ control frequency 표 시작.

학습 목표(diffusion/flow)와 별개로, 아키텍처와 action tokenizer는 각각 무엇을 결정하는가?

• Scalable Diffusion Models with Transformers (DiT) (2023)anchor
• FAST: Efficient Action Tokenization for VLA Models (2025)

• U-Net 대신 Transformer를 쓰는 이유, conditioning 주입, 스케일링 (DiT)
• naive binning token이 고주파·정밀 action에서 무너지는 이유, DCT 기반 압축 tokenization (FAST)

토론 — tokenizer가 충분히 좋아지면 discrete vs continuous 논쟁의 결론이 바뀌는가? 연결: RDT·GR00T의 DiT 계열, π0-FAST.

action model을 그대로 두고 입력 표현만 2D→3D로 바꾸면 왜 데이터 효율이 달라지며, humanoid·egocentric·onboard 환경에서는 무엇이 새로 필요한가?

• 3D Diffusion Policy (2024)anchor
• Generalizable Humanoid Manipulation with 3D Diffusion Policies (iDP3) (2024)

• point cloud 표현, viewpoint invariance, demonstration efficiency
• egocentric 관측, noisy human data, onboard compute, scene generalization

반증 조건 — depth sensor·calibration 비용까지 포함해도 3D 이득이 유지되는가? Update 지침: 2025-26 후속 3D 정책 연구가 있으면 비교 슬롯 추가.

cognition-action 분리와 재사용성·adaptation이라는 서로 다른 설계 동기는 구조를 어떻게 다르게 만드는가?

• CogACT: Synergizing Cognition and Action (2024)anchor
• Octo: An Open-Source Generalist Robot Policy (2024)

• VLM backbone + diffusion action module 분리, stage-wise training (CogACT)
• transformer policy, diffusion head, task token, fine-tuning interface (Octo)

토론 — 모듈 분리는 inductive bias인가, scale 부족을 보완하는 engineering choice인가? 새 sensor·robot에 붙일 때 최소 수정 모듈은?

DiT 기반 action model을 대규모 bimanual foundation model로 키우면 무엇이 달라지고, reasoning을 조건으로 넣으면 무엇을 얻고 잃는가?

• RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation (2024)anchor
• Diffusion-VLA (2024)

• diffusion transformer, heterogeneous bimanual data, unified action representation
• self-generated reasoning 조건화와 interpretability claim

토론 — 통합 action space는 cross-embodiment의 해결인가, 공통 좌표계로 미룬 것인가? π0와의 차이: diffusion vs flow, 공개 vs 폐쇄. Update 지침: 2025-26 후속 버전 확인.

빅테크 밖의 공개 VLA는 어떤 구조적 차별화로 경쟁하는가?

• Fine-Tuning VLA Models: Optimizing Speed and Success (OpenVLA-OFT) (2025)
• SmolVLA: Affordable and Efficient Robotics (2025)

• parallel decoding, continuous action head, fine-tuning 레시피 (OFT)
• 경량 VLM + flow expert + community data + async inference (SmolVLA)
• Landscape: WALL-OSS, AgiBot GO-1, GR-3, RoboVLM 등은 설계가 다를 때만 짧게

개인 연구자 관점 — 연구실 GPU에서 fine-tuning 가능한 모델은 무엇이며, 무엇을 포기한 설계인가?

discrete token의 정밀도·속도 한계를 flow-matching action expert가 어떻게 공격하며, dexterity가 확보된 뒤에도 처음 보는 환경·long-horizon task에서 실패하는 이유는 무엇인가?

• π0: A Vision-Language-Action Flow Model for General Robot Control (2024)anchor
• π0.5: a VLA with Open-World Generalization (2025)

• VLM backbone + flow expert + action chunk, heterogeneous robot data (π0)
• heterogeneous co-training, web data, semantic subtask, open-world task 정의 (π0.5)
• 성능 숫자보다 '새 집에서 부엌 정리'라는 평가 task 정의 방식을 본다

토론 — semantic hierarchy가 control generalization을 만든 것인가, task decomposition을 외부에서 제공한 것인가?

demonstration만으로 학습한 VLA가 실제 실패에서 배우려면, 그리고 큰 flow policy가 추론 지연 속에서도 끊기지 않고 움직이려면 각각 무엇이 필요한가?

• π*0.6: a VLA That Learns From Experience (RECAP) (2025)anchor
• Real-Time Execution of Action Chunking Flow Policies (2025)

• experience collection, intervention, advantage-conditioned policy, reward/judge (RECAP)
• 추론 지연 동안 chunk를 이어붙이는 inpainting식 비동기 실행 (RTC)

쟁점 — 보상은 누가 정의하며 VLM-as-judge를 얼마나 신뢰할 수 있는가? chunk를 어느 구간에서 잘라도 안전한가? 연결: Ch.13 평가, Ch.10 실시간성.

낮은 수준 policy 위에 System 2 VLM을 얹는 계층화와, VLM 지식을 보호하며 action expert를 학습시키는 레시피는 각각 어떤 실패를 막는가?

• Hi Robot: Open-Ended Instruction Following with Hierarchical VLAs (2025)
• Knowledge Insulating Vision-Language-Action Models (2025)

• open-ended instruction, 사용자 개입·피드백 처리, 고수준-저수준 분업 (Hi Robot)
• continuous action head의 gradient가 VLM representation을 훼손하는 문제와 차단 레시피 (KI)

연결 — Ch.10 dual system, Ch.6 데이터 엔진.

robot fleet 없이, 공개 VLA를 배포 후에도 계속 개선하거나 능력을 이식하는 연구는 어디까지 가능한가?

• Towards Long-Lived Robots: Continual Learning VLA Models via Reinforcement Fine-Tuning (2026)anchor
• CapVector: Transferable Capability Vectors in Parametric Space for VLAs (2026)

• 시뮬레이터·벤치마크 위 RL fine-tuning과 continual learning의 catastrophic forgetting
• fine-tuned 모델 간 parameter-space 연산으로 능력을 추출·이식하는 접근

비교축 — π*0.6 RECAP의 '배포 후에도 배우는 로봇'이라는 같은 질문을 공개 모델 + 시뮬 + 소수 GPU 규모에서 공격한다. OpenVLA·π0 계열 공개 가중치와 LIBERO/RoboTwin급 벤치마크로 시작 가능.

RT-2의 'semantic knowledge transfer' 주장은 실제 generalist robot system에서 어떻게 확장되고 수정되는가?

• Gemini Robotics (2025)anchor
• Gemini Robotics 1.5 (2025)

• embodied reasoning(ER) 모델의 분리와 역할, motion transfer와 cross-embodiment 학습
• think-before-acting interface와 thinking budget (1.5) — On-Device 등 파생 릴리스는 노트로만

발표 방식 — 버전별 요약이 아니라 RT-2 → 1.0 → 1.5 계보의 주장과 증거 비교. 발표 1주 전 최신 공식 버전 확인.

humanoid foundation model에서 VLM과 action model을 dual-system으로 나누는 이유는 무엇이며, 버전업에서 무엇이 바뀌었는가?

• GR00T N1: An Open Foundation Model for Generalist Humanoid Robots (2025)anchor
• GR00T N1.5 공식 릴리스 (모델 카드·기술 문서)

• System 2 VLM + System 1 action model(DiT/flow), 실물·합성·웹 비디오의 data pyramid
• N1.5의 변화: frozen VLM, 새 embodiment head, DreamGen 합성 데이터 활용

연결 — Ch.10 dual system, Ch.11 whole-body control 인터페이스. 사용 humanoid와 onboard/offboard compute를 명시한다.

'action label이 붙은 실물 teleop 데이터'라는 병목을 우회하는 두 갈래 — latent action과 neural trajectory — 는 각각 어떤 학습 신호를 만들어내는가?

• Latent Action Pretraining from Videos (LAPA) (2024)anchor
• DreamGen: Unlocking Generalization through Neural Trajectories (2025)

• latent action discovery, video pretraining, policy adaptation (LAPA)
• video world model fine-tuning → 합성 trajectory → policy 학습, generation-to-real gap (DreamGen)

쟁점 — 해석 불가능한 latent action의 디버깅·정렬. 생성 trajectory는 새 정보인가, 기존 분포의 재조합인가? 연결: Ch.8 Genie·world model as data engine.

소수의 사람 시연을 시뮬레이터에서 대량의 새 시연으로 증식할 때, 그 diversity는 어디까지 진짜인가?

• DexMimicGen (2024)anchor
• MimicGen (2023) — 원리 발췌만

• object-centric segment 재조합, scene 변형, 증식 데이터 품질 필터링, humanoid·bimanual 확장
• 실물 teleop(ALOHA 계보) vs 생성 비디오(DreamGen) vs 프로그램적 증식의 비용·오류·확장성

Update — 발표 시점의 2025-26 demonstration synthesis 후속을 확인해 보강. 연결: GR00T 데이터 파이프라인.

현재 VLA 병목은 모델보다 데이터 infrastructure에 있는가?

• Open X-Embodiment(재방문), DROID, BridgeData, AgiBot World, LeRobot community data
• VLA in Robotics: A Survey of Datasets, Benchmarks, and Data Engines (2026)

• embodiment diversity, action space mismatch, temporal alignment, annotation·language 품질, real/sim/generated mixture

산출물 — 데이터셋을 episode 수가 아니라 fidelity, diversity, action semantics, reproducibility로 비교.

서로 다른 관절 구조와 action dimension을 하나의 모델에 어떻게 정렬하는가?

• 비교 후보: RDT unified action space, Gemini motion transfer, GR00T embodiment head, 최신 canonical action representation
• 모델 전체가 아니라 cross-embodiment interface만 분리해 비교한다

2026년 현재, 대학 연구실이 감당 가능한 비용으로 만들 수 있는 데이터 수집 시스템은 어디까지 왔는가?

• RealDexUMI: A Wearable Universal Manipulation Interface (2026)anchor
• YOR: Your Own Mobile Manipulator for Generalizable Robotics (2026)

• 로봇 없이 사람 시연을 수집하는 wearable interface와 embodiment gap 처리 — UMI(2024) 계보의 최신
• 저비용 자작 mobile manipulator 플랫폼과 그 위의 generalist policy 학습
• 그 외 2026 후보: MEVION, YUBI, XLeRobot 계열 — 발표 시 택1 비교

비교축 — ALOHA → UMI → 2026 시스템으로 이어지는 '데이터 수집 민주화'의 현재 지점. 어떤 시스템이 우리 예산·인력으로 재현 가능한가?

예측 불가능한 픽셀 디테일을 생성하지 않고 latent에서 예측하면 무엇이 달라지는가?

• A Path Towards Autonomous Machine Intelligence (2022) — 관련 절만 발췌
• I-JEPA: Joint-Embedding Predictive Architecture (2023)anchor

• predictor, target encoder, representation collapse 방지, energy-based 관점의 최소 개념
• pixel reconstruction 계열과 latent prediction 계열이 각각 버리는 정보

position paper 전체 정독과 장기 철학 토론은 피하고, I-JEPA 설계로 이어지는 부분만 다룬다.

인터넷 비디오에서 학습한 latent representation이 실제 prediction과 robot planning에 충분한가?

• V-JEPA 2 (2025)anchor
• V-JEPA 2.1 (2026)

• video pretraining, action-conditioned model, planning, real-robot evaluation, dense feature 개선
• 추적할 변화: image→video, global→dense spatiotemporal feature, understanding→prediction·planning·control

핵심 질문 — 접촉, 힘, 미세 기하처럼 latent가 놓칠 수 있는 정보는 무엇인가?

3D를 얻기 위해 고전적 calibration·reconstruction pipeline이 반드시 필요한가? 하나의 feed-forward transformer로 camera·depth·pointmap·track을 동시에 추론할 수 있는가?

• DUSt3R: Geometric 3D Vision Made Easy (2024)anchor
• VGGT: Visual Geometry Grounded Transformer (2025)

• pointmap regression, pairwise geometry, camera-free 3D reconstruction, 단일 모델 통합
• 후속 계보(MASt3R, CUT3R 등)는 핵심 변화만 짧게

연결 — 3D Diffusion Policy가 필요로 하는 geometry를 더 싸게 얻는 방법.

정적 3D representation에 시간을 추가한 4D representation은 VLA에 어떤 정보를 더 주는가?

• 3D-VLA (2024)anchor
• 4D-VLA (2025)

• 2D → 3D → 4D 전이에서 새로 필요한 supervision과 compute를 비교 (논문별 요약 금지)

쟁점 — 명시적 geometry가 성능을 만드는가, 추가 sensor·annotation·capacity가 만드는가?

'꿈속에서 학습한다'는 아이디어는 최신 world model agent에서 무엇으로 남았는가?

• World Models (2018) — latent dynamics·imagination 부분 발췌
• Dreamer 4 (2025)anchor

• representation model, dynamics model, reward prediction, imagined rollout, actor-critic learning

토론 — scale이 커진 것 외에 실제로 해결된 instability·long-horizon 문제는 무엇인가?

action label 없는 비디오에서 제어 가능한 세계를 학습하는 아이디어는 실시간 상호작용 세계까지 어떻게 확장되었는가?

• Genie: Generative Interactive Environments (2024)anchor
• Genie 3 공식 블로그·데모 (2025)

• latent action, video tokenizer, action-controllable generation (Genie)
• 실시간 720p/24fps, 분 단위 일관성, promptable world event, agent 학습 환경 (Genie 3)

주의 — 데모의 visual quality와 agent training utility를 구분한다. Genie 3는 기술 보고서가 얇으므로 claim-evidence 구분 연습 대상. LAPA는 latent action을 policy에, Genie는 world generation에 쓴다.

world model을 단일 논문이 아니라 데이터·생성·제어 플랫폼으로 만들면 연구 문제가 어떻게 분해되는가?

• Cosmos World Foundation Model Platform (2025)anchor
• Cosmos-Transfer1 (2025)

• Predict / Transfer / Reason 기능 분해, multimodal conditioning, synthetic data pipeline
• 모델 이름 나열 대신 플랫폼 기능 분해도 한 장으로 통합

개인 연구자 관점 — 거대 모델 학습보다 공개 모델을 이용한 data pipeline·evaluation 설계에서 배울 점.

video world model 계보는 왜 '용도별 모델 묶음'에서 '통합 flow 모델'로, 다시 reasoning·generation·action을 한 백본에 넣은 omnimodal 모델로 이동하는가?

• Cosmos-Predict2.5: World Simulation with Video Foundation Models (2025)anchor
• Cosmos 3: Omnimodal World Models for Physical AI (2026)

• Text2World/Image2World/Video2World 통합, Cosmos-Reason 결합, RL post-training (Predict2.5)
• mixture-of-transformers, understanding·generation·action 단일 백본 (Cosmos 3)

쟁점 — 통합 백본은 로봇 정책 학습에 실제로 무엇을 주는가: 표현인가, 시뮬레이터인가, 정책 초기화인가?

정책이 지정한 action을 따르는 미래 관측을 분리된 controllable world model로 만들 것인가, policy와 world model을 하나의 autoregressive 모델로 합칠 것인가?

• Ctrl-World: A Controllable Generative World Model for Robot Manipulation (2025)anchor
• WorldVLA: Towards Autoregressive Action World Model (2025)

• action conditioning, controllability, temporal consistency (Ctrl-World)
• observation/action 통합 sequence modeling, 상호 개선 주장 (WorldVLA)

쟁점 — 시각적으로 action을 따라가는 것과 dynamics가 정확한 것은 같은가? 통합 objective가 planning을 실제로 보장하는가?

world model을 데이터 생성기로 쓸 때와 정책 평가기로 쓸 때, 각각 어디에서 오류가 증폭되는가?

• C06-S03의 DreamGen을 world model 관점에서 재분석
• Evaluating Gemini Robotics Policies in a Veo World Simulator (2025)

• generation artifact → action label error → policy failure의 오류 전파
• policy evaluation protocol, real-world correlation, red-teaming, coverage (Veo)

연결 — Ch.13의 순환 논증 문제. 산출물: 데이터 생성·정책 평가 각각의 오류 전파도.

생성 world model rollout과 VLM reward로 실제 policy를 개선할 수 있는가?

• World-Gymnast: Training Robots with RL in a World Model (2026)

• physics simulator vs generative world model — 두 접근의 sim-to-real gap은 어떤 종류로 다른가?

physical common sense와 인과를 명시적 ontology·라벨·reasoning supervision으로 만들 수 있는가 — 조작과 자율주행 각각에서?

• Cosmos-Reason1 (2025)anchor
• Alpamayo-R1 (2025) — 자율주행의 Chain of Causation

• physical reasoning taxonomy, 데이터 구축, reasoning trace, downstream use
• 인과 라벨 데이터, trajectory decoder와 reasoning 정렬, latency·RL alignment

쟁점 — ontology는 physics 학습인가, 언어 설명 능력 평가인가? 조작 task에서 인과 라벨을 싸게 만들 수 있는가?

action 앞에 자연어 plan을 생성하는 것과 미래 프레임을 생성하는 것은 각각 성능·지연·해석 가능성에 무엇을 주는가?

• Robotic Control via Embodied Chain-of-Thought Reasoning (ECoT) (2024)anchor
• CoT-VLA: Visual Chain-of-Thought Reasoning (2025)

• language reasoning trace, grounding, supervision (ECoT)
• future frame subgoal, visual error propagation, generation latency (CoT-VLA)

토론 — reasoning trace는 모델을 위한 representation인가, 사람을 위한 interface인가? 미래 이미지는 explanation인가 plan인가?

언어·이미지를 거치지 않고 action space 안에서 reasoning할 수 있는가, autoregressive reasoning의 지연·오류 누적을 병렬화로 줄일 수 있는가?

• ACoT-VLA (2026)anchor
• DualCoT-VLA (2026)

• action chain, latent/action reasoning, direct control interface (ACoT)
• visual-linguistic parallel reasoning, synchronization (DualCoT)

비교 — visual / language / action reasoning을 같은 task·latency 기준으로. trade-off: 지연 감소 vs 해석 가능성.

• 선택 기준: 새로운 추론 매체·위치 / 지연을 줄이는 새 메커니즘 / trace-action 일치 검증 방법 중 하나 이상
• Ch.9 마감 비교표에 행을 추가하는 형식으로 정리

느린 System 2는 빠른 System 1을 생성·조정·선택하는가?

• Fast-in-Slow (2025)anchor
• Hume (2025)

• 통합형: fast module이 slow model 내부에 위치 vs 탐색형: slow가 후보를 생성하고 value로 선택
• 비교: GR00T N1의 분리형, Hi Robot의 계층형

주의 — 인간 뇌 System 1/2 유비를 설계 근거와 사후 설명으로 구분한다.

느린 시각 계획과 빠른 촉각 반응을 서로 다른 frequency로 실행하려면, 고주파 sensor history를 무엇으로 압축해 전달해야 하는가?

• Reactive Diffusion Policy (2025)anchor
• TacMamba (2026)

• slow-fast policy, visual-tactile asymmetry, reactive control (RDP)
• tactile history compression, state-space model, fast reflex adapter (TacMamba)

되짚기 — ACT의 chunk가 길수록 반응성이 떨어지는 문제. 연결: Ch.12 tactile 시간 특성.

모델을 작게 만들지 않고도 추론 횟수, token 수, 사용하는 layer 수를 상황에 따라 줄일 수 있는가?

• Think Twice, Act Once (2025)anchor
• DeeR-VLA: Dynamic Inference for Efficient Robot Execution (2024)

• token compression, action reuse, replanning trigger (TTAO)
• dynamic early-exit, 난이도별 compute 배분 (DeeR-VLA)

쟁점 — action을 재사용해도 되는 안정 구간을 어떻게 감지하는가? 비교: fixed chunk / receding horizon / event-triggered replanning.

논문의 architecture를 실제 GPU·edge device에서 몇 Hz로 실행할 수 있는가?

• 대상: OpenVLA, π0 계열 공개 구현, diffusion policy, compact VLA, 연구실 GPU 또는 Jetson급
• model size·memory, vision encoder frequency, action head sampling step, 통신 latency, warm-up·precision
• Real-Time Chunking(C05-S02)의 비동기 실행이 예산을 어떻게 바꾸는가

산출물 — 실측 또는 공식 수치 기반 end-to-end latency budget (아래 예산표).

왜 locomotion은 demonstration 없이 시뮬레이터 RL만으로 학습이 가능하며, 2025-26년의 전선은 어디까지 와 있는가?

• Learning Perceptive Humanoid Locomotion over Challenging Terrain (2025)anchor
• BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion (2025)

• perception 기반 지형 locomotion, 보상 설계, curriculum, domain randomization, teacher-student distillation
• 사람 동작 tracking으로 배운 agile 기술을 guided diffusion으로 조합하는 test-time 제어
• 배경 노트: 대규모 병렬 시뮬 RL(Isaac Gym 계열, 2021~)·quadruped parkour 계보는 원리만 한 문단으로

토론 — manipulation은 왜 같은 방식으로 풀리지 않는가? (접촉 다양성, 물체 분포, 보상 정의)

서로 다른 제어 모드를 하나의 whole-body 컨트롤러로 통합할 수 있는가, 시뮬과 실물의 물리 격차는 어떻게 보정하는가?

• HOVER: Versatile Neural Whole-Body Controller (2024)anchor
• ASAP: Aligning Simulation and Real-World Physics (2025)

• motion tracking 기반 통합 컨트롤러 distillation, command space 통일 (HOVER)
• delta action model로 dynamics 격차 보정, agile 전신 기술 (ASAP)

연결 — GR00T 계열에서 VLA(상체 조작)와 whole-body controller(하체·전신)가 만나는 인터페이스.

사람의 전신 동작을 humanoid 데이터로 바꾸는 retargeting·teleop 시스템은 manipulation 데이터 엔진이 될 수 있는가?

• TWIST: Teleoperated Whole-Body Imitation System (2025)anchor
• TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection (2025)

• human motion retargeting, RL+BC 통합 whole-body controller, 이동형 데이터 수집으로의 확장
• 비교 노트: HumanPlus, OmniH2O, ExBody2(2024)는 계보 배경으로만

연결 — Ch.2 ALOHA 계보의 전신 확장, Ch.6 데이터 엔진 비교표에 행 추가.

시각만으로 원리적으로 풀기 어려운 task는 어떻게 정의하며, tactile image와 wrist F/T vector는 같은 modality로 취급할 수 있는가?

• VTLA: Vision-Tactile-Language-Action with Preference Learning (2025)anchor
• ForceVLA (2025)

• insertion task, tactile modality, preference learning (VTLA)
• 6축 force/torque, force-aware MoE, contact-rich manipulation (ForceVLA)

주의 — 센서·task가 다르므로 성공률 직접 비교 금지. 토론: 촉각의 효과인가, task-specific inductive bias인가? 산출물: tactile/force/proprioception 신호 구분표.

VLA가 언어·시각에서 학습한 물성 지식을 tactile signal과 연결할 수 있는가? tactile token 직접 주입과 visual prompt 우회 중 어느 쪽이 유리한가?

• Tactile-VLA (2025)anchor
• TacVLA (2026) · TAP-VLA (2026) — architecture modification vs input transformation 대조

• physical language instruction, tactile generalization, pretrained VLA knowledge
• contact-aware selective gating vs tactile annotation overlay/prompting

쟁점 — '부드럽게', '미끄럽다' 같은 언어 개념이 실제 force/contact control로 grounding되는가? 가중치 수정 없는 접근의 재현 가능성.

tactile modality의 가치는 표현 정보보다 빠른 feedback loop에 있는가? 희소·국소·이벤트성 tactile signal은 왜 visual dynamics model을 오염시키는가?

• C10-S02를 tactile fusion 위치·sampling frequency 관점에서 재분석
• Tactile-WAM: Touch-Aware World Action Model (2026)

• tactile pollution, asymmetric attention, world-action modeling
• 되짚기: JEPA·world model latent가 contact 정보를 얼마나 보존하는가?

산출물 — modality별 적정 update frequency 표.

• 선택 기준: contact onset detection / sensor-free force inference / cross-sensor generalization / high-frequency control / tactile pretraining / calibration-free fusion 중 하나를 새롭게 해결한 연구 (후보: UniTacVLA 등)

2026년 현재 world model과 VLA를 평가하는 데이터셋·벤치마크·프로토콜에는 무엇이 있고, 각각 무엇을 측정하며 무엇을 놓치는가?

• 내재 일관성 — Evaluating the World Model Implicit in a Generative Model (2024): counterfactual probe 개념만 발췌
• Physics benchmark — Physics-IQ · WorldModelBench: judge(사람/VLM/metric) 비교
• 시뮬 벤치마크 — LIBERO · SimplerEnv: real-to-sim 상관과 무너지는 조건
• 재현성·순환 논증 — camera pose·reset·object set·operator 개입 + world model로 policy를 평가할 때의 순환 논증(Veo, World-Gymnast 재방문)

• 논문 정독이 아니라 평가 지형의 빠른 요약 — 네 묶음을 평가 계층표 한 장으로

쟁점 — benchmark가 shortcut을 측정하는 것은 아닌가? evaluator와 policy가 같은 실패를 공유하면? 산출물: 평가 계층표 + 우리가 쓸 수 있는 평가 스택 메모.

물리 법칙을 직접 모델링하는 대신 '물리적으로 그럴듯함'에 대한 선호를 학습하는 것이 정당한가?

• PhyGDPO (2025)
• PhysMaster (2025)

• 연결: π*0.6의 judge, World-Gymnast의 reward, autonomous driving RL alignment

토론 — judge가 포착하지 못하는 위반을 정책·생성 모델이 악용할 수 있는가?

새 모델을 만들지 않고도, 저가 로봇 벤치마크와 통제된 실증 분석만으로 어떤 기여가 가능한가?

• VLA-REPLICA: A Low-Cost, Reproducible Benchmark for Real-World Evaluation (2026)anchor
• Benchmarking VLA Models on SO-101: Failure and Recovery Analysis (2026)

• 저비용·재현 가능한 실물 평가 프로토콜 설계, LeRobot SO-101급 저가 암의 표준화 평가·실패 분류·recovery 지표
• 분석 연구 후보(택1): VLM4VLA(VLM backbone의 기여를 되묻는 실증 연구) · Do World Action Models Generalize Better than VLAs?(강건성 비교)

개인 연구자 관점 — 벤치마크·실패 분석 논문이 기여로 인정받는 조건: 프로토콜·코드 공개, 통계적 엄밀성, 다른 연구의 채택 가능성.

physical world model이 물체의 상태와 동역학을 예측하듯, 상호작용하는 에이전트의 mental state와 다음 행동을 예측하는 world model은 어떻게 정형화하고 평가하는가?

• Social World Models (2025/26)anchor
• Building Social World Models with Large Language Models (2026)

• S3AP — 사회적 상호작용을 상태·행동·mental state의 구조화된 표현으로 정형화, theory-of-mind 추론(FANToM 등)을 크게 개선
• 사건에 따른 사회적 믿음의 갱신 추적 — 관측 뒤에 숨은 mental state를 latent 상태로 추적한다는 점에서 partially observable world model과 같은 구조
• 데이터셋: NVIDIA Nemotron-Personas — 인구통계·지리 분포 기반 다국가 합성 페르소나(7개국 9개 locale, 약 5,300만 개; ko_KR 포함). social simulation의 '인구'를 무엇으로 채우고 대표성·편향을 어떻게 통제하는가
• physical AI와의 접점: 사람이 있는 환경의 로봇(HRI), 보행자·운전자 의도 예측, 협업 manipulation

토론 — physical world model과 social world model은 하나의 모델로 통합되어야 하는가, 별개 모듈로 두고 인터페이스만 맞추면 되는가? 연결: Ch.8 world model 기능 분해, Ch.9 reasoning 매체, Ch.13 평가.