피지컬 AI의 최전선에서 진행되는 연구
차세대 인텔리전스를 발전시키다
미래를 이끄는 핵심 기술, 자율주행 그리고 로보틱스를 위한 연구
Dr. Wei Zhan이 이끄는 당사 연구 팀은 세계 유수의 기관과 기업 출신 전문가들로 구성되어 있으며 CVPR, ICRA 등 세계적인 학회와 저널에서 8번의 Best Paper 상을 수상하는 등 학계와 산업 분야 모두에서 그 기여를 인정받고 있습니다. Applied Intuition은 이처럼 뛰어난 역량을 바탕으로, 차세대 피지컬 AI를 구현하는 첨단 기술을 개발하고 있습니다.
세계-행동 기반 모델 사전 학습
피지컬 AI를 위한 차세대 기반 모델은 자율 행동, 시각, 행동, 물리, 언어를 아우르는 균형 잡히고 현실에 근거한 멀티모달 데이터를 바탕으로, 구체적인 작업에 맞춰 사전 학습되어야 합니다. 이를 위해 다음과 같은 연구에 집중하고 있습니다.
- 자율 행동을 조건으로 고속 처리 환경에서 4차원 세계를 반응적으로 생성하기 위한 피드포워드/생성형(Feed-forward/generative) 4차원 재구성 및 세계 기반 모델 연구
- 시각, 물리, 언어를 포함한 실제 기반 모달리티를 활용한 세계-행동 모델 사전 학습
강화 학습 및 기반 모델 후속 학습
세계-행동 및 시각-언어-행동 모델을 포함한 기반 모델의 후속 학습은 성능 향상, 안정성 확보, 그리고 피지컬 AI 응용에서 행동 정렬에 있어 핵심적인 요소입니다. 이를 위해 다음과 같은 연구를 수행하고 있습니다.
- 대규모 현실 세계 데이터를 기반으로 구축, 학습된 고정밀, 확장형, 고처리량 시뮬레이션을 활용한 폐쇄형 루프 강화학습 기반 후속 학습
- 고처리량 시뮬레이션과 사람 데이터 모방을 결합한 자기 대전(Self-play) 기반 강화학습을 통해, 제한된 데이터 환경에서도 견고하고 사람과 유사한 피지컬 AI 구현
로봇 학습과 데이터
범용성을 갖춘 로봇을 구현하는 과정에는 데이터 측면의 고유한 도전과제가 존재합니다. 물리 인식을 반영한 모달리티는 필수적이지만, 이러한 데이터를 대규모로 확보하는 것은 자율주행 분야보다 훨씬 어렵습니다. 따라서 우리는 로봇, 인간, 그리고 합성 데이터 소스를 활용한 확장 가능한 로봇 학습 패러다임과, 물리 기반 모달리티를 효과적으로 활용하기 위한 데이터 설계 방법에 집중하고 있습니다.
S2GO: 스트리밍 기반 희소 가우시안을 통한 점유 예측
Jinhyung Park, Chensheng Peng, Yihan Hu, Wenzhao Zheng, Kris Kitani, Wei Zhan
SPACeR: 중앙 집중식 참조 모델을 활용한 자기 대전 앵커링
Wei-Jer Chang, Akshay Rangesh, Kevin Joseph, Matthew Strong, Masayoshi Tomizuka, Yihan Hu, Wei Zhan
RAYNOVA: 통합 시공간 표현을 통한 기하 비의존적 자기회귀 4차원 세계 모델링
Yichen Xie, Chensheng Peng, Mazen Abdelfattah, Yihan Hu, Jiezhi Yang, Eric Higgins, Ryan Brigden, Masayoshi Tomizuka, Wei Zhan
Outstanding Paper Award, RIWM Workshop @ ICCV 2025
데이터 기반 운전학습: 실제 영상 데이터를 통한 대규모 무라벨 자율주행 사전 학습
Matthew Strong, Wei-Jer Chang, Quentin Herau, Jiezhi Yang, Yihan Hu, Chensheng Peng, Wei Zhan
NoRD: 추론 없이 주행하는 데이터 효율형 시각-언어-행동 모델
Ishaan Singh Rawal, Shubh Gupta, Yihan Hu, Wei Zhan
연구기반
우리는 세계 최고 수준의 플리트, 데이터, 인프라, 그리고 툴을 기반으로 연구를 수행하며 강화학습, 3차원 시각 및 생성, 그리고 폐쇄형 루프 환경에서 대규모 인간 데이터와 합성 데이터를 활용한 로봇 학습 등 다양한 연구 주제를 다룹니다.
자율주행 적용을 위한 방대한 데이터를 갖춘 다양한 차량 플리트
우리는 전 세계 다양한 제품군에 걸친 대규모 플리트를 통해 자율주행을 테스트하고 실제로 적용하고 있습니다. 복잡한 도심 환경에서의 자율주행 차량부터 자율주행 트럭, 그리고 온로드와 오프로드 환경을 모두 아우르는 광산, 건설 차량까지 폭넓게 운영됩니다. 이 과정에서 방대한 데이터가 수집되며, 당사의 데이터 엔진을 통해 자동으로 처리되어 산업 수준의 대규모 AI 연구를 가능하게 합니다.
로봇 플리트와 인간 데이터
우리는 휴머노이드, 모바일 매니퓰레이터, 그리고 최첨단 촉각 인지형으로 정교한 손을 갖춘 데이블탑 듀얼암 로봇으로 구성된 로봇 플리트를 운영하고 있습니다. 또한 모션 인식 장비(MoCap), 헤드셋, 장갑 등 다양한 인간 데이터 수집 장비도 함께 활용됩니다.
대규모 ML(기계 학습) 인프라와 툴
우리는 자율주행 시스템 분야에서 세계 최고 수준의 툴 제공업체로서, 연구자들에게는 다양하고 효율적인 개발 툴과 고품질 신경 시뮬레이션, 폐쇄형 루프에서 대규모로 생성되는 합성 데이터와 더불어 수천 개 이상의 GPU를 활용한 대규모 ML(기계학습) 인프라가 지원됩니다.
