[논문 리뷰] Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
- 논문: Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
- 저자: Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel (OpenAI, UC Berkeley)
- 학회: IROS 2017
한 줄 요약
시뮬레이터를 현실처럼 정교하게 맞추는 대신, 질감·조명·카메라·방해 물체를 무작위로 크게 바꾼 이미지로만 학습하면 현실도 “여러 변형 중 하나”로 보인다는 논문. 현실과 전혀 닮지 않은 단색·체크무늬 질감으로 학습한 물체 위치 검출기가, 실제 카메라 이미지에서 평균 약 1.5 cm 오차로 물체를 찾았다. 그 결과로 로봇이 어지러운 테이블에서 물체를 40번 중 38번 집었다. 실제 이미지로 사전학습하지 않은 네트워크를 시뮬레이션 RGB만으로 학습해 로봇 제어에 옮긴 첫 사례라고 소개한다.
배경
시뮬레이터에서 학습하면 데이터를 싸고 빠르게, 위험 없이 모을 수 있다. 문제는 시뮬레이션과 현실의 차이, 이른바 reality gap이다. 물리 쪽으로는 마찰, 기어 백래시, 마모처럼 시뮬레이터가 담지 못하는 효과가 있다. 영상 쪽으로는 렌더러가 실제 카메라의 풍부한 질감과 잡음을 재현하지 못한다.
기존 대응은 크게 둘이었다.
- 시뮬레이터를 현실에 맞추기: 시스템 식별로 파라미터를 맞추고 사실적으로 렌더링한다. 시간이 많이 들고 틀리기 쉽다. RGB 렌더링만으로는 실제 로봇 작업으로 잘 옮겨지지 않았다.
- 도메인 적응: 실제 데이터로 다시 학습하거나 두 도메인 사이 대응을 배운다. 그래도 실제 데이터가 어느 정도 필요하다.
이 논문은 반대로 간다. 시뮬레이터를 현실처럼 만들려 하지 않고, 학습 때 환경을 아주 다양하게 흔든다. 변화가 충분히 크면 실제 세계도 그 분포 안의 한 샘플일 뿐이라는 가설이다.
제안 방법
무엇을 흔드나
과제는 단안 카메라 이미지 한 장에서 테이블 위 물체의 3D 위치 $(x, y, z)$를 찾는 것이다. 카메라 보정 없이 한 장으로 위치를 추정하므로 테이블 높이는 고정했다. 사실상 테이블 위 2D 위치 문제다. 학습 샘플마다 다음을 무작위로 바꾼다.
- 테이블 위 방해 물체의 수(0~10개)와 모양
- 모든 물체의 위치와 질감
- 테이블, 바닥, 하늘 배경, 로봇의 질감
- 카메라의 위치, 방향, 화각
- 조명의 수, 위치, 방향, 반사 특성
- 이미지에 더하는 잡음의 종류와 양
질감은 일부러 비현실적으로 고른다. 무작위 단색, 무작위 두 색 사이 그라데이션, 두 색 체크무늬 셋 중 하나다. 찾을 물체의 질감도 매번 바뀌니, 검출기는 색을 모르고 모양과 크기만으로 물체를 찾도록 학습된다.
렌더러는 사실적인 그림이 목적이 아닌 MuJoCo 내장 렌더러다.
카메라 보정을 피하는 법
실제 카메라를 정확히 보정하고 시뮬레이션에 똑같이 놓지 않는다. 대략 비슷한 자리에 가상 카메라를 두고, 샘플마다 그 주변 10×5×10 cm 상자 안에서 위치를 바꾼다. 바라보는 방향은 테이블 위 한 점을 향하게 계산한 뒤 최대 0.1 rad씩 흔들고, 화각도 최대 5%까지 바꾼다.
모델과 학습
VGG-16 합성곱 층에 작은 FC 층(256, 64)을 붙여 $(x, y, z)$를 바로 회귀한다. 손실은 위치 L2이고 Adam을 쓴다. 학습률을 Adam 기본값(1e-3)보다 작은 1e-4 근처로 두자 수렴이 좋아졌다. 모든 물체를 테이블 가운데로 찍어 버리는 흔한 지역 최솟값도 피했다.
ImageNet 사전학습 가중치가 꼭 필요할 거라고 예상했는데, 실제로는 대부분 무작위 초기화로도 잘 됐다.
실험 결과
실제 이미지에서 위치 정확도
아래는 모두 논문에 실린 실험이다. 저자들은 기하 물체 8종(원뿔, 정육면체, 원기둥, 육각기둥 등)마다 검출기를 따로 학습했다. 평가는 카메라에서 70~105 cm 떨어진 테이블을 웹캠으로 찍은 실제 이미지 480장으로 했다. 물체마다 혼자 있는 장면, 방해 물체가 있는 장면, 일부 가려진 장면이 20장씩이다. 조명이나 테이블 주변(로봇 일부, 바닥 전선 등)은 통제하지 않았다.
평균 오차는 대부분 1~2 cm였다. 혼자 있을 때 0.7~1.3 cm, 방해 물체가 있을 때 0.6~1.9 cm였다. 가려진 장면은 대부분 1~2 cm였고, 정사면체만 3.2 cm로 컸다.
시뮬레이션 데이터에서는 오차가 0.3~0.5 cm였으니 아직 시뮬레이션에 과적합된 상태다. 그래도 고해상도 이미지를 쓰는 기존 단안 방법과 비슷한 수준이라고 한다.
무엇이 중요했나
| 설정 (학습 이미지 2만 장) | 혼자 | 방해 물체 | 가려짐 |
|---|---|---|---|
| 전체 방법 | 1.3 | 1.8 | 2.4 |
| 잡음 없음 | 1.4 | 1.9 | 2.4 |
| 카메라 랜덤화 없음 | 2.0 | 2.4 | 2.9 |
| 학습 때 방해 물체 없음 | 1.5 | 7.2 | 7.4 |
(평균 오차, cm)
- 방해 물체가 가장 결정적이었다. 학습 때 방해 물체를 안 넣으면, 실제 장면에 다른 물체가 있을 때 오차가 7 cm대로 뛰었다.
- 카메라 랜덤화는 조금씩 꾸준히 도움이 됐다. 없어도 꽤 정확했다.
- 잡음은 결과에 거의 영향이 없었다. 다만 학습 때 잡음을 조금 넣으면 수렴이 좋아졌다고 한다.
- 질감 수가 중요했다. 이미지 1만 장으로 학습할 때 서로 다른 질감 조합이 1,000개보다 적으면 성능이 크게 떨어졌다. 질감 1,000개 기준으로는 이미지 1만 장과 1천 장의 결과가 비슷했다. 데이터가 적을 때는 물체 위치보다 질감을 다양하게 하는 게 더 중요했다는 뜻이다.
- 데이터 양은 사전학습 모델 기준 5,000장이면 쓸 만했고 약 5만 장까지 좋아졌다. 데이터가 많으면 무작위 초기화도 사전학습과 거의 같았고, 적을 때는 사전학습이 확실히 도움이 됐다.
로봇으로 집기
정확도가 가장 꾸준한 검출기 둘을 Fetch 로봇에 올리고, 기성 경로 계획 소프트웨어로 집기를 시켰다. 점점 어지러워지는 장면 20개에서 40번 중 38번 집었다. 학습 때 보지 못한 자세로 놓인 방해 물체(옆으로 눕힌 육각기둥 등)도 섞었다.
같은 색 물체가 붙어 있어도 찾았다. 애초에 색 정보 없이 모양과 크기로만 학습했기 때문이다. 무늬가 있는 실제 물체(YCB의 스팸 캔)도 학습시켜 봤다. 학습 때 보지 못한 다른 음식 물체 사이에서 10번 중 9번 집었다.
느낀 점
- “현실처럼 만들자”가 아니라 “현실이 그냥 또 하나의 변형이 되도록 흔들자”는 발상이 단순한데 강하다. 질감을 일부러 비현실적으로 고른 게 핵심이라고 생각한다. 네트워크가 색이나 무늬에 기대지 못하게 막고, 모양과 크기만 보게 만든다.
- 절제 실험에서 가장 크게 갈린 게 방해 물체였다. 실제로 마주칠 “헷갈리는 것”을 학습 때 넣지 않으면 오차가 몇 배로 커진다. 같은 부품이 잔뜩 쌓인 장면이라면 다른 개체 자체가 방해 물체 역할을 하니, 학습 장면에도 비슷하게 쌓아 둬야 할 것 같다.
- FoundationPose의 합성 데이터와 비교하면 방향이 조금 다르다. FoundationPose는 Isaac Sim 경로 추적으로 사실적으로 렌더링하면서, 재질·조명·배경을 무작위로 바꾼다. 2017년의 이 논문은 비현실적인 질감으로도 된다는 걸 보였다. 이후 연구는 사실적인 렌더링에 무작위 변화를 함께 쓰는 쪽으로 간 것 같다.
- 결론에 적힌 앞으로 할 일에 깊이 정보, 스테레오, 여러 시점이 들어 있다. 이 논문은 RGB로 2D 위치만 찾았지만, 6D 자세와 깊이를 다루는 지금의 빈피킹 문제도 같은 질문을 한다. 시뮬레이션에서 무엇을 흔들어야 실제 카메라로 넘어갈까. 금속 반사나 깊이 센서 잡음처럼 RGB 질감 말고 흔들어야 할 것이 더 많아진다.