[논문 리뷰] FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects
- 논문: FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects
- 저자: Bowen Wen, Wei Yang, Jan Kautz, Stan Birchfield (NVIDIA)
- 학회: CVPR 2024
한 줄 요약
처음 보는 물체라도 CAD 모델이 있거나, 참조 이미지 16장 정도만 있으면 따로 학습하지 않고 6D 자세를 추정하고 추적하는 모델. 자세 후보를 수백 개 뿌리고, 후보마다 물체를 렌더링해서 실제 관측과 비교하며 자세를 고친다. 그다음 후보끼리 서로 비교해 가장 맞는 것을 고른다. 학습은 LLM과 확산 모델로 질감을 입힌 대규모 합성 데이터로만 했다.
배경
PoseCNN이나 FFB6D 같은 인스턴스 수준 방법은 학습한 물체만 찾는다. 카테고리 수준 방법은 정해진 카테고리 안에서만 일반화되고, 학습 데이터를 만들기도 어렵다. 그래서 테스트 때 처음 보는 물체를 바로 다루는 연구가 늘었는데, 설정이 둘로 갈렸다.
- 모델 기반: 질감이 있는 CAD 모델을 준다. MegaPose, SAM-6D가 여기에 속한다.
- 모델 없음(model-free): CAD 대신 물체를 찍은 참조 이미지 몇 장을 준다. OnePose, FS6D 같은 방법이 있다.
현장에서는 CAD가 있을 때도, 없을 때도 있다. 영상에서 자세를 계속 따라가는 추적(tracking)도 따로 연구돼 왔다. 이 논문은 이 넷(모델 기반·없음 × 추정·추적)을 한 모델로 묶는다.
제안 방법
LLM으로 질감을 입힌 합성 데이터
일반화의 열쇠를 데이터 다양성으로 본다. 3D 모델은 Objaverse-LVIS(1,156개 카테고리, 4만 개 넘는 물체)와 Google Scanned Objects에서 가져온다.
Objaverse는 모양은 괜찮은데 질감 품질이 들쭉날쭉하다. 앞선 FS6D는 ImageNet 사진을 무작위로 붙였는데, 이음매가 보이고 어색했다. 이 논문은 두 단계 프롬프트를 쓴다.
- ChatGPT에게 물체 태그를 주고 “이 물체가 어떻게 생겼을지” 설명하게 한다.
- 그 설명을 확산 모델(TexFusion)에 프롬프트로 넣어 물체 모양에 맞는 질감을 만든다.
사람이 프롬프트를 쓰지 않아도 되니 물체마다 여러 스타일을 자동으로 만들 수 있다. 장면은 NVIDIA Isaac Sim에서 경로 추적으로 렌더링한다. 물체 70~90개를 보이지 않는 벽이 있는 판 위에 떨어뜨려 물리적으로 그럴듯하게 쌓는다.
조명, 카메라, 배경, 물체 크기도 바꾸고, 금속성과 반사 같은 재질 속성도 무작위로 준다. 장면 약 60만 개, 이미지 약 120만 장이 나왔다.
참조 이미지로 물체 표현 만들기
CAD가 없을 때는 참조 이미지로 물체를 표현해야 렌더링할 수 있다. 여기서는 NeRF처럼 밀도를 쓰지 않고, SDF(부호 있는 거리 함수)로 모양을 학습한다. 깊이 렌더링 품질이 좋고 밀도 임계값을 고를 필요가 없어서다.
물체마다 따로 학습하는데, 2천 스텝 정도라 보통 몇 초면 끝난다. 학습이 끝나면 marching cubes로 질감 있는 메시를 한 번 뽑아 둔다. 이후로는 CAD가 있는 경우와 똑같이 메시를 렌더링한다. 그래서 뒤쪽 모듈은 두 설정에서 완전히 같다.
자세 후보 만들기
검출은 Mask R-CNN이나 CNOS 같은 기존 방법에 맡긴다. 이동은 검출 박스 안 깊이의 중앙값 위치로 초기화한다. 회전은 물체를 둘러싼 정이십면체 구 위 42개 시점에 화면 내 회전 12개를 곱해 504개 후보를 만든다.
렌더링하고 비교해서 고치기
후보 자세마다 물체를 렌더링하고, 관측 이미지에서 해당 영역을 잘라 둘을 네트워크에 넣는다. 자르는 위치가 중요하다. 2D 검출 박스로 고정해 자르지 않는다. 후보 자세로 물체 원점을 투영한 곳을 중심으로, 물체 지름보다 조금 크게 자른다.
이렇게 하면 이동이 틀린 후보는 잘린 이미지에서도 물체가 한쪽으로 쏠려 보인다. 네트워크는 그걸 보고 이동을 고칠 수 있다.
네트워크는 두 RGBD 입력을 같은 CNN으로 인코딩하고 패치로 나눠 트랜스포머에 넣는다. 출력은 카메라 좌표계 기준 이동 변화 $\Delta t$와 회전 변화 $\Delta R$이다.
\[t^{+} = t + \Delta t, \qquad R^{+} = \Delta R \otimes R\]이동과 회전을 따로 적용하는 게 포인트다. 4×4 변환 하나로 합쳐 업데이트하면 회전을 바꿀 때 이동도 같이 움직여 학습이 불안정했다고 한다. 테스트 때는 이 보정을 5번 반복한다.
후보끼리 비교해서 고르기
보정한 후보 504개 중 하나를 골라야 한다. 흔한 방법은 후보마다 “관측과 얼마나 맞나” 점수를 따로 매기는 것이다. 이 논문은 비교를 두 층으로 한다.
- 후보마다 렌더링과 관측을 비교해 512차원 임베딩을 만든다.
- 모든 후보의 임베딩을 한 시퀀스로 묶어 셀프 어텐션을 돌린 뒤 점수를 낸다.
절대 점수를 맞히는 것보다, 다른 후보들과 견줘서 “이게 더 낫다”를 판단하는 게 쉽다는 생각이다. 학습은 트리플릿 손실로 한다. 정답에 가까운 후보가 먼 후보보다 점수가 높게 나오도록 한다.
양쪽 다 정답에서 멀면 어느 쪽이 나은지 애매하다. 그래서 정답 시점에 충분히 가까운 후보만 양성 쪽에 쓴다.
실험 결과
아래는 모두 논문에 실린 실험이다.
모델 기반(BOP, AR). 표의 세 방법 모두 Mask R-CNN 검출을 썼다.
| 방법 | 처음 보는 물체 | LM-O | T-LESS | YCB-V | 평균 |
|---|---|---|---|---|---|
| SurfEmb + ICP | ✗ (해당 물체로 학습) | 75.8 | 82.8 | 80.6 | 79.7 |
| MegaPose-RGBD | ✓ | 58.3 | 54.3 | 63.3 | 58.6 |
| FoundationPose | ✓ | 78.8 | 83.0 | 88.0 | 83.3 |
처음 보는 물체를 다루면서도, 그 물체로 학습하고 ICP까지 붙인 SurfEmb보다 높았다.
모델 없음(참조 이미지 16장). YCB-Video에서 ADD-S/ADD AUC가 97.4/91.5였다. 대상 데이터로 파인튜닝한 FS6D는 88.4/42.1이었다. LINEMOD ADD-0.1d는 99.9%였고, FS6D에 ICP를 붙인 결과는 91.5%였다. 참조 이미지를 4장만 줘도 16장을 쓴 FS6D보다 좋았고, 12장 정도에서 포화했다.
추적. YCB-Video에서 CAD를 준 경우 ADD/ADD-S AUC 96.0/97.9였다. 같은 물체로 학습한 se(3)-TrackNet은 93.0/95.7이었다. 참조 이미지만 준 경우도 93.7/97.5였다.
절제 실험(YCB-V, 모델 없음, AUC).
| 설정 | ADD | ADD-S |
|---|---|---|
| 전체 | 91.52 | 97.40 |
| LLM 질감 증강 없음 | 90.83 | 97.38 |
| 트랜스포머 대신 CNN·선형 층 | 90.77 | 97.33 |
| 후보끼리 비교 없음 | 89.05 | 96.67 |
| 트리플릿 대신 InfoNCE | 89.39 | 97.29 |
후보끼리 비교하는 단계를 빼면 가장 크게 떨어졌다. 학습 데이터 양을 늘려 본 실험에서는 약 100만($10^6$) 근처에서 이득이 포화했다.
속도. RTX 3090에서 물체 하나 자세 추정에 약 1.3초가 걸린다. 초기화 4 ms, 보정 0.88초, 선택 0.42초다. 추적은 후보가 하나뿐이고 보정 한 번이면 되니 약 32 Hz로 돈다. 처음에 한 번 추정하고 이후 추적으로 넘어가는 식으로 쓰면 된다.
한계. 2D 검출을 밖에 맡기는데, 잘못 찾거나 놓친 검출이 자주 병목이 됐다고 적었다. 무늬가 없고 많이 가려졌으며 모서리 단서까지 적으면 회전을 틀리는 실패 예도 보여 준다.
느낀 점
- SAM-6D와 같은 문제를 반대 방향에서 푼다. SAM-6D는 관측 점과 CAD 점의 짝을 찾아 자세를 계산한다. FoundationPose는 짝을 찾지 않고, 자세를 가정해 그려 본 뒤 관측과 맞는지 비교한다. 무늬 없는 물체에서는 짝 찾기가 불안하니, 그려서 비교하는 쪽이 유리한 장면이 있을 것 같다.
- 504개 후보에서 출발하는 건 ICP 논문이 정다면체 회전군으로 초기 회전을 여러 개 뿌리던 것과 같은 생각이다. 지역 보정은 어디서 시작하느냐에 달렸으니 출발점을 넓게 깐다. 30년이 지나도 이 구조는 그대로고, 보정과 선택을 네트워크가 맡게 됐다.
- 합성 데이터 만드는 방식이 눈에 들어왔다. 물리 시뮬레이션으로 물체 수십 개를 떨어뜨리고, 금속성과 반사까지 무작위로 바꾼다. 상자에 쌓인 부품 장면과 거의 같은 모양이라, 실물 사진 없이 시뮬레이터로 학습 데이터를 만드는 방법을 공부할 때 참고가 될 것 같다.
- 한계에 적힌 “검출이 병목”은 앞 단계가 얼마나 중요한지 보여 준다. SAM-6D가 분할 점수를 세 가지로 다듬는 데 공을 들인 것도 같은 이유일 것이다. 자세 추정이 아무리 좋아도 엉뚱한 마스크를 받으면 소용이 없다.