[논문 리뷰] SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation
- 논문: SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation
- 저자: Jiehong Lin, Lihua Liu, Dekun Lu, Kui Jia (DexForce, CUHK-Shenzhen, South China University of Technology)
- 학회: CVPR 2024
한 줄 요약
학습 때 본 적 없는 물체도 CAD 모델만 주면 RGB-D 장면에서 찾아내고 6D 자세를 구하는 논문. 먼저 SAM으로 가능한 마스크를 전부 만든다. 그다음 CAD를 렌더링한 템플릿과 의미·겉모습·기하 세 가지 점수로 비교해 진짜 물체만 남긴다. 자세는 관측 점군과 CAD 점군 사이의 부분 대 부분 점 매칭으로 푼다. 짝이 없는 점은 배경 토큰에 붙게 해서 거르고, 거친 매칭에서 촘촘한 매칭으로 두 번 맞춘다.
배경
PoseCNN이나 FFB6D는 인스턴스 수준 방법이다. 물체마다 라벨이 붙은 학습 이미지가 있어야 하고, 학습한 물체만 찾는다. 새 부품이 들어오면 데이터를 다시 만들고 다시 학습해야 한다. 카테고리 수준 방법은 처음 보는 물체도 다루지만, 학습한 카테고리 안에서만 된다.
이 논문이 다루는 건 더 넓은 제로샷 설정이다. 학습 때 한 번도 안 본 물체를 CAD만 받고 찾아야 한다. 어려운 점이 둘 있다. 장면에서 그 물체를 먼저 찾아야 하고(검출·분할), 찾은 뒤 자세를 맞춰야 한다.
SAM은 점 프롬프트를 격자로 뿌리면 클래스와 상관없이 “물체처럼 보이는 것”의 마스크를 전부 내놓는다. 앞선 CNOS는 이 마스크들을 CAD 렌더링 템플릿과 DINOv2 특징으로 비교해 골랐다. SAM-6D는 이 출발점을 이어받아 분할을 더 다듬고, 자세 추정 네트워크를 새로 붙인다.
제안 방법
인스턴스 분할 모델 (ISM)
ISM은 새로 학습하지 않는다. SAM(또는 더 빠른 FastSAM)에 격자 점을 넣어 후보 마스크를 모두 만들고, 신뢰도로 거른 뒤 NMS로 중복을 지운다. 그다음 CAD를 여러 자세로 렌더링한 템플릿(평가 때 42장)과 후보마다 점수를 매긴다. 특징은 DINOv2 ViT-L로 뽑는다.
- 의미 점수 $s_{sem}$: 후보 이미지와 템플릿의 class 임베딩 코사인 유사도 중 상위 K개 평균. 가장 비슷한 템플릿을 $T_{best}$로 정한다. CNOS는 이 점수 하나만 썼다.
- 겉모습 점수 $s_{appe}$: 후보의 패치 임베딩마다 $T_{best}$에서 가장 비슷한 패치를 찾아 평균 낸다. 의미는 비슷한데 겉모습이 다른 물체를 가른다.
- 기하 점수 $s_{geo}$: $T_{best}$의 회전과 후보 점들의 평균 위치로 대략적인 자세를 만든다. 그 자세로 CAD를 이미지에 투영한 박스와 후보 박스의 IoU다. 모양과 크기를 본다.
기하 점수는 가려지면 믿기 어렵다. 그래서 보이는 비율 $r_{vis}$로 가중치를 준다.
\[s_m = \frac{s_{sem} + s_{appe} + r_{vis} \cdot s_{geo}}{1 + 1 + r_{vis}}\]이 점수가 임계값을 넘는 후보만 해당 물체로 남긴다.
자세 추정 모델 (PEM)과 배경 토큰
PEM은 후보 하나와 CAD 사이의 자세를 점 정합으로 푼다. 후보 쪽 점 $P_m$은 마스크 안 깊이에서, 물체 쪽 점 $P_o$는 템플릿에서 보이는 점들을 모아 뽑는다. 점 특징은 ViT 패치 임베딩을 픽셀로 보간해서 각 점에 붙인다.
문제는 짝이 없는 점이다. CAD는 물체 전체인데 관측은 보이는 부분뿐이다. 반대로 마스크가 조금 넘치거나 깊이에 잡음이 있으면 관측에만 있는 점도 생긴다. 논문은 이걸 부분 대 부분(partial-to-partial) 매칭이라 부른다.
해결책은 학습 가능한 배경 토큰 $f^{bg}$를 양쪽 점 특징 앞에 하나씩 붙이는 것이다.
\[\mathcal{A} = [f^{bg}_m, F_m] \times [f^{bg}_o, F_o]^T \in \mathbb{R}^{(N_m+1)\times(N_o+1)}\]이 행렬에 행 방향 softmax와 열 방향 softmax를 곱해 소프트 할당 행렬을 만든다. 어떤 점의 가장 높은 점수가 배경 토큰 자리에 있으면 그 점은 짝이 없다고 보고 뺀다. 남은 짝과 점수로 가중 SVD를 풀어 $R, t$를 구한다.
거친 매칭에서 촘촘한 매칭으로
거친 매칭은 양쪽에서 점 196개씩 뽑아 Geometric Transformer로 특징을 주고받게 한다. 할당 행렬을 확률로 보고 점 짝 세 개씩을 여러 번 뽑아 자세 가설을 만든다. 가설마다 관측 점에서 가장 가까운 CAD 점까지 거리를 재고, 가장 잘 맞는 가설을 초기 자세로 고른다.
촘촘한 매칭은 점 2,048개씩을 쓴다. 관측 점을 초기 자세로 옮긴 뒤 위치 인코딩을 학습해 특징에 더한다. 거친 단계의 대응을 이렇게 넘겨준다.
2,048개끼리 일반 트랜스포머를 돌리면 계산이 너무 크다. 그래서 Sparse-to-Dense Point Transformer를 쓴다. 성긴 점끼리 Geometric Transformer로 관계를 학습하고, 그 정보를 선형 트랜스포머로 촘촘한 점에 퍼뜨린다. 마지막에 다시 가중 SVD로 최종 자세를 구한다.
PEM은 MegaPose가 공개한 합성 데이터(ShapeNet과 Google Scanned Objects, 물체 약 5만 개, 이미지 200만 장)로만 학습했다.
실험 결과
아래는 모두 논문에 실린 실험이다. 저자들은 BOP 벤치마크의 핵심 데이터셋 7개(LM-O, T-LESS, TUD-L, IC-BIN, ITODD, HB, YCB-V)에서 평가했다. 분할은 mAP, 자세는 VSD·MSSD·MSPD 세 오차의 평균 recall(AR)로 쟀다.
분할(평균 mAP). CNOS는 40.4(SAM 기반)였고, SAM-6D ISM은 48.1이었다. 의미 점수만 쓰면 44.0으로, CNOS와 같은 방식에 SAM이 후보를 더 많이 내게 설정만 바꾼 것이다. 겉모습 점수를 더하면 45.0, 기하 점수를 더하면 46.7이었고, 셋 다 쓰면 48.1이었다.
자세(평균 AR).
| 방법 | 마스크 | 평균 AR |
|---|---|---|
| MegaPose (RGB-D, 렌더링 기반 보정 포함) | CNOS (FastSAM) | 62.8 |
| SAM-6D | CNOS (FastSAM) | 65.3 |
| SAM-6D | SAM-6D ISM (FastSAM) | 66.2 |
| SAM-6D | SAM-6D ISM (SAM) | 70.4 |
SAM-6D는 MegaPose 같은 렌더링 기반 보정기를 쓰지 않는다. 같은 CNOS 마스크를 줘도 보정기를 쓴 MegaPose보다 높았다. 산업 부품 데이터셋인 T-LESS는 51.5, ITODD는 60.2였다.
YCB-V 절제 실험(AR).
| 설정 | AR | 비고 |
|---|---|---|
| 최적 수송(optimal transport) | 81.4 | 4.31초 |
| 배경 토큰 | 84.5 | 1.36초 |
| 거친 매칭만 | 77.6 | |
| 촘촘한 매칭만 | 40.2 | 초기 자세 없음 |
| Geometric Transformer, 점 196개 | 81.7 | |
| 선형 트랜스포머, 점 2,048개 | 78.4 |
배경 토큰은 반복 최적화가 필요한 최적 수송보다 3배 넘게 빠르면서 AR도 높았다. 거친 매칭을 빼면 40.2로 크게 떨어졌다. 초기 자세가 없으면 두 점군이 너무 멀리 떨어져 있어서다.
RTX 3090에서 이미지 한 장에 FastSAM 기반은 1.43초(분할 0.45초, 자세 0.98초), SAM 기반은 4.37초(분할 2.80초, 자세 1.57초)가 걸렸다. SAM이 후보를 더 많이 내서 자세 추정 시간도 늘어난다.
느낀 점
- 가장 큰 변화는 “물체마다 학습”이 빠졌다는 점이다. PoseCNN과 FFB6D는 찾을 물체로 학습해야 했다. SAM-6D는 분할을 SAM과 DINOv2에 맡기고, 자세 네트워크는 수만 개 합성 물체로 한 번만 학습한다. 새 부품은 CAD만 있으면 된다.
- 자세 추정 구조는 지금까지 읽은 논문들과 겹친다. 거친 단계에서 짝 세 개로 가설을 여러 개 만들어 가장 잘 맞는 걸 고르는 건 RANSAC과 같은 생각이다. 거친 자세를 넘겨 촘촘하게 다듬는 흐름은 PPF 뒤에 ICP를 붙이는 것과 같다. 마지막 가중 SVD도 ICP의 한 단계와 같은 계산이다.
- 배경 토큰은 “짝 없음”을 하나의 후보로 두는 아이디어다. SuperGlue의 dustbin이 떠올랐다. 다만 SuperGlue는 반복 최적화(Sinkhorn)로 할당을 풀고, 여기서는 softmax 두 번으로 끝낸다. 논문의 비교에서도 최적 수송은 4.31초, 배경 토큰은 1.36초였다.
- 초기 자세 없이 촘촘한 매칭만 하면 AR이 반토막 난다는 결과는 놀랍기보다 납득이 됐다. ICP 논문에서 본 “출발점이 나쁘면 엉뚱한 곳에 갇힌다”는 얘기가 학습 기반 매칭에서도 그대로 나온다.
- 같은 부품이 상자에 수십 개 쌓인 장면이라면 SAM이 후보를 아주 많이 낼 것이다. 논문에서도 SAM이 후보를 더 내면 자세 추정 시간까지 늘었다. 개체 수가 많을 때 시간이 어떻게 늘어나는지는 따로 확인해 봐야 할 부분 같다.