[논문 리뷰] SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation

  • 논문: SAM-6D: Segment Anything Model Meets Zero-Shot 6D Object Pose Estimation
  • 저자: Jiehong Lin, Lihua Liu, Dekun Lu, Kui Jia (DexForce, CUHK-Shenzhen, South China University of Technology)
  • 학회: CVPR 2024

한 줄 요약

학습 때 본 적 없는 물체도 CAD 모델만 주면 RGB-D 장면에서 찾아내고 6D 자세를 구하는 논문. 먼저 SAM으로 가능한 마스크를 전부 만든다. 그다음 CAD를 렌더링한 템플릿과 의미·겉모습·기하 세 가지 점수로 비교해 진짜 물체만 남긴다. 자세는 관측 점군과 CAD 점군 사이의 부분 대 부분 점 매칭으로 푼다. 짝이 없는 점은 배경 토큰에 붙게 해서 거르고, 거친 매칭에서 촘촘한 매칭으로 두 번 맞춘다.

배경

PoseCNN이나 FFB6D는 인스턴스 수준 방법이다. 물체마다 라벨이 붙은 학습 이미지가 있어야 하고, 학습한 물체만 찾는다. 새 부품이 들어오면 데이터를 다시 만들고 다시 학습해야 한다. 카테고리 수준 방법은 처음 보는 물체도 다루지만, 학습한 카테고리 안에서만 된다.

이 논문이 다루는 건 더 넓은 제로샷 설정이다. 학습 때 한 번도 안 본 물체를 CAD만 받고 찾아야 한다. 어려운 점이 둘 있다. 장면에서 그 물체를 먼저 찾아야 하고(검출·분할), 찾은 뒤 자세를 맞춰야 한다.

SAM은 점 프롬프트를 격자로 뿌리면 클래스와 상관없이 “물체처럼 보이는 것”의 마스크를 전부 내놓는다. 앞선 CNOS는 이 마스크들을 CAD 렌더링 템플릿과 DINOv2 특징으로 비교해 골랐다. SAM-6D는 이 출발점을 이어받아 분할을 더 다듬고, 자세 추정 네트워크를 새로 붙인다.

제안 방법

인스턴스 분할 모델 (ISM)

ISM은 새로 학습하지 않는다. SAM(또는 더 빠른 FastSAM)에 격자 점을 넣어 후보 마스크를 모두 만들고, 신뢰도로 거른 뒤 NMS로 중복을 지운다. 그다음 CAD를 여러 자세로 렌더링한 템플릿(평가 때 42장)과 후보마다 점수를 매긴다. 특징은 DINOv2 ViT-L로 뽑는다.

  • 의미 점수 $s_{sem}$: 후보 이미지와 템플릿의 class 임베딩 코사인 유사도 중 상위 K개 평균. 가장 비슷한 템플릿을 $T_{best}$로 정한다. CNOS는 이 점수 하나만 썼다.
  • 겉모습 점수 $s_{appe}$: 후보의 패치 임베딩마다 $T_{best}$에서 가장 비슷한 패치를 찾아 평균 낸다. 의미는 비슷한데 겉모습이 다른 물체를 가른다.
  • 기하 점수 $s_{geo}$: $T_{best}$의 회전과 후보 점들의 평균 위치로 대략적인 자세를 만든다. 그 자세로 CAD를 이미지에 투영한 박스와 후보 박스의 IoU다. 모양과 크기를 본다.

기하 점수는 가려지면 믿기 어렵다. 그래서 보이는 비율 $r_{vis}$로 가중치를 준다.

\[s_m = \frac{s_{sem} + s_{appe} + r_{vis} \cdot s_{geo}}{1 + 1 + r_{vis}}\]

이 점수가 임계값을 넘는 후보만 해당 물체로 남긴다.

자세 추정 모델 (PEM)과 배경 토큰

PEM은 후보 하나와 CAD 사이의 자세를 점 정합으로 푼다. 후보 쪽 점 $P_m$은 마스크 안 깊이에서, 물체 쪽 점 $P_o$는 템플릿에서 보이는 점들을 모아 뽑는다. 점 특징은 ViT 패치 임베딩을 픽셀로 보간해서 각 점에 붙인다.

문제는 짝이 없는 점이다. CAD는 물체 전체인데 관측은 보이는 부분뿐이다. 반대로 마스크가 조금 넘치거나 깊이에 잡음이 있으면 관측에만 있는 점도 생긴다. 논문은 이걸 부분 대 부분(partial-to-partial) 매칭이라 부른다.

해결책은 학습 가능한 배경 토큰 $f^{bg}$를 양쪽 점 특징 앞에 하나씩 붙이는 것이다.

\[\mathcal{A} = [f^{bg}_m, F_m] \times [f^{bg}_o, F_o]^T \in \mathbb{R}^{(N_m+1)\times(N_o+1)}\]

이 행렬에 행 방향 softmax와 열 방향 softmax를 곱해 소프트 할당 행렬을 만든다. 어떤 점의 가장 높은 점수가 배경 토큰 자리에 있으면 그 점은 짝이 없다고 보고 뺀다. 남은 짝과 점수로 가중 SVD를 풀어 $R, t$를 구한다.

거친 매칭에서 촘촘한 매칭으로

거친 매칭은 양쪽에서 점 196개씩 뽑아 Geometric Transformer로 특징을 주고받게 한다. 할당 행렬을 확률로 보고 점 짝 세 개씩을 여러 번 뽑아 자세 가설을 만든다. 가설마다 관측 점에서 가장 가까운 CAD 점까지 거리를 재고, 가장 잘 맞는 가설을 초기 자세로 고른다.

촘촘한 매칭은 점 2,048개씩을 쓴다. 관측 점을 초기 자세로 옮긴 뒤 위치 인코딩을 학습해 특징에 더한다. 거친 단계의 대응을 이렇게 넘겨준다.

2,048개끼리 일반 트랜스포머를 돌리면 계산이 너무 크다. 그래서 Sparse-to-Dense Point Transformer를 쓴다. 성긴 점끼리 Geometric Transformer로 관계를 학습하고, 그 정보를 선형 트랜스포머로 촘촘한 점에 퍼뜨린다. 마지막에 다시 가중 SVD로 최종 자세를 구한다.

PEM은 MegaPose가 공개한 합성 데이터(ShapeNet과 Google Scanned Objects, 물체 약 5만 개, 이미지 200만 장)로만 학습했다.

실험 결과

아래는 모두 논문에 실린 실험이다. 저자들은 BOP 벤치마크의 핵심 데이터셋 7개(LM-O, T-LESS, TUD-L, IC-BIN, ITODD, HB, YCB-V)에서 평가했다. 분할은 mAP, 자세는 VSD·MSSD·MSPD 세 오차의 평균 recall(AR)로 쟀다.

분할(평균 mAP). CNOS는 40.4(SAM 기반)였고, SAM-6D ISM은 48.1이었다. 의미 점수만 쓰면 44.0으로, CNOS와 같은 방식에 SAM이 후보를 더 많이 내게 설정만 바꾼 것이다. 겉모습 점수를 더하면 45.0, 기하 점수를 더하면 46.7이었고, 셋 다 쓰면 48.1이었다.

자세(평균 AR).

방법 마스크 평균 AR
MegaPose (RGB-D, 렌더링 기반 보정 포함) CNOS (FastSAM) 62.8
SAM-6D CNOS (FastSAM) 65.3
SAM-6D SAM-6D ISM (FastSAM) 66.2
SAM-6D SAM-6D ISM (SAM) 70.4

SAM-6D는 MegaPose 같은 렌더링 기반 보정기를 쓰지 않는다. 같은 CNOS 마스크를 줘도 보정기를 쓴 MegaPose보다 높았다. 산업 부품 데이터셋인 T-LESS는 51.5, ITODD는 60.2였다.

YCB-V 절제 실험(AR).

설정 AR 비고
최적 수송(optimal transport) 81.4 4.31초
배경 토큰 84.5 1.36초
거친 매칭만 77.6  
촘촘한 매칭만 40.2 초기 자세 없음
Geometric Transformer, 점 196개 81.7  
선형 트랜스포머, 점 2,048개 78.4  

배경 토큰은 반복 최적화가 필요한 최적 수송보다 3배 넘게 빠르면서 AR도 높았다. 거친 매칭을 빼면 40.2로 크게 떨어졌다. 초기 자세가 없으면 두 점군이 너무 멀리 떨어져 있어서다.

RTX 3090에서 이미지 한 장에 FastSAM 기반은 1.43초(분할 0.45초, 자세 0.98초), SAM 기반은 4.37초(분할 2.80초, 자세 1.57초)가 걸렸다. SAM이 후보를 더 많이 내서 자세 추정 시간도 늘어난다.

느낀 점

  • 가장 큰 변화는 “물체마다 학습”이 빠졌다는 점이다. PoseCNN과 FFB6D는 찾을 물체로 학습해야 했다. SAM-6D는 분할을 SAM과 DINOv2에 맡기고, 자세 네트워크는 수만 개 합성 물체로 한 번만 학습한다. 새 부품은 CAD만 있으면 된다.
  • 자세 추정 구조는 지금까지 읽은 논문들과 겹친다. 거친 단계에서 짝 세 개로 가설을 여러 개 만들어 가장 잘 맞는 걸 고르는 건 RANSAC과 같은 생각이다. 거친 자세를 넘겨 촘촘하게 다듬는 흐름은 PPF 뒤에 ICP를 붙이는 것과 같다. 마지막 가중 SVD도 ICP의 한 단계와 같은 계산이다.
  • 배경 토큰은 “짝 없음”을 하나의 후보로 두는 아이디어다. SuperGlue의 dustbin이 떠올랐다. 다만 SuperGlue는 반복 최적화(Sinkhorn)로 할당을 풀고, 여기서는 softmax 두 번으로 끝낸다. 논문의 비교에서도 최적 수송은 4.31초, 배경 토큰은 1.36초였다.
  • 초기 자세 없이 촘촘한 매칭만 하면 AR이 반토막 난다는 결과는 놀랍기보다 납득이 됐다. ICP 논문에서 본 “출발점이 나쁘면 엉뚱한 곳에 갇힌다”는 얘기가 학습 기반 매칭에서도 그대로 나온다.
  • 같은 부품이 상자에 수십 개 쌓인 장면이라면 SAM이 후보를 아주 많이 낼 것이다. 논문에서도 SAM이 후보를 더 내면 자세 추정 시간까지 늘었다. 개체 수가 많을 때 시간이 어떻게 늘어나는지는 따로 확인해 봐야 할 부분 같다.