[논문 리뷰] FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation

  • 논문: FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation
  • 저자: Yisheng He, Haibin Huang, Haoqiang Fan, Qifeng Chen, Jian Sun (HKUST, Megvii, Kuaishou)
  • 학회: CVPR 2021

한 줄 요약

RGB 이미지를 보는 CNN과 점군을 보는 네트워크를 인코더·디코더 모든 층에서 양방향으로 섞는 RGBD 6D 자세 추정 논문. 뽑은 특징으로 앞선 PVN3D처럼 점마다 3D 키포인트 쪽으로 투표하고, 최소제곱으로 자세를 구한다. 키포인트는 거리만 보던 FPS 대신 무늬가 뚜렷한 점 중에서 고르는 SIFT-FPS로 뽑는다. 후처리 ICP 없이도 ICP를 쓴 기존 방법보다 높았다.

배경

색 이미지만 쓰는 방법은 투영 과정에서 기하 정보를 잃는다. 조명이 나쁘거나 무늬가 없는 물체에서 약하다. 깊이 카메라가 싸지면서 RGB와 깊이를 어떻게 같이 쓸지가 질문이 됐다.

PoseCNN처럼 RGB로 자세를 먼저 구하고 깊이로 ICP를 돌리는 방법은 느리고, 두 단계를 한 번에 학습할 수 없다. DenseFusion은 CNN과 점군 네트워크(PCN)로 특징을 따로 뽑은 뒤 마지막에 합친다. 문제는 둘이 끝까지 서로를 모른다는 점이다.

  • 겉모습이 거의 같고 크기만 다른 물체는 RGB만 보면 구별이 어렵다. 점군을 보면 크기 차이가 바로 보인다.
  • 반사가 심한 면은 깊이 센서가 값을 못 얻는다. 점군에는 구멍이 나지만 RGB에는 물체가 보인다.

한쪽이 막히는 곳을 다른 쪽이 볼 수 있다. 그러니 마지막이 아니라 처음부터 정보를 주고받게 하자는 게 출발점이다.

PVN3D의 3D 키포인트 방식

FFB6D의 자세 추정 부분은 같은 저자들의 PVN3D(CVPR 2020)를 따른다. PVN3D는 회전을 바로 회귀하지 않는다. 물체 위에 3D 키포인트를 몇 개 정해 두고, 장면의 점마다 각 키포인트까지의 3D 오프셋을 예측한다.

점들이 던진 표를 MeanShift로 모으면 장면 속 키포인트 위치가 나온다. 물체 좌표계 키포인트와 짝지어 최소제곱으로 $R, T$를 푼다. 2D 키포인트와 PnP를 쓰지 않는 이유도 적혀 있다. 이미지 위에서는 작은 오차가 3D에서는 클 수 있고, 3D에서 다른 점이 투영 후 겹칠 수도 있다.

제안 방법

전체 흐름

  1. 깊이 이미지를 카메라 내부 파라미터로 점군으로 올린다.
  2. RGB는 CNN(ResNet34 + PSPNet)이, 점군은 PCN(RandLA-Net, 점 12,288개)이 처리한다. 두 네트워크의 모든 인코더·디코더 층에 양방향 융합 모듈을 넣는다.
  3. 마지막에 픽셀 특징과 점 특징을 짝지어 이어 붙인 뒤, 의미 분할, 중심 오프셋, 키포인트 오프셋을 예측한다.
  4. 중심 오프셋을 MeanShift로 모아 같은 종류의 개체를 나누고, 개체마다 키포인트에 투표한다.
  5. 최소제곱 맞춤으로 자세를 구한다.

픽셀에서 점으로 (pixel-to-point)

RGB 특징 지도 전체를 한 벡터로 눌러 점마다 붙이는 방법은 쓰지 않는다. 화면 대부분이 배경이고 물체가 여러 개라 세부 정보가 사라진다. 대신 픽셀마다 3D 좌표를 담은 XYZ 지도를 다리로 쓴다.

각 점에서 XYZ 지도상 가장 가까운 픽셀 $K_{r2p}$개(구현에서는 16개)를 찾아 그 픽셀들의 RGB 특징을 모은다. max pooling과 MLP로 정리한 뒤 점 특징과 이어 붙여 다시 MLP에 넣는다.

\[F_{r2p} = \mathrm{MLP}\Big(\max_{i=1}^{K_{r2p}} F_{r_i}\Big), \qquad F_{fused} = \mathrm{MLP}(F_{point} \oplus F_{r2p})\]

CNN이 깊어지면 특징 지도가 작아지므로 XYZ 지도도 같이 줄여야 한다. 처음에는 같은 크기 커널로 평균을 냈는데, 물체와 배경 경계에서 깊이가 급하게 바뀌어 엉뚱한 점이 생겼다. 최근접 보간으로 줄이자 ADD-S AUC가 96.3에서 96.6으로 올랐다.

점에서 픽셀로 (point-to-pixel)

반대 방향도 같은 구조다. 각 픽셀의 XYZ 좌표에서 가장 가까운 점 $K_{p2r}$개(구현에서는 1개)의 특징을 가져와 MLP와 max pooling으로 정리하고, RGB 특징과 이어 붙인다.

SIFT-FPS 키포인트

PVN3D는 FPS(farthest point sampling)로 키포인트를 골랐다. 물체 표면에서 서로 가장 멀리 떨어진 점을 하나씩 추가하는 방식이라 키포인트가 고르게 퍼진다. 하지만 거리만 보니, 무늬 없는 평평한 면 위의 점도 뽑힌다. 그런 점은 네트워크가 찾기 어렵다.

SIFT-FPS는 순서를 하나 더한다. 물체를 구 중심에 두고 구 위 여러 시점에서 렌더링한다. 렌더링한 RGB에서 SIFT로 2D 특징점을 찾고, 3D로 올려 물체 좌표계로 옮긴다. 이렇게 모은 “무늬가 뚜렷한 점” 중에서 FPS로 N개를 고른다.

실험 결과

아래는 모두 논문에 실린 실험이다. 저자들은 YCB-Video에서 ADD-S와 ADD(S) AUC를, LineMOD와 Occlusion LineMOD에서 지름 10% 기준 정확도(ADD-0.1d)를 쟀다.

YCB-Video, 후처리 없음 ADD-S ADD(S)
PoseCNN 75.8 59.9
DenseFusion (per-pixel) 91.2 82.9
PVN3D 95.5 91.8
FFB6D 96.6 92.7

ICP 같은 후처리를 붙인 방법끼리 비교하면 PoseCNN+ICP 93.0, PVN3D+ICP 96.1, FFB6D+ICP 97.0(ADD-S)이었다. 후처리 없는 FFB6D(96.6)가 후처리를 붙인 PVN3D(96.1)보다 높다. LineMOD에서는 99.7%(PVN3D 99.4%), 물체가 심하게 가려진 Occlusion LineMOD에서는 66.2%(PVN3D 63.2%)였다.

가려짐 정도를 키워 가며 ADD-S 2 cm 이내 정확도를 보면 기존 방법들은 내려가는데 FFB6D는 거의 그대로였다. 속도도 빨라졌다. 파라미터는 39.2M에서 33.8M로 줄었고, 한 프레임 처리 시간은 PVN3D 190 ms에서 75 ms로 약 2.5배 빨라졌다.

어디서 섞어야 하나

융합 위치와 방향을 바꿔 본 결과다(YCB-Video ADD-S AUC).

설정 ADD-S
융합 없음 91.9
디코더에서만 93.0
마지막에 DenseFusion만 94.0
인코더에서만 96.2
인코더 + 디코더 96.6
점→픽셀만 / 픽셀→점만 95.8 / 94.5

인코더 쪽 융합이 가장 크게 올렸다. 저자들은 앞쪽 층에서 지역적인 무늬와 모양 정보를 주고받는 게 중요하다고 본다. 전체 흐름에 융합을 넣은 뒤 DenseFusion을 더 붙여도 오르지 않았다(96.4). 이미 충분히 섞였다는 뜻이다.

방향은 둘 다 도움이 됐고, 같이 쓸 때 가장 좋았다. 그림 예시도 이 설명과 맞는다. 픽셀→점 융합은 반사면 때문에 깊이가 빈 곳을 RGB로 메웠다. 점→픽셀 융합은 겉모습이 같은 큰 클램프와 더 큰 클램프를 크기로 구별했다.

입력을 단순히 합치는 방식도 비교했다. CNN에 XYZ 지도를 채널로 더 넣으면 91.0, 점군에 RGB 값을 붙이면 90.9였다. 데이터마다 맞는 네트워크(RGB는 CNN, 점군은 PCN)를 따로 두고 융합할 때 96.6으로 가장 높았다.

키포인트 선택도 비교했다. 키포인트 8개 기준으로 FPS는 예측 오차 1.4 cm, ADD-S 96.1이었다. SIFT-FPS는 1.2 cm, 96.6이었다. 4개, 12개일 때도 SIFT-FPS가 조금씩 나았다.

느낀 점

  • “반사가 심한 면은 깊이가 비지만 RGB에는 보인다”는 문제 설정이 좋았다. 금속 부품처럼 깊이 센서가 자주 실패하는 물체라면, 두 정보를 늦게 합치는 것보다 처음부터 서로 메워 주는 구조가 더 맞을 것 같다.
  • 자세 추정이 PPF, PoseCNN에 이어 또 투표다. 이번에는 장면의 점마다 3D 키포인트 쪽으로 오프셋을 던진다. 마지막에는 짝지은 점들로 최소제곱 회전·이동을 푸는데, ICP의 한 단계와 같은 계산이다. 회전을 직접 회귀하지 않고 이 문제로 바꾼 게 PVN3D 계열의 핵심이다.
  • 키포인트를 “찾기 쉬운 곳”에 두자는 SIFT-FPS가 단순해서 좋았다. 다만 SIFT는 무늬에 기대는 방법이다. 무늬 없는 단색 부품에서는 SIFT 점이 별로 안 나올 텐데, 그때 FPS와 얼마나 차이가 날지는 이 논문만으로는 알 수 없다.
  • PoseCNN 논문에서 헷갈렸던 큰 클램프와 더 큰 클램프가 여기 그림에도 나온다. 같은 장면에서 PVN3D는 두 클램프 자세를 잘못 놓았고, FFB6D는 점군 쪽 크기 정보로 제자리에 놓았다.