[논문 리뷰] PoseCNN: 6D Object Pose Estimation in Cluttered Scenes
- 논문: PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
- 저자: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, Dieter Fox (NVIDIA Research, University of Washington, CMU)
- 학회: RSS 2018
한 줄 요약
물체의 6D 자세를 이동과 회전으로 나눠 구하는 CNN 논문. 이동은 픽셀마다 물체 중심 방향을 예측해 투표로 중심을 찾고, 거리를 따로 예측해 구한다. 회전은 쿼터니언으로 바로 회귀한다. 대칭 물체를 위한 ShapeMatch-Loss와, 지금도 표준으로 쓰는 YCB-Video 데이터셋과 ADD/ADD-S 평가 방식을 함께 정리했다.
배경
이전 방법은 크게 둘이었다. 특징점 매칭은 무늬가 있어야 점을 찾을 수 있어서, 무늬 없는 물체에는 못 쓴다. 템플릿 매칭은 무늬 없는 물체도 되지만, 물체가 가려지면 유사도 점수가 뚝 떨어진다.
픽셀마다 물체 좌표계의 3D 좌표를 회귀해서 2D-3D 대응을 만드는 방법도 있었다. 그런데 이 방법은 대칭 물체에서 막힌다. 대칭이면 같은 픽셀이 여러 3D 좌표에 해당할 수 있기 때문이다.
대칭은 학습 쪽에서도 문제다. 그릇이나 나무 블록은 서로 다른 회전이 똑같아 보인다. 평가할 때는 대칭을 고려하면서, 학습할 때는 무시하는 경우가 많았다. 그러면 맞는 답을 냈는데도 손실이 크게 나오는, 앞뒤가 안 맞는 신호를 네트워크가 받는다.
제안 방법
전체 구조
입력은 RGB 이미지 한 장이고, 출력은 물체 좌표계에서 카메라 좌표계로 가는 회전 $R$과 이동 $T$다. 이동은 물체가 이미지 어디에, 얼마나 크게 보이는지를 정한다. 회전은 겉모습을 바꾼다. 성질이 다르니 따로 추정하자는 게 출발점이다.
백본은 VGG16의 합성곱 13층이다. 여기서 나온 특징을 세 갈래가 나눠 쓴다.
- 의미 분할: 픽셀마다 어떤 물체인지 분류한다. 1/8, 1/16 크기 특징을 합쳐 원래 크기로 키운다(FCN 방식). 바운딩 박스보다 가려짐에 강하다.
- 이동 추정: 픽셀마다 물체 중심 방향과 중심까지의 거리를 예측한다.
- 회전 회귀: 물체 영역의 특징을 잘라 쿼터니언을 예측한다.
중심 투표로 이동 구하기
$T$를 이미지 특징에서 바로 회귀하면, 물체가 이미지 어디에 나올지 몰라 일반화가 안 된다. 같은 종류 물체가 여러 개일 때도 못 쓴다. 대신 이미지 위 중심 $c = (c_x, c_y)$와 깊이 $T_z$를 찾는다. 카메라 내부 파라미터를 알면 나머지는 핀홀 투영 식으로 풀린다.
\[c_x = f_x \frac{T_x}{T_z} + p_x, \qquad c_y = f_y \frac{T_y}{T_z} + p_y\]중심을 키포인트처럼 바로 찾으면, 중심이 가려졌을 때 실패한다. 그래서 픽셀 $p$마다 중심을 향하는 단위 벡터와 깊이를 예측한다.
\[(x, y) \rightarrow \left( n_x = \frac{c_x - x}{\lVert c - p \rVert},\ n_y = \frac{c_y - y}{\lVert c - p \rVert},\ T_z \right)\]변위 벡터 $c - p$ 대신 단위 벡터를 쓰는 건 크기에 무관해서 학습이 쉽기 때문이다. 실험으로 확인했다고 한다.
허프 투표 층이 이걸 모은다. 분할 결과로 물체 픽셀만 골라, 각 픽셀이 예측한 방향의 직선 위에 표를 준다. 표가 가장 많이 모인 곳이 중심이다. 같은 물체가 여러 개면 NMS를 쓴다.
중심에 표를 준 픽셀들의 깊이 예측을 평균 내 $T_z$로 쓴다. 이 픽셀들을 감싸는 사각형이 회전 갈래의 관심 영역이 된다. 중심이 다른 물체에 가려져 있어도 보이는 픽셀들이 그쪽을 가리키면 찾을 수 있다는 게 이 설계의 장점이다.
회전 회귀와 두 가지 손실
투표에서 나온 사각형으로 특징을 RoI pooling해서 FC 층 세 개에 넣는다. 마지막 층은 물체 종류마다 쿼터니언 4개를 낸다. 손실은 두 가지를 제안한다.
PoseLoss는 모델 점들을 예측 회전과 정답 회전으로 각각 돌려서, 같은 점끼리의 거리 제곱 평균을 잰다.
\[\mathrm{PLOSS}(\tilde q, q) = \frac{1}{2m} \sum_{x \in \mathcal{M}} \lVert R(\tilde q)x - R(q)x \rVert^2\]대칭 물체에서는 정답 회전이 여러 개라서, 맞는 답에도 벌점을 준다. 대칭을 직접 지정해 주면 고칠 수 있지만, 논문은 대칭 지정이 필요 없는 다른 손실을 낸다.
ShapeMatch-Loss는 같은 점끼리가 아니라 가장 가까운 점까지 거리를 잰다.
\[\mathrm{SLOSS}(\tilde q, q) = \frac{1}{2m} \sum_{x_1 \in \mathcal{M}} \min_{x_2 \in \mathcal{M}} \lVert R(\tilde q)x_1 - R(q)x_2 \rVert^2\]ICP의 거리와 같은 꼴이다. 두 모양이 겹치기만 하면 0이 되므로, 대칭으로 똑같아 보이는 회전에는 벌점이 없다.
YCB-Video 데이터셋
기존 LINEMOD는 물체 15개에 물체마다 사람이 표시한 이미지 약 1,000장이었다. 평가용으로는 괜찮지만 딥러닝 학습에는 수백 배 모자랐다.
YCB-Video는 YCB 물체 중 21개를 골라 영상 92개, 총 133,827프레임에 자세를 붙였다. 프레임마다 사람이 표시하지 않았다. 영상 첫 프레임에서만 자세를 손으로 정하고, 깊이 영상을 따라 카메라 궤적을 추적한 뒤 전역 최적화로 다듬었다.
장면마다 물체가 3~9개(평균 4.47개)라 서로 많이 가린다. 저자들은 롤링 셔터, 3D 모델 오차, RGB와 깊이의 시간 차이 때문에 정답 자세에도 오차가 있다고 적었다.
ADD와 ADD-S
평가 지표도 손실과 같은 생각에서 나온다. ADD는 정답 자세와 예측 자세로 옮긴 모델 점들 사이 평균 거리다.
\[\mathrm{ADD} = \frac{1}{m} \sum_{x \in \mathcal{M}} \lVert (Rx + T) - (\tilde R x + \tilde T) \rVert\]대칭 물체는 가장 가까운 점까지 거리로 바꾼 ADD-S를 쓴다. 고정 임계값 하나만 쓰면 틀린 자세가 얼마나 틀렸는지 안 보인다. 그래서 임계값을 0부터 10 cm까지 바꿔 가며 정확도 곡선을 그리고, 곡선 아래 넓이(AUC)를 점수로 쓴다.
실험 결과
아래는 모두 논문에 실린 실험이다. 저자들은 YCB-Video 영상 80개로 학습하고, 남은 12개 영상의 키프레임 2,949장으로 평가했다. 무작위로 물체를 놓아 만든 합성 이미지 80,000장도 학습에 썼다. 깊이가 있을 때는 ICP로 다듬었다. 렌더링한 모델과 관측 깊이를 픽셀 단위로 짝짓는 point-to-plane ICP이고, 지역 최솟값을 피하려고 자세를 흔들어 여러 번 돌린다.
| YCB-Video (AUC) | ADD | ADD-S |
|---|---|---|
| 3D 좌표 회귀 (RGB) | 15.1 | 29.8 |
| PoseCNN (RGB) | 53.7 | 75.9 |
| 3D 좌표 회귀 + ICP | 74.5 | 90.1 |
| PoseCNN + ICP | 79.3 | 93.0 |
- 색 이미지만 쓸 때 3D 좌표 회귀보다 크게 앞선다. 좌표 회귀는 좌표가 조금 틀려도 자세가 멀리 튀는데, PoseCNN은 중심 위치가 이동을 잡아 준다.
- ICP를 붙이면 둘 다 크게 오른다. PoseCNN이 더 좋은 초기값을 주기 때문에 ICP 결과도 더 좋다.
- 작고 무늬 없는 참치 캔이 어려웠고, 겉모습이 같은 큰 클램프와 더 큰 클램프를 헷갈렸다.
- 대칭인 나무 블록과 큰 클램프에서 PoseLoss는 회전 오차가 0~180°에 고루 퍼졌다. ShapeMatch-Loss는 대칭에 해당하는 0°와 180°에 모였다.
물체가 심하게 가려진 OccludedLINEMOD에서는 ADD 10% 기준 정확도를 비교했다. 깊이를 쓰는 기존 방법들의 평균이 56.6~76.7%였다. PoseCNN+ICP는 78.0% 로 가장 높았다.
가장 크게 오른 건 대칭 물체였다. Eggbox는 기존 최고 65.5%에서 72.2%로, Glue는 73.8%에서 76.7%로 올랐다. 색 이미지만 쓴 PoseCNN은 24.9%에 그쳤다. 이 데이터셋의 임계값은 보통 2 cm보다 작아서, 가려진 장면에서 색만으로 맞추기 어렵다고 저자들은 설명한다.
느낀 점
- ShapeMatch-Loss가 ICP의 “가장 가까운 점” 거리를 그대로 손실로 쓴 것이라 반가웠다. 대칭을 직접 적어 주지 않아도 모양만 맞으면 벌점이 없다. 다만 저자들도 결론에서 이 손실이 ICP처럼 지역 최솟값에 빠질 때가 있다고 인정했다.
- ICP의 위치도 바뀌었다. ICP 논문에서는 초기 회전 후보를 여러 개 두는 문제를 붙잡고 있었는데, 여기서는 네트워크가 그 초기값을 주고 ICP는 다듬기만 한다. 같은 ICP인데 초기값이 좋아지자 ADD-S AUC가 90.1에서 93.0으로 올랐다.
- 중심 투표는 PPF의 투표와 생각이 같다. 보이는 부분이 각자 정답 쪽에 표를 던지니, 가려져도 버틴다. 손으로 만든 특징 대신 네트워크가 표를 던진다는 점만 다르다.
- 상자에 같은 부품이 쌓인 장면이라면 물체 종류는 하나이고 개체만 여러 개다. 그때는 분류보다, 붙어 있는 개체들을 중심 투표와 NMS가 얼마나 잘 나누는지가 더 중요할 것 같다.