[논문 리뷰] Segment Anything (SAM)

  • 논문: Segment Anything
  • 저자: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, Ross Girshick (Meta AI Research, FAIR)
  • 학회: ICCV 2023

한 줄 요약

점·박스·텍스트 같은 프롬프트를 입력받아 그에 해당하는 분할 마스크를 즉시 반환하는 태스크를 정의하고, 이를 위한 모델(SAM)과 학습 데이터(11M 이미지, 10억 개 마스크)를 모델-데이터 선순환(data engine)으로 함께 만들어낸 논문. 특정 클래스나 도메인에 국한되지 않고 임의의 객체·부분을 제로샷으로 분할할 수 있는, 분할(segmentation) 분야의 파운데이션 모델을 제시했다.

배경

기존 분할 모델들은 대부분 특정 데이터셋·클래스 집합에 맞춰 처음부터 학습되는 폐쇄형(closed-set) 방식이었다. NLP에서 GPT류 모델이 “프롬프트 하나로 다양한 태스크를 제로샷으로 푸는” 파운데이션 모델 패러다임을 보여준 것처럼, 분할에서도 비슷한 범용성을 얻을 수 있을지가 이 논문의 출발점이다.

문제는 그런 범용 분할 모델을 학습시킬 만큼 크고 다양한 마스크 데이터가 애초에 존재하지 않았다는 점이다. 논문은 모델을 만드는 것과 그 모델을 학습시킬 데이터를 만드는 것을 동시에, 서로를 이용해서 진행하는 방식으로 이 문제를 정면 돌파한다.

제안 방법

Promptable Segmentation Task

새로운 태스크를 정의한다: 이미지와 함께 분할 대상을 가리키는 프롬프트(전경/배경을 나타내는 점, 바운딩 박스, 대략적인 마스크, 나아가 텍스트까지)가 주어지면, 그 프롬프트와 일치하는 유효한 분할 마스크를 반환한다. 프롬프트가 모호할 수 있다는 것도 태스크 정의에 포함된다 — 예를 들어 셔츠 위의 점 하나는 “셔츠”를 가리킬 수도, “사람 전체”를 가리킬 수도 있다.

모델 구조

세 부분으로 구성된, 실시간 상호작용이 가능하도록 설계된 가벼운 구조다.

  • Image Encoder: MAE로 사전학습된 ViT를 사용해 이미지 하나당 한 번만 무거운 연산을 수행하고, 이미지 임베딩을 얻는다.
  • Prompt Encoder: 점·박스는 위치 인코딩으로, 텍스트는 CLIP 텍스트 인코더로, 마스크 프롬프트는 컨볼루션으로 각각 임베딩한다.
  • Mask Decoder: 이미지 임베딩과 프롬프트 임베딩을 받아 마스크를 출력하는 가벼운 트랜스포머 디코더. 이미지 인코딩은 미리 계산해두고 프롬프트만 바뀌는 상황(대화형 편집 등)에서는 이 부분만 50ms 이내로 재실행하면 되도록 설계되어 있다.

모호성 처리: 프롬프트 하나로 여러 스케일의 유효한 마스크(예: 부분·객체·객체 그룹)가 나올 수 있으므로, 디코더는 단일 마스크 대신 3개의 마스크 후보와 각각의 confidence score를 동시에 출력한다. 학습 시에는 이 중 ground truth와 가장 잘 맞는 것에만 loss를 역전파해서, 모델이 모호성을 회피하지 않고 명시적으로 다루도록 만든다.

Data Engine: 모델과 데이터의 선순환

SA-1B라는 11M 이미지, 10억 개 마스크짜리 데이터셋을 3단계 순환으로 구축한다.

  1. Assisted-manual: 사람 라벨러가 SAM이 제안한 마스크를 보며 클릭으로 교정·추가 — 초기 저품질 SAM으로 라벨링 속도를 높임.
  2. Semi-automatic: SAM이 이미 자신있게 예측하는 객체는 자동으로 남겨두고, 사람은 SAM이 놓친 나머지 객체만 라벨링 — 마스크 다양성을 늘리는 데 집중.
  3. Fully automatic: 이미지 위에 격자 형태로 점 프롬프트를 촘촘히 뿌려 SAM이 스스로 마스크를 생성하고, IoU 예측값과 안정성(stability)으로 필터링 + NMS로 중복 제거 — 사람 개입 없이 대부분의 최종 데이터를 생성.

모델이 좋아질수록 데이터 생성이 빨라지고, 늘어난 데이터로 모델이 다시 좋아지는 구조 — 데이터셋 규모(10억 마스크)가 기존 분할 데이터셋 대비 수백 배 큰 이유가 이 자동화 단계 덕분이다.

실험 결과

  • 23개의 서로 다른 분할 데이터셋에 대해 파인튜닝 없이 프롬프트(점 1개)만으로 평가했을 때, 대부분의 데이터셋에서 기존의 완전지도 학습 baseline과 비등하거나 더 나은 zero-shot 성능.
  • 사람 평가에서도, 모호한 상황에서 SAM이 제시하는 다중 마스크 후보의 품질이 baseline 대비 크게 우수.
  • 엣지 검출, 객체 제안(object proposal), 인스턴스 분할, 텍스트-프롬프트 분할 등 학습 때 명시적으로 다루지 않은 다운스트림 태스크에도 zero-shot으로 잘 전이됨을 보임.

느낀 점

  • “모델을 학습시킬 데이터가 없다”는 문제를 데이터를 먼저 손으로 다 만들고 나서 모델을 학습하는 순서가 아니라, 불완전한 모델이라도 일단 배포해서 데이터 생성을 거들게 하고 그 데이터로 모델을 다시 개선하는 순환으로 푼 방식이 인상 깊었다. 데이터와 모델을 별개의 단계로 보지 않는 이 접근이, 이후 다른 파운데이션 모델 데이터셋 구축에도 참고가 될 만한 템플릿처럼 느껴진다.
  • SAM 마스크를 배경 제거용 전처리로만 쓰는 경우를 많이 봤는데, 이 논문을 읽고 나서 “SAM이 애초에 모호성을 명시적으로 다루도록 설계됐다”는 걸 알게 됐다. 2D Gaussian Splatting처럼 표면 표현을 다루는 방법과 결합할 때, 마스크를 입력 단계 전처리에 그치지 않고 학습 단계의 supervision 신호로도 쓸 수 있겠다는 아이디어가 자연스럽게 떠올랐다.
  • 프롬프트 인코더가 점·박스·텍스트를 전부 같은 임베딩 공간으로 통합해서 받는 구조가, 이후 Grounding DINO나 여러 open-vocabulary detection/segmentation 모델들의 표준적인 설계로 자리잡은 걸 보면, 이 논문이 단순히 “큰 데이터셋 하나”가 아니라 이후 몇 년간의 분할 연구 방향 자체를 정한 논문이라는 게 실감났다.