[논문 리뷰] DeFRCN: Decoupled Faster R-CNN for Few-Shot Object Detection

• Faster R-CNN은 backbone, RPN 및 RCNN의 세 가지 구성 요소를 포함하며 순방향 및 gradient-backward를 통해 서로 상호 작용
• 위에서 언급한 RPN과 RCNN 사이의 모순으로 인해 세 모듈 간의 디커플링 정도를 gradient를 통해 조정
  • 전체 모델이 둘 중 하나에 의해 지배되는 것을 완화하기 위해 제시

• RPN과 RCNN 사이의 모순으로 인한  모듈 간의 디커플링 정도를 gradient를 통해 조정
• 분류와 회귀 사이의 작업 충돌은 기능의 품질에 영향, 헤드 출력에 성능 하락으로 이어짐
• 두 작업(분류, 회귀)을 분리하는 목적 달성을 위해 분류 분기에서만 효율적인 점수 보정 모듈을 사용

• 입력 이미지는 백본으로 전달되어 high level 의 피쳐맵 생성 이후 RPN 및 RCNN에 병렬로 전달
• 3개의 기능 모듈(백본, RPN, RCNN)과 2가지 종류의 작업(분류 , 지역화)을 분리한다는 아이디어 기반
  • 3개 모듈 간의 분리 정도 조정을 위한 2개의 GDL(Gradient Decoupled Layers)
  • 추론 단계 동안 RCNN의 분류 능력 향상을 위한 오프라인 Prototypical Calibration Block(PCB)

• 표준 Faster R-CNN과 비교할 때 두 개의 Gradient Decoupled Layer(하늘색)와 오프라인 Prototypical Calibration Block(빨간색)이 프레임워크에 삽입되어 각각 다중 단계 및 다중 작업에 대한 분리 수행
  •  A는 GDL의 affine transformation 계층
  • ⊕는 PCB의 점수 융합 연산 - 추론 시간 동안 분류 및 지역화 작업을 분리하기 위한 메트릭 기반 점수 세분화 모듈
  • 노란색, 진한 파란색 : (훈련 가능) 미세 조정 중에 동결
  • 주황색 실선 : 순방향 flow
  • 검은색 점선 : gradient flow

• 순방향 전파 중에 GDL은 특징 표현을 향상 및 순방향 디커플링을 수행을 위해 학습 가능한 채널별 가중치 ω 및 바이어스 b로 매개변수화되는 아핀 변환 계층 A를 사용
• 역방향 전파 중에 GDL은 다음 레이어에서 기울기를 가져와 디커플링 계수(상수 λ ∈ [0, 1])을 곱하고 이를 이전 레이어로 전달
• 역전파 과정과 함께 GDL을 통과하면서 GDL의 상류 계층 매개변수 θu에 대한 GDL의 하류인 손실 Ld의 부분 도함수가 λ로 곱
• 델 A는 아핀 계의 조코비안 행렬임

• Pascal VOC 데이터 세트에 대한 실험 결과. 세 가지 다른 분할에서 DeFRCN 성능(AP50)을 평가
• w/G : G-FSOD 설정 사용 여부[50].
• RED/BLUE는 SOTA/차등

표 2의 결과는 제안 방법이 매개변수의 충분한 학습을 보장, 심각한 과적합에 빠지지 않는다는 것