[논문 리뷰]A Method for Detection of Small Moving Objects inUAV Videos

goal:

• 표준 비디오 카메라가 장착된 무인 항공기를 이용하여 녹화된 비디오에서 작은 움직이는 물체(곤충)를 감지하는 방법 제안

contribution:

1. UAV 사용 캡처한 비디오에서 작은 움직이는 물체 감지를 위한 모양 및 동작 정보를 모두 효과적으로 사용
2. CNN 기반 탐지기 훈련을 위한 합성 데이터 사용. 
3. 합성 교육 비디오를 생성하는 데 사용되는 매개변수의 영향 평가 및 검출기 성능에 대한 기타 설계 선택.
4. 합성 데이터에 대한 검출기 성능이 실제 비디오 시퀀스에 대한 성능의 프록시로 사용될 수 있는지 여부를 조사

 

---

abstract

• 연구의 어려운 점
  
  • 컨벌루션 신경망(CNN)은 대상 물체가 작을 때(예: 10 x 10 픽셀 미만) 얻은 결과는 좋지 않음
    • 작은 물체에 독특한 모양과 질감이 없기 때문
    • 작은 객체의 경우 대부분 객체 좌표(x, y)만 필요(큰 객체의 경우 바운딩 박스)
  • 물체(작은 움직이는, ex: 꿀벌)를 감지하기 위한 효과적인 시스템 구축의 어려움
    • 비침습적(ex: 꿀벌의 비행을 방해하지 않는)
      • 더 높은 고도에서의 촬영 필요
    • 개별 꿀벌은 하나 또는 두 개의 연속 프레임에만 나타날 수 있음.
    • UAV에서 녹화된 자연 상태의 비디오 시퀀스 배경에는 일반적으로 UAV가 생성하는 바람이나 기류로 인해 움직이는 풀이나 기타 초목이 포함됨
      • 결과적으로 프레임의 전경/배경 명암비가 낮고 날아다니는 꿀벌에서 비롯되지 않은 움직임 존재함
        • 정지 이미지에서 탐지 거의 불가능(특정 위치에서 움직임으로 인해 형태의 변화 확인 가능)

a에서 b는 꿀벌이 움직임에 따라 모양이 바뀜

• 많은 수의 오탐지 발생(배경에 움직임이 존재하기 때문)
  • false positive 탐지 필터링을 위해 연속 프레임 그룹에 대해 훈련된 CNN을 사용
  • 작은 물체의 모양과 움직임의 표현 학습
  • 주어진 각 프레임 그룹에 대해 중간 프레임에서 움직이는 물체의 존재에 대한 confidence 맵 출력 제안
• 실제 데이터 생성의 어려움으로 실제 배경과 인공적으로 생성된 작은 움직이는 물체를 포함하는 비디오 시퀀스로 합성 훈련 데이터 세트 생성
  • (UAV 탑재 카메라를 사용하여 캡처한 실제 비디오 배경, 합성 학습 데이터 생성)
  • (인공적으로 생성된 얼룩 모양의 개체를 추가)
  • 사용된 데이터: https://github.com/vladan-stojnic/Detection-ofSmall-Flying-Objects-in-UAV-Videos.

 

---

Method for Detection of Small Moving Objects

• 제안 방법의 주요 단계:
  • 비디오 안정화 -> 배경 추정&감산 -> CNN프레임 분할 -> CNN 출력 임계값 설정

• 비디오 안정화 - RTK 시스템을 활용한 비디오 안정화 프로세스 과정을 거침(몰라도 될듯, 데이터 수집하는 과정)
• 배경 추정 및 감산
  • 각 프레임에서 움직이는 물체 강조 위한 이전 프레임 창 픽셀 값의 평균과 표준편차추정
  • 작은 움직이는 물체는 프레임을 time averaging으로 걸러져 프레임의 픽셀 단위 평균은 배경 추정으로 간주 가능
  • 평균과 표준 편차로 특징지어지는 가우시안 확률 분포 함수를 이전 프레임 창의 각 픽셀 값으로 맞춤

배경 추정 구하는 식 I(x, y, t): 시간 순간 t의 프레임, N: 임시 창의 프레임

 

표준 편차 구하는 식

표준 편차와 현재 픽셀 값의 차이를 구하는 식: 각 프레임에서 추정된 픽셀별 평균을 빼고 결과를 추정된 픽셀별 표준편차 나눔

• • 위 과정을 통해 움직이는 물체는 배경보다 더 큰 픽셀 값을 갖게 됨
  • 정지 배경 픽셀의 값은 이동 물체에 속하는 픽셀의 값에 비해 평균에 가까움(이동 물체와 배경 추정의 차이가 클 것으로 예상)
  • 이 절차를 일반적으로 배경 감산이라 함

프레임에서 배경을 뺀 결과의 예

• CNN을 사용한 프레임 분할
  • 배경 감산으로 얻은 프레임은 바람에 의해 움직이는 풀과 같은 움직이는 인공물을 포함할 수 있음
  • -> 이 프레임의 단순한 임계값 -> 많은 잘못된 positive 탐지 초래 위험성을 가짐 -> 사전 처리된 프레임을 CNN에 공급하여 움직이는 물체 분할
    • (그림 5b) CNN 분할 모델은 작은 움직이는 물체를 감지, 바람으로 인해 움직이는 풀과 같은 원하지 않는 노이즈을 제거가능
  • 5개의 연속 프레임 시퀀스의 중간 프레임을 움직이는 물체와 배경으로 분할