[연구노트] Panoptic Segmentation 서베이

 

github.com/Angzz/awesome-panoptic-segmentation

paperswithcode.com/task/panoptic-segmentation

Papers with Code - Panoptic Segmentation

이 페이지를 참고하려고 한다.

 

 

 

세그멘테이션은 완전 처음 해보는 분야이다.

보통 Semantic이나 Instance Segmentation을 하는데, 팬옵틱은 잘 모르겠으나 그냥 인스턴스 구분 안하는 것도 있고 구분 하는것도 있고 그런걸 나눌 수 있는 개념이라고 어제 전달받았다.

 

아래 그림을 보면 자율주행에서의 예시를 볼 수 있다.

나무는 그냥 전부 '나무' 정도로 레이블을 매겼는데, 자동차와 보행자의 경우는 각각의 인스턴스를 구분한다.

기존 세그멘테이션에서 더 발전하여 필요에 의해 생겨난 분야인 것 같다. 시맨틱과 인스턴스 둘을 같이 하기 위한 모델.

 

 

 

 

동료분께 연구 시작할때 어떤 것을 볼지, 어려운 점은 무엇인지 질문하니 이런 의견을 주셨다.

 

연구를 시작할 때

• Semantic Segmentation을 보는 게 좋다.
  아무것도 모르는데 Panoptic만 먼저 파기에는 이 분야가 아직 그렇게까지 발전하지 않았다고 하셨다.
• Instance Segmentation의 경우, detection model에서 출발하여 발전해왔기때문에 좀 다르다고 하신다.
• Panoptic-DeepLab, EfficientPS를 읽어볼 것을 권하셨다.

 

연구에 어려운 점

• label noise랑 imbalance문제가 제일 크다.
  • label noise는, 경계가 애매한(의료영상의 경우 질병의 위치를 정확히 파악할 수 없는) 경우 annotator의 성격에 overfitting.
  • imbalance는, pixel 단위로 imbalance라서 반드시 생긴다.
    정확도의 지표로 mIoU를 많이 쓰는데, test set 에 없는 class같은 경우 그 class는 0으로 나와서 mIoU가 엄청 떨어짐.
    imbalance라고 하면 의료계열같은데, 꼭 의료계가 아니라고 해도 그런 문제가 있다고 한다. 오죽하면 kaggle dataset에서 다들 반응이, 나더러 annotator를 맞추라는거냐고 뭐라 할정도.
• 다른 task보다 transfer learning이 잘 안되는 경우가 많아 from scratch로 학습을 해야하는 경우가 있다.
  • 그러나 의료계열이라면 당연히 annotation이 부족하고 복잡하여 데이터 수도 많이 적다. 그래서 더 난감할 수 있음.
  • 다시 말해, 데이터는 적은데 pretrained model 쓰기가 어렵다. Batch Norm이라든가 receptive field의 영향도 그렇고.
• optimization 기법 연구들이 죄다 classification에 집중되어있어서 segmentation용으로 최적화된건 많이 없다.
• receptive field를 늘리기 위해 다양한 기법이 적용되어 왔다. 그러나 deformable한건 overfitting하기 쉽고, deformable하지 않은건, 다양한 물체의 형태를 가져오기가 힘들다.
  • 현재는 주로 multi-scale로 해결하는 정도이다.

위에서 언급하지는 않았으나, 속도 또한 중요한 이슈일 것으로 생각된다. action recognition도 그랬듯이. 특히 자율주행쪽으로 다룬다고 하면 속도가 정말 중요할듯.

 

 

Datasets & Challenges

거의 자율주행이 많다. 자율주행을 하려면 팬옵틱을 공부해야하려나?

나머지 데이터셋과 챌린지도 확인해보니 COCO같은 데이터셋이다.

미카이 챌린지도 있었던걸로 아는데 저 깃허브에는 없는 것 같다.

 

 

현재까지도 오픈되어있는게 있어서 들어가 리더보드를 확인해봤다.

CItyscapes의 팬옵틱 세그멘테이션이다.

 

뭔 죄다 뒤에 deepLab이 붙어있으니 딥랩이 뭔지 알아야할 것 같다.

 

논문 리스트

• arxiv.org/pdf/1801.00868.pdf Panoptic Segmentation  (cvpr 19)
• arxiv.org/pdf/1902.05093.pdf deeper lab (cvpr 19 oral)
• Panoptic FPN과 UPSNet도 cvpr 19 oral.
• Panoptic-DeepLab (CVPR20) arxiv.org/abs/1911.10194 

Panoptic-DeepLab과 EfficientPS를 먼저 훑어야겠다.