반응형 AIML 분야/Segmentation17 기존 Semantic Segmentation 모델 알아보기 (feat. 기본기) 그냥 SOTA 모델 공부해서 찾아서 돌리기 식으로 하다보니 History가 부족한 것 같아서 찾아봤다. 이번 기회에 빠삭하게 알아보겠어. 일단 써놓고 예전 포스팅이랑 합치기도 해야겠다. Fully Convolutional Network (FCN) 원 논문은 14년 아카이브에 떴고 CVPR 15였다. https://arxiv.org/abs/1411.4038 (논문) 새삼 기술의 발전이 빠르다... 7년 되었네요 - 일반 classification은 ConvNet + fully connected layer (FC)로 이루어져있다. - 1*1 conv로 FC를 대체했다. 그러면 모두 conv 연산으로 이루어져 FCN이라 부른다. (이유: 위치 정보를 잃지 않기 위하여) - 참고로 이 논문이 나온 시절을 생각해.. 2022. 7. 26. [데이터셋 논문] CholecSeg8k: A Semantic Segmentation Dataset for Laparoscopic Cholecystectomy Based on Cholec80 읽는다 논문 CholecSeg8k: A Semantic Segmentation Dataset for Laparoscopic Cholecystectomy Based on Cholec80 https://arxiv.org/pdf/2012.12453.pdf IPCAI 2021 논문이다. https://www.kaggle.com/newslab/cholecseg8k 데이터셋 다운로드 링크 그런데 아직 kaggle에 정의된 task도 없고, 스타터 코드는 그냥 데이터 불러오고, 데이터 통계량 플랏해주는 내용 외에 없다. discussion 등을 뒤져봐도 마찬가지. 논문에도 baseline method같은게 전혀 없어서 성능이 어느정도 나와야 하는지는 미지수이다. https://www.youtube.com/watch?.. 2021. 10. 29. Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation 구현 해야함 Instance Segmentation에서 rare object에 대한 성능을 높이기 위한 augmentation기법 1. 오브젝트 여러개를 다른 이미지에서 가져와서 붙이는 것. 이를 위해 2장의 이미지를 랜덤으로 뽑는다. 2. Scale Jittering과 horizontal flipping. (랜덤) - SSJ: 0.8 to 1.25 / LSJ: 0.1 to 2.0 - LSJ가 실험결과상으로는 더 좋았다고함. 근데 도메인 따라 다를것임 3. Gaussian filer 적용해서 I1, I2 blending함. 근데 없어도 성능 비슷하대서 난 안쓸거임 4. translation 적용 논문 확인 https://arxiv.org/pdf/2012.07177.pdf 구현 확인 (비공식, 공식 링크 .. 2021. 10. 19. [작성중...] K-Net: Towards Unified Image Segmentation "K-Net: Towards Unified Image Segmentation" 논문: https://arxiv.org/pdf/2106.14855v1.pdf !! 논문 읽으면서 쓰는 글이라 의역이나 사족 달아놓은게 많습니다 !! arxiv sanity를 뒤지며 수많은 transformer에 기분이 상할 즈음에 트랜스포머가 아닌걸 발견했다. mmdetection을 시작으로 mmaction mmsegmentation 등, 많은 학습모델들을 지원해주는 open-mmlab에서 나왔다! 역시 mmcv 시리즈에 코드를 공개할 예정으로 보인다! 이미 나왔는지는 확인 안해봄 K-넷이라길래 애국 코인인줄 알았더니 아니었다! 무려 중국 모델 코리안-네트워크 아니고 커널-네트워크다 K-방역 K-반도체 뭐 이런건줄 알았어 Ab.. 2021. 7. 23. [2021.02.24 연구일지] COCO Stuff에서 HRNet V2 + OCR 돌리기 방금 LIP dataset으로 HRNet V2 + OCR을 돌리고 오는 길이다. coco panoptic은 저번에 panoptic-deeplab 돌려야해서 써봤는데 stuff는 써본 적이 없다. 아래 링크를 그냥 읽고 따라하기만 해도 될 것 같아서 한번 둘러보면서 쓰는 글. github.com/nightrome/cocostuff nightrome/cocostuff The official homepage of the COCO-Stuff dataset. Contribute to nightrome/cocostuff development by creating an account on GitHub. github.com 용량은 18GB 정도로 크게 부담은 없다. 0-182, 중간에 빠지는 번호가 있어 총 172개의.. 2021. 2. 24. [Semantic Segmentation 조사 3] Object-Contextual Representations for Semantic Segmentation 리뷰 그 OCR이 아니고 다른 OCR이다. HRNet V2과 OCR을 같이 사용하는 조합이 자주 보이는데, 도대체 뭔지 궁금해서 리뷰하려고 한다. ResNeSt backbone 또한 사용되고 있긴 하지만, 아무튼 HRNet, OCR, deeplab 정도 공부하면 최근 논문의 어느정도는 봤다고 할 수 있을 것 같다. "Object-Contextual Representations for Semantic Segmentation" ECCV 20 세번째 링크로 들어가면 pretrained model 제공 한다! 바이두에만 있는줄 알고 식겁했다. arxiv.org/pdf/1909.11065v5.pdf github.com/openseg-group/openseg.pytorch/tree/pytorch-1.7 github.co.. 2021. 2. 22. [Semantic Segmentation ] HRNet V2 실험 및 코드 github.com/HRNet/HRNet-Semantic-Segmentation/tree/pytorch-v1.1 이걸 돌려보려고 한다. HRNet V2 논문에서는 semantic segmentation 실험을 3가지 데이터셋에서 했다. Cityscapes, LIP, PASCAL-Context이다. Cityscapes 5000 장의 이미지에 대해서 pixel level로 전체 scene에 어노테이션이 되어있다. finely-annotated image의 train:val:test 개수는 각각 2975:500:1525이다. 30개의 클래스가 있는데, evaluation에는 이중에서 19개의 클래스만 쓴다고 한다. www.cityscapes-dataset.com/benchmarks/#scene-labeling.. 2021. 2. 18. [Semantic Segmentation 조사 2] Deep High-Resolution Representation Learning for Visual Recognition (HRNet V2) 두번째 semantic segmentation 논문이다. FastFCN, HRNet, OCR 순으로 읽어볼 것이다. 또한, panoptic 분야이지만 EfficientPS와 Panoptic deeplab 또한 살펴볼 것이다. 이전 포스트에서 FastFCN, panoptic deeplab은 이미 리뷰를 마쳤다. 이런 논문을 선정한 이유는 다음과 같다. 아래는 Cityscapes semantic segmentation 벤치마크이다. HRNet, OCR 키워드가 가장 많이 보인다. 의외인점은 panoptic deeplab과 EfficientPS가 있는건데, 이건 분명 panoptic segmentation 논문인데 시맨틱에서 상위권에 있다. 그래서 이 두가지도 같이 보려고 한다. COCO stuff에서도 마찬.. 2021. 2. 17. Segmentation Evaluation Metrics 몰라서 기록하는 글. Panoptic Segmentation 논문 한편을 리뷰했는데 여기서는 PQ, mIoU, AP를 사용했었다. Semantic Segmentation 논문을 방금 리뷰했는데, 여기서는 mIoU와 pixel Accuracy를 사용했다. 한번 찾아보자. 아래 글에 잘 정리가 되어있고, 나는 그저 요약만 적을 뿐이다. medium.com/@danielmechea/panoptic-segmentation-the-panoptic-quality-metric-d69a6c3ace30 kharshit.github.io/blog/2019/10/18/introduction-to-panoptic-segmentation-tutorial www.groundai.com/project/panoptic-segment.. 2021. 2. 16. [Semantic Segmentation 조사 1] FastFCN 리뷰 당분간 Semantic Segmentation 최근 논문들을 살펴보고 실험할 예정이다. 각각 논문 contribution이 다르니 이것저것 조합하여 최적의 성능을 내는 것이 목표이다. FastFCN은 저번 서베이에서 언급된 논문인데, 최신 모델이면서도 예전 FCN과 DilatedFCN에 대한 문제지적 덕분에 semantic segmentation을 처음 공부하는중에 이해가 많이 되어 추가하였다. FastFCN arxiv.org/pdf/1903.11816.pdf github.com/wuhuikai/FastFCN 일단 이 논문을 아주 짧게 요약하자면 이러하다. "원래 semantic segmentation에서 dilation을 쓰는 이유가 연산 코스트 때문이었잖음? 그래서 여기선 JPU를 제안해서 upsam.. 2021. 2. 16. [2021.02.16. 연구노트] 깨알같은 디버깅 - panoptic deeplab official 코드는 아닌데, 페북같은데서 짠건지 엄청 잘 정리된 코드를 베이스로 돌리고 있다. MultiGPU면 Distributed 처리를 하도록 코드가 짜여있는데, single machine multiGPU로 고쳤다. 저번에 이것때문에 DataParallel()이랑 distributed의 차이를 찾아봤었던 것. 학습초반 조금 살펴보기 별거 없었던 디버깅 과정 1. 일단은 distributed 처리는 안되게 바꾼다. single machine에서도 distributed 처리는 할 수 있지 않을까? 그런데 나는 그냥 그렇게 안했다. 왜냐면 포트 번호, addr 이런데에 뭘 적어줘야하는지 모르기 때문. localhost로 적고 포트는 아무거나 때려넣었더니 계속 기다리기만 하는 상황이 벌어졌다. 2. n.. 2021. 2. 16. [연구노트] Semantic Segmentation 살펴보기 팬옵틱에 이어 시맨틱 세그멘테이션 공부가 필요해져 오늘 서베이를 시작했다. Semantic segmentation은 픽셀단위의 classification이라고 보면 될 것 같다. semantic segmentation에서 주로 무슨 모델을 쓰고있는지를 몰라서 아래 글을 읽고 있다. 이미지 및 본문 내용 출처는 아래 링크이다. 2018년도 글. medium.com/nanonets/how-to-do-image-segmentation-using-deep-learning-c673cc5862ef 2020년도 글. medium.com/technovators/everything-you-need-to-know-about-image-segmentation-c684a3a61df7 개인적으로 두번째 글이 많은 연구를 커버한.. 2021. 2. 15. panoptic-deeplab 코드 리뷰 github.com/bowenc0221/panoptic-deeplab bowenc0221/panoptic-deeplab This is Pytorch re-implementation of our CVPR 2020 paper "Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation" (https://arxiv.org/abs/1911.10194) - b... github.com 이 코드를 돌릴거고, COCO dataset에서 시도하고 있다. 시작하기에 앞서, 데이터셋을 다운받은 후 이 코드에서 말하는 규칙대로 데이터셋 path를 설정해준다. 내 경우에는 데이터셋이 저장된 서버에 sudo권한이 없어서 디렉토.. 2021. 2. 4. Panoptic Segmentation COCO dataset 살펴보기 panoptic segmentation 논문들을 대략 살펴보면서 panoptic deeplab을 돌리기 위해 COCO dataset을 보고있다. 원래 COCO는 detection, keypoint, dense pose, panoptic 이렇게 여러가지 task에 적용될 수 있도록 어노테이션이 되어있다. 아래 링크로 들어가면 COCO dataset의 panoptic segmentation 페이지로 갈 수 있다. cocodataset.org/#panoptic-2020 COCO - Common Objects in Context cocodataset.org Class? Semantic, Instance Segmentation을 동시에 해야하는데, 그래서 stuff와 thing class들을 각각 판단해야한다. .. 2021. 2. 3. A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation (Panoptic Deeplab) 리뷰 구글 리서치에서 나온 논문. 저번 포스팅에서 서베이하며 언급한 논문이다. arxiv.org/pdf/1911.10194.pdf Abstract 이 논문에서는 Panoptic-DeepLab이라는 모델을 제시한다. 이 논문의 특징은 bottom-up 구조라는 것. 먼저 Semantic Segmentation branch. 여기서는 dual ASPP 사용하는데, 이전의 DeepLab스러운 방법이라고 한다. 그리고 Instance Segmentation branch. 여기서는 dual decoder. class agnostic이고, 가볍게 instance center regression도 한다. Dataset은 Cityscapes, evaluation metric은 mIoU, AO, PQ. (testset에서.).. 2021. 2. 2. 이전 1 2 다음 반응형
