본문 바로가기
반응형

AIML 분야102

[2021.03.08 연구노트] KD, Semi-Supervised Learning에 대한 고민 현황 현재 Active Learning 연구를 하고 있다. 일반적인 active learning처럼 각 learning cycle마다 다른 데이터를 고르도록 한다. 다시 학습하는김에(weight init하진 않으나) 이전 learning cycle의 lash epoch을 teacher로 삼고 knowledge distillation을 하여 Born Again Neural Network처럼 동작하도록 만들었다. 그 과정에서 각 Learning cycle에 student model이 어떻게 학습되는지에 대해 이런저런 실험을 하고 있다. [선택 1] unlabeled pool에 있는 데이터를 활용한 semi-supervised learning. 간단하게 teacher의 output을 soft label로 사용.. 2021. 3. 8.
Implicit Regularization in Tensor Factorization 읽으면서 쓰는 글. 중간에 드랍할 수 있음. 이해한 바를 토대로 작성했으며 직역/뇌내 해석이다. 최근 arxiv sanity에 top recent라서 가져왔다. 이름부터 심상치 않은 개념을 담고 있을 것 같은 느낌이 드는 논문이다. arxiv.org/pdf/2102.09972.pdf 신기하게도 코드까지 있다. github.com/noamrazin/imp_reg_in_tf 우선 이 논문은 implicit regularization(-> generalization)에 대한 논문이다. 참고로 아래부터 계속 언급할 텐서는 Domain X를 의미한다. tensor factorization이라는 방법을 사용하는 것 같은데, 어떻게 텐서를 분해하겠다는건지 아직은 모르겠으나, 어떤 텐서가 담고 있는 정보의 내재적인 요.. 2021. 3. 4.
[2021.02.24 연구일지] COCO Stuff에서 HRNet V2 + OCR 돌리기 방금 LIP dataset으로 HRNet V2 + OCR을 돌리고 오는 길이다. coco panoptic은 저번에 panoptic-deeplab 돌려야해서 써봤는데 stuff는 써본 적이 없다. 아래 링크를 그냥 읽고 따라하기만 해도 될 것 같아서 한번 둘러보면서 쓰는 글. github.com/nightrome/cocostuff nightrome/cocostuff The official homepage of the COCO-Stuff dataset. Contribute to nightrome/cocostuff development by creating an account on GitHub. github.com 용량은 18GB 정도로 크게 부담은 없다. 0-182, 중간에 빠지는 번호가 있어 총 172개의.. 2021. 2. 24.
[Active Learning] A Survey of Deep Active Learning 읽기 "A Survey of Deep Active Learning" arxiv.org/pdf/2009.00236.pdf 와! 서베이 논문이 나왔다! 2020년 9월이니까 완전 최근이다. active learning 그냥 필요하니까 했던게 끝이라 method별로 카테고라이징이 잘 안 되었는데, 서베이 논문 한번 가볍게 살펴보면서 잡아줘야겠다. 물론 분량은 가볍지 않다. 30페이지. 읽어보니까 뇌 빼고 읽기보다는 정독해야겠다. active learning을 처음 하는 경우에는 이 논문으로 쭈욱 정리하고 시작하면 좋을 것 같다. 아래 그림에서 딥러닝 모델, pool based approach, 일반적인 프레임워크에 대해 설명하고 있다. 그림을 보니 pool-based가 아닌 게 있던가 의문이 든다. 논문에 의하면 .. 2021. 2. 23.
[Active Learning] 서베이 하기 2021/2/23, 오늘부터 deep active learning에 대해 조사하려고 한다. 다시 연구하니까 막상 또 아이디어가 안 떠오른다. 슬픈 마이너 분야답게 마지막으로 업데이트된 레포가 7개월 전의 것이다. 빠르게 포기하고 아카이브를 뒤져보도록 하자. 제외 목록 가급적이면 베이지안은 아니었으면 좋겠다. 베이지안이라고 하면서 그냥 dropout 넣지 말라구. image classification이 아닌 분야면 좋다. 강화학습은 모르므로 일단 거른다. image classification에서 했더라해도 유명한 곳에 accept된 논문이면 좋음. 이미 읽은 논문 X augmentation 기반 X 내 경우에는 이거 데이터 불어나면 참사가 일어난다... 실험이 안끝날지도 모른다. 그래서 무작정 아카이브를 .. 2021. 2. 23.
[Semantic Segmentation 조사 3] Object-Contextual Representations for Semantic Segmentation 리뷰 그 OCR이 아니고 다른 OCR이다. HRNet V2과 OCR을 같이 사용하는 조합이 자주 보이는데, 도대체 뭔지 궁금해서 리뷰하려고 한다. ResNeSt backbone 또한 사용되고 있긴 하지만, 아무튼 HRNet, OCR, deeplab 정도 공부하면 최근 논문의 어느정도는 봤다고 할 수 있을 것 같다. "Object-Contextual Representations for Semantic Segmentation" ECCV 20 세번째 링크로 들어가면 pretrained model 제공 한다! 바이두에만 있는줄 알고 식겁했다. arxiv.org/pdf/1909.11065v5.pdf github.com/openseg-group/openseg.pytorch/tree/pytorch-1.7 github.co.. 2021. 2. 22.
[Semantic Segmentation ] HRNet V2 실험 및 코드 github.com/HRNet/HRNet-Semantic-Segmentation/tree/pytorch-v1.1 이걸 돌려보려고 한다. HRNet V2 논문에서는 semantic segmentation 실험을 3가지 데이터셋에서 했다. Cityscapes, LIP, PASCAL-Context이다. Cityscapes 5000 장의 이미지에 대해서 pixel level로 전체 scene에 어노테이션이 되어있다. finely-annotated image의 train:val:test 개수는 각각 2975:500:1525이다. 30개의 클래스가 있는데, evaluation에는 이중에서 19개의 클래스만 쓴다고 한다. www.cityscapes-dataset.com/benchmarks/#scene-labeling.. 2021. 2. 18.
[Semantic Segmentation 조사 2] Deep High-Resolution Representation Learning for Visual Recognition (HRNet V2) 두번째 semantic segmentation 논문이다. FastFCN, HRNet, OCR 순으로 읽어볼 것이다. 또한, panoptic 분야이지만 EfficientPS와 Panoptic deeplab 또한 살펴볼 것이다. 이전 포스트에서 FastFCN, panoptic deeplab은 이미 리뷰를 마쳤다. 이런 논문을 선정한 이유는 다음과 같다. 아래는 Cityscapes semantic segmentation 벤치마크이다. HRNet, OCR 키워드가 가장 많이 보인다. 의외인점은 panoptic deeplab과 EfficientPS가 있는건데, 이건 분명 panoptic segmentation 논문인데 시맨틱에서 상위권에 있다. 그래서 이 두가지도 같이 보려고 한다. COCO stuff에서도 마찬.. 2021. 2. 17.
Segmentation Evaluation Metrics 몰라서 기록하는 글. Panoptic Segmentation 논문 한편을 리뷰했는데 여기서는 PQ, mIoU, AP를 사용했었다. Semantic Segmentation 논문을 방금 리뷰했는데, 여기서는 mIoU와 pixel Accuracy를 사용했다. 한번 찾아보자. 아래 글에 잘 정리가 되어있고, 나는 그저 요약만 적을 뿐이다. medium.com/@danielmechea/panoptic-segmentation-the-panoptic-quality-metric-d69a6c3ace30 kharshit.github.io/blog/2019/10/18/introduction-to-panoptic-segmentation-tutorial www.groundai.com/project/panoptic-segment.. 2021. 2. 16.
[Semantic Segmentation 조사 1] FastFCN 리뷰 당분간 Semantic Segmentation 최근 논문들을 살펴보고 실험할 예정이다. 각각 논문 contribution이 다르니 이것저것 조합하여 최적의 성능을 내는 것이 목표이다. FastFCN은 저번 서베이에서 언급된 논문인데, 최신 모델이면서도 예전 FCN과 DilatedFCN에 대한 문제지적 덕분에 semantic segmentation을 처음 공부하는중에 이해가 많이 되어 추가하였다. FastFCN arxiv.org/pdf/1903.11816.pdf github.com/wuhuikai/FastFCN 일단 이 논문을 아주 짧게 요약하자면 이러하다. "원래 semantic segmentation에서 dilation을 쓰는 이유가 연산 코스트 때문이었잖음? 그래서 여기선 JPU를 제안해서 upsam.. 2021. 2. 16.
[2021.02.16. 연구노트] 깨알같은 디버깅 - panoptic deeplab official 코드는 아닌데, 페북같은데서 짠건지 엄청 잘 정리된 코드를 베이스로 돌리고 있다. MultiGPU면 Distributed 처리를 하도록 코드가 짜여있는데, single machine multiGPU로 고쳤다. 저번에 이것때문에 DataParallel()이랑 distributed의 차이를 찾아봤었던 것. 학습초반 조금 살펴보기 별거 없었던 디버깅 과정 1. 일단은 distributed 처리는 안되게 바꾼다. single machine에서도 distributed 처리는 할 수 있지 않을까? 그런데 나는 그냥 그렇게 안했다. 왜냐면 포트 번호, addr 이런데에 뭘 적어줘야하는지 모르기 때문. localhost로 적고 포트는 아무거나 때려넣었더니 계속 기다리기만 하는 상황이 벌어졌다. 2. n.. 2021. 2. 16.
[연구노트] Semantic Segmentation 살펴보기 팬옵틱에 이어 시맨틱 세그멘테이션 공부가 필요해져 오늘 서베이를 시작했다. Semantic segmentation은 픽셀단위의 classification이라고 보면 될 것 같다. semantic segmentation에서 주로 무슨 모델을 쓰고있는지를 몰라서 아래 글을 읽고 있다. 이미지 및 본문 내용 출처는 아래 링크이다. 2018년도 글. medium.com/nanonets/how-to-do-image-segmentation-using-deep-learning-c673cc5862ef 2020년도 글. medium.com/technovators/everything-you-need-to-know-about-image-segmentation-c684a3a61df7 개인적으로 두번째 글이 많은 연구를 커버한.. 2021. 2. 15.
[연구노트] CNN 안쓰는 3D Transformer를 만들어봤음 (for video action recognition) 잘 되었다면 아마 이 글을 안쓰고 논문으로 썼겠지. 음. ViT 기반에다가 나름의 아이디어를 추가한거기 때문에 구현은 딱히 별거 없었음. 물론 추가 아이디어로 계획해놨던게 있고, 이걸로 개선이 있을 것으로 보이지만 초기 실험결과가 너무 슬펐기 때문에 실험을 더 하진 않을 것 같음. GPU가 모자라. + pretrained model을 직접 만드는 게 얼마나 끔찍한(?) 일인지 저번 연구로 알게되어서, 당분간 아키텍쳐를 직접 만드는 짓은 하지 않을 것 같다. 특히 비디오 데이터셋에서! 결과. 내 실험에서는 CNN 아예 안씀. 최근에 temporal GAP를 transformer로 대체한 연구는 있었는데, CNN을 아예 안쓴 연구는 아직까지 안보임. 학습이 안 되지는 않음. 분명히 성능은 오르고 있다. SV.. 2021. 2. 14.
[Large-scaled video dataset 학습하기] Kinetics700 pretrained model 만들기 (feat. opencv deadlock) Large-scaled video dataset을 직접 학습할 때 발생할 수 있는 거의 모든 문제를 겪어본 것 같다. video 데이터를 다루는 첫 연구부터 뭣모르고 백본을 만드는 바람에... 이런 상황이 발생했는데, 만약에 비슷한 이슈가 발생한다면 이 삽질과정과 비슷한 해결법을 통해 디버깅이 가능할것 같다. 고려해야할 것 요약 용량 엄청나게 넉넉한거 아니면 프레임 직접 잘라서 저장할 생각은 버리는 게 좋다. 자르는 시간도 엄청나게 오래걸리며, 데이터 꽉꽉 차니까 접근 시간도 기분탓인지 더 걸리는 듯 하다. raid는 용량이 제한되어있으니 저장하기가 조금 꺼려졌다. 비우려고 하면 비울 수는 있겠는데, 지금 이거 하나만 하는 게 아닌데 키네틱스 하나가 엄청나게 잡아먹게 하는 상황을 만들고싶진 않았다. ra.. 2021. 2. 4.
panoptic-deeplab 코드 리뷰 github.com/bowenc0221/panoptic-deeplab bowenc0221/panoptic-deeplab This is Pytorch re-implementation of our CVPR 2020 paper "Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation" (https://arxiv.org/abs/1911.10194) - b... github.com 이 코드를 돌릴거고, COCO dataset에서 시도하고 있다. 시작하기에 앞서, 데이터셋을 다운받은 후 이 코드에서 말하는 규칙대로 데이터셋 path를 설정해준다. 내 경우에는 데이터셋이 저장된 서버에 sudo권한이 없어서 디렉토.. 2021. 2. 4.
반응형

티스토리툴바