반응형 AIML 분야102 [20201223] Journal Club - DL based multi-organ segmentation 들으면서 필기한 것. 요즘 딥러닝을 활용한 다양한 모델 기반의 접근방식이 있다고 한다. 음 그냥 많은 접근 방식으로 요즘에 하는구나 싶었다. 이 분야는 안해서 모르겠지만. AE stacked라서 앞에 것을 학습하고 프리징하는 게 필요해서 연산이 많이 든다고 한다. CNN FCN : 보통 3d volume을 많이 사용한다고 함. UNet - 패치 크기. skip connection 사용. VNet, cascade UNet 이런걸 사용. 최근 연구들. GAN - Generator : segmentation을 함. - Discriminator : 보정을 하는 역할! - 일반적인 GAN과는 다르기 때문에 로스도 다르다. SCAN (structured correcting adversarial network) UN.. 2020. 12. 23. Learning Correspondence from the Cycle-consistency of Time arxiv.org/pdf/1903.07593.pdf video self-supervised learning 문제를 풀려면 뭐 아이디어 없나? 싶어서 고른 논문. 창작의 고통... CVPR 19 oral paper이며, 깃허브에 코드가 공개되어있다. 저번에 리뷰한 task-aware한 video CSL 논문이 이 논문을 인용하였다. 아직 논문 리뷰 게시글 쓴걸 읽어도 좀 알아보기 어려운데, 많이 쓰면 언젠가 늘지 않을까...? 사실 글자가 잘 안읽혀서 쓰면서 논문을 읽는거지만... ajabri.github.io/timecycle/ Learning Correspondence from the Cycle-Consistency of Time Xiaolong Wang*, Allan Jabri*, Alexei A. .. 2020. 12. 22. Self-Supervised Learning 몰라서 공부하는 글 참고해볼 자료 모음 medium.com/vitrox-publication/understanding-circle-loss-bdaa576312f7 Siamese Net, Triplet Loss, and Circle Loss Explained. Understanding “Circle Loss: A Unified Perspective of Pair Similarity Optimization” Pap medium.com www.youtube.com/watch?v=C4UQWJcp7w4 www.youtube.com/watch?v=sVKE7CMDd_o 먼저 영상부터 보고 있다. Self-supervised learning에 대한 CVPR 2020 튜토리얼이다. 약 한시간짜리. 당연히 labeled data가 좋지만, .. 2020. 12. 21. [20201221] active learning, self supervised learning, 비디오 연구에 대해서 생각하기 일단 baseline으로는 두개의 논문으로 지정했다. 하나는 AL+KD이며, 다른 하나는 Task-Aware Video CSL 이라고 하자. 먼저 각각의 특징. Task-aware Video CSL 아이디어 관점 self-supervised learning. task-aware한 temporal augmentation이 도움이 된다. 단, 모든 pretext task가 도움이되는 것은 아니며, 연산 cost를 생각해야한다고 언급한다. 내가 이 연구를 좋아하는 이유는, video domain에 augmentation한다는 아이디어에 굉장히 회의적이었던 시각을 바꿔줬기 때문이다. semantic이 훼손되면 비디오는 아예 의미없음이 아니라 class 자체가 바뀔 수 있기 때문에 학습에 노이즈가 되어버린다고 생.. 2020. 12. 21. Filter Response Normalization Layer (FRN) 논문 대략 읽기 최근 CVPR 2020 oral paper 위주로 서베이를 진행중인데, 그중에서 ML architecture & formulation 분야에 해당하는 논문이다. google research에서 나온 논문. 논문 읽는 목표? - Batch Normalization 맨날 쓰기만 했지 잘 모른다. 관련 연구는 하나도 모르고. - 수식까지 잘 이해할 수 있을거라고 기대하진 않음. 최소한 여기 연구 동향이 어떤지 구경하자는 가벼운 마음으로 접했다. Abstract 우선, Batch Normalization은 mini-batch단위의 statistics을 이용하여 activation을 normalize하는 기법이다. 당연히 전체 데이터의 statistics 반영 못하니까 가급적 큰 배치가 필요하고, 그게 힘드니까 .. 2020. 12. 17. Data-Efficient KD from a blackbox model 논문 읽기 "Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a BlackBox Model" (CVPR 2020) 위 논문을 읽어보려고 방금 골랐음. 왕재밌는 논문이다. arxiv.org/pdf/2003.13960v1.pdf github에 코드, 모델이 곧 공개된다고 한다. (근데 레포 만든지 9달이나 지났는데...?) github.com/dwang181/active-mixup 이 논문을 읽으며 주목하여 보려는 점은, 1. 이런 신기한(?) 셋팅에서 시나리오를 어떻게 설정하고 실험을 전개했나? 완전히 정형화된 task를 하는 게 아니라, 정말 .. 2020. 12. 16. (작성중) Circle Loss 논문 읽는 중 논문을 읽게된 계기 pair-wise loss가 요즘 핫한것같은데 잘 몰라서 구경. 그런데 이번 cvpr에 이에 대한 unified perspective를 제시한다는 제목을 보고 궁금해서 읽게됨. 읽는 목적 - 저 주제에 대한 두루뭉술한 배경지식 습득 - 내 분야에 써먹을 생각 해보기 읽는 동시에 쓰는 글이라 의식의 흐름임. 정보전달 목적 X 이걸 참고하도록 하자. medium.com/vitrox-publication/understanding-circle-loss-bdaa576312f7 Siamese Net, Triplet Loss, and Circle Loss Explained. Understanding “Circle Loss: A Unified Perspective of Pair Similarity .. 2020. 12. 16. 적당히 살펴본 Spatiotemporal Fusion in 3D CNNs: A Probabilistic View 이번 CVPR 논문 중에서 구경해볼 논문. 역시 읽는 동시에 작성하는 글이라 의식의 흐름대로 메모하였다. 논문이 꽤 어려워보여서 내가 빠르게 이해할 수 있을진 모르겠다. 아마 대충 볼지도...? => 읽다보니까 내가 궁금한 것들을 제공하는 논문은 아니라서 대략 읽고 스킵했다. 읽다가 그만 둔 이유 확률적으로 temporal/spatial한 중요도를 잘 분석했을거라 생각했는데, 그냥 NAS논문이랑 비슷하다. 다시말해, 역시 아키텍쳐를 어떻게 구성하느냐에 대한 논문이라는 것이다. 현재 관심있는건 spatial/temporal 정보를 요즘 논문들이 어떻게 처리하느냐이다 Related work에 NAS는 없지만 droppath 자체가 NAS에서 언급이 몇번 되었던 논문. 요약 2D/1D로 temporal/spa.. 2020. 12. 14. Contrastive Learning + Video 논문 나온거 읽어보기 논문 읽는 동시에 정리하는 글. 존홉이랑 페북에서 나온 논문. arxiv.org/pdf/2011.13046v1.pdf unsupervised / self-supervised / contrastive loss 이런 것들 제대로 안 다뤄봐서 논문 자세히 읽는건 처음이다. 뭐 몇개 읽으면 익숙해 지겠지. 요약 아무튼 여기서 핵심은, 여러 temporal augmentation을 적용한 것들이 원본과 시맨틱이 일치하는쪽으로 contrastive learning을 하는 게 중요하다는 것이다. Temporal augmentation은 temporal information 배우는데에 도움이 된다. 하지만, 무슨 일이 일어나는지 인지하고 있어야 (aware of) 도움이 되며, 그냥 적용하는건 도움이 안된다. task.. 2020. 12. 14. Cosine Annealing 사용해보는 기록 서치해도 잘 없길래 걍 써봄. 사용 계기 1. 내 모델이랑 SlowFast를 비교해야한다. pre-training 없이 작은 데이터셋에서 비교하는중. 2. 근데 내 환경에서 slowfast 성능이 너무 구리다. ResNet이랑 비슷하거나 더 안나오기도 한다. ㄱ-? 3. learning scheduler가 달랐지! 혹시나해서 내 모델과 slowfast 모두 pleatau를 사용하도록 실험도 해봤지만, 그냥 둘다 underfitting 될 뿐이었다. 튜닝을 하라면 하겠지만 일단 slowfast 성능 영끌이 필요한 관계로, 바로 half cosine을 찾기 시작했다. 조사 SlowFast 논문 - half cosine scheduler를 사용했다고 언급. SGDR 논문을 인용하면서. - 이 스케줄러의 bas.. 2020. 12. 4. Kinetics 학습 삽질 과정 (진행중) 비디오를 처음 해보니 슬픈 일이 벌어졌다. 사실 something-something이랑 jester를 쓰고 싶었는데 데이터셋 유료화되었다. 굉장히 눈물이 났다. 돈이 없어서... 지피유가 없어서... 중간 규모의 데이터셋을... 쓰려는데요... 데이터셋이... 유료에요... 상황 원래 Kinetics400을 돌리려고 했다. [문제 1] 크롤링을 하자 ActivityNet 공식코드 (youtube-dl 쓰는 그거), youtube crawler 다른거 (이름 까먹음) 둘다 써봤다. 그런데 2-3일정도 지나면 "HTTP too many requests error" 발생. 아무래도 ip를 바꾸거나 해서 시도해야할 것 같은데, 데이터 양이 방대해서 일일이 하기 번거롭다. 오래 걸리고. 진짜 몇번을 시도했는데 이.. 2020. 12. 4. [ViT 논문] Image Recognition without CNNs? - Transformer! 이 논문 막 읽기 시작했다. 원래 논문을 구글독스에 주절거리며 읽는 편이라 그냥 여기다 썼다. 의식의 흐름대로 논문 읽어보기. Title : AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE https://openreview.net/pdf?id=YicbFdNTTy ICLR 2021 리뷰중이라는 논문. Transformer만 사용해서 이미지처리를 한다?! 1. 원래 이럴땐 성능부터 보는거다. Accuracy를 보자. 보고왔는데 그냥 그렇다. ResNet, EfficientNet이랑 비교한 것 처럼 나와있는데 EfficientNet은 비어있는 것도 많다. 그리고 ResNet152도 아니고 ResNet152x4는 뭐지? 설명 .. 2020. 10. 30. 이전 1 ··· 4 5 6 7 다음 반응형
