반응형 아무 말204 [20201221] active learning, self supervised learning, 비디오 연구에 대해서 생각하기 일단 baseline으로는 두개의 논문으로 지정했다. 하나는 AL+KD이며, 다른 하나는 Task-Aware Video CSL 이라고 하자. 먼저 각각의 특징. Task-aware Video CSL 아이디어 관점 self-supervised learning. task-aware한 temporal augmentation이 도움이 된다. 단, 모든 pretext task가 도움이되는 것은 아니며, 연산 cost를 생각해야한다고 언급한다. 내가 이 연구를 좋아하는 이유는, video domain에 augmentation한다는 아이디어에 굉장히 회의적이었던 시각을 바꿔줬기 때문이다. semantic이 훼손되면 비디오는 아예 의미없음이 아니라 class 자체가 바뀔 수 있기 때문에 학습에 노이즈가 되어버린다고 생.. 2020. 12. 21. 20201221 연구노트 보호되어 있는 글 입니다. 2020. 12. 21. [20201218] 경제 뉴스 구경한 것 + 아무말 보호되어 있는 글 입니다. 2020. 12. 18. [20201217] arxiv sanity page 잠깐 살펴보기 보겠다 보겠다 했지만 드디어 들어가봤다. 사실 circle loss논문이랑 robust learning through cross-task consistency, 그리고 하나 골라놨던 논문 세개 중에서 읽으려고 했는데 어제오늘 내리 논문을 리뷰한터라 머리에서 글자를 뱉고 있다. 사망한 집중력을 복구하기 위해 arxiv sanity 페이지 오늘 기준 동향을 살펴보도록 하자. 재밌어보이는 키워드만 가져왔다. 한달 기준 Computer Vision에서 가장 인기 있었던건 "Exploring Simple Siamese Representation Learning" 이다. "MicroNet: Towards Image Recognition with Extremely Low FLOPs"도 상위 랭크에 올랐다. 이렇게 두.. 2020. 12. 17. Filter Response Normalization Layer (FRN) 논문 대략 읽기 최근 CVPR 2020 oral paper 위주로 서베이를 진행중인데, 그중에서 ML architecture & formulation 분야에 해당하는 논문이다. google research에서 나온 논문. 논문 읽는 목표? - Batch Normalization 맨날 쓰기만 했지 잘 모른다. 관련 연구는 하나도 모르고. - 수식까지 잘 이해할 수 있을거라고 기대하진 않음. 최소한 여기 연구 동향이 어떤지 구경하자는 가벼운 마음으로 접했다. Abstract 우선, Batch Normalization은 mini-batch단위의 statistics을 이용하여 activation을 normalize하는 기법이다. 당연히 전체 데이터의 statistics 반영 못하니까 가급적 큰 배치가 필요하고, 그게 힘드니까 .. 2020. 12. 17. 20201217 연구노트 보호되어 있는 글 입니다. 2020. 12. 17. Data-Efficient KD from a blackbox model 논문 읽기 "Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a BlackBox Model" (CVPR 2020) 위 논문을 읽어보려고 방금 골랐음. 왕재밌는 논문이다. arxiv.org/pdf/2003.13960v1.pdf github에 코드, 모델이 곧 공개된다고 한다. (근데 레포 만든지 9달이나 지났는데...?) github.com/dwang181/active-mixup 이 논문을 읽으며 주목하여 보려는 점은, 1. 이런 신기한(?) 셋팅에서 시나리오를 어떻게 설정하고 실험을 전개했나? 완전히 정형화된 task를 하는 게 아니라, 정말 .. 2020. 12. 16. (작성중) Circle Loss 논문 읽는 중 논문을 읽게된 계기 pair-wise loss가 요즘 핫한것같은데 잘 몰라서 구경. 그런데 이번 cvpr에 이에 대한 unified perspective를 제시한다는 제목을 보고 궁금해서 읽게됨. 읽는 목적 - 저 주제에 대한 두루뭉술한 배경지식 습득 - 내 분야에 써먹을 생각 해보기 읽는 동시에 쓰는 글이라 의식의 흐름임. 정보전달 목적 X 이걸 참고하도록 하자. medium.com/vitrox-publication/understanding-circle-loss-bdaa576312f7 Siamese Net, Triplet Loss, and Circle Loss Explained. Understanding “Circle Loss: A Unified Perspective of Pair Similarity .. 2020. 12. 16. 20201215 연구노트 보호되어 있는 글 입니다. 2020. 12. 15. 적당히 살펴본 Spatiotemporal Fusion in 3D CNNs: A Probabilistic View 이번 CVPR 논문 중에서 구경해볼 논문. 역시 읽는 동시에 작성하는 글이라 의식의 흐름대로 메모하였다. 논문이 꽤 어려워보여서 내가 빠르게 이해할 수 있을진 모르겠다. 아마 대충 볼지도...? => 읽다보니까 내가 궁금한 것들을 제공하는 논문은 아니라서 대략 읽고 스킵했다. 읽다가 그만 둔 이유 확률적으로 temporal/spatial한 중요도를 잘 분석했을거라 생각했는데, 그냥 NAS논문이랑 비슷하다. 다시말해, 역시 아키텍쳐를 어떻게 구성하느냐에 대한 논문이라는 것이다. 현재 관심있는건 spatial/temporal 정보를 요즘 논문들이 어떻게 처리하느냐이다 Related work에 NAS는 없지만 droppath 자체가 NAS에서 언급이 몇번 되었던 논문. 요약 2D/1D로 temporal/spa.. 2020. 12. 14. Contrastive Learning + Video 논문 나온거 읽어보기 논문 읽는 동시에 정리하는 글. 존홉이랑 페북에서 나온 논문. arxiv.org/pdf/2011.13046v1.pdf unsupervised / self-supervised / contrastive loss 이런 것들 제대로 안 다뤄봐서 논문 자세히 읽는건 처음이다. 뭐 몇개 읽으면 익숙해 지겠지. 요약 아무튼 여기서 핵심은, 여러 temporal augmentation을 적용한 것들이 원본과 시맨틱이 일치하는쪽으로 contrastive learning을 하는 게 중요하다는 것이다. Temporal augmentation은 temporal information 배우는데에 도움이 된다. 하지만, 무슨 일이 일어나는지 인지하고 있어야 (aware of) 도움이 되며, 그냥 적용하는건 도움이 안된다. task.. 2020. 12. 14. 20201214 연구노트 보호되어 있는 글 입니다. 2020. 12. 14. 20201210 연구노트 보호되어 있는 글 입니다. 2020. 12. 10. 20201209 시황 보호되어 있는 글 입니다. 2020. 12. 9. 20201209 연구노트 보호되어 있는 글 입니다. 2020. 12. 9. 이전 1 ··· 10 11 12 13 14 다음 반응형
