반응형 AIML 분야/self supervised, Learning Theory 등8 [Continual Learning 조사 1] 마구잡이로 찾아보는 글 요즘 딥러닝이 슬슬 연구단에서 넘어가 애플리케이션화 되면서 continual learning과 같은 개념에 관심이 더 많아지는 듯 하다. 이러한 수요를 대변하듯, 2022년 올해 CVPR 워크샵 기준으로 이 주제를 다루는 곳이 2군데가 있다. 'Visual Perception and Learning in an Open World' 라는 CVPR 워크샵은 올해가 두번째로 개최된다. CVPR 2022 Workshop on Continual Learning (CLVision) 또한 올해가 3번째이다. 따끈따끈 하구만. 올해 워크샵을 이것저것 찾아보는데 재밌어 보이는 주제 중 하나가 continual learning인지라 이 분야에 대한 조사를 (이제부터 글쓰면서) 시작하였다. Continual Learning.. 2022. 3. 31. [2021.03.08 연구노트] KD, Semi-Supervised Learning에 대한 고민 현황 현재 Active Learning 연구를 하고 있다. 일반적인 active learning처럼 각 learning cycle마다 다른 데이터를 고르도록 한다. 다시 학습하는김에(weight init하진 않으나) 이전 learning cycle의 lash epoch을 teacher로 삼고 knowledge distillation을 하여 Born Again Neural Network처럼 동작하도록 만들었다. 그 과정에서 각 Learning cycle에 student model이 어떻게 학습되는지에 대해 이런저런 실험을 하고 있다. [선택 1] unlabeled pool에 있는 데이터를 활용한 semi-supervised learning. 간단하게 teacher의 output을 soft label로 사용.. 2021. 3. 8. [Active Learning] A Survey of Deep Active Learning 읽기 "A Survey of Deep Active Learning" arxiv.org/pdf/2009.00236.pdf 와! 서베이 논문이 나왔다! 2020년 9월이니까 완전 최근이다. active learning 그냥 필요하니까 했던게 끝이라 method별로 카테고라이징이 잘 안 되었는데, 서베이 논문 한번 가볍게 살펴보면서 잡아줘야겠다. 물론 분량은 가볍지 않다. 30페이지. 읽어보니까 뇌 빼고 읽기보다는 정독해야겠다. active learning을 처음 하는 경우에는 이 논문으로 쭈욱 정리하고 시작하면 좋을 것 같다. 아래 그림에서 딥러닝 모델, pool based approach, 일반적인 프레임워크에 대해 설명하고 있다. 그림을 보니 pool-based가 아닌 게 있던가 의문이 든다. 논문에 의하면 .. 2021. 2. 23. [Active Learning] 서베이 하기 2021/2/23, 오늘부터 deep active learning에 대해 조사하려고 한다. 다시 연구하니까 막상 또 아이디어가 안 떠오른다. 슬픈 마이너 분야답게 마지막으로 업데이트된 레포가 7개월 전의 것이다. 빠르게 포기하고 아카이브를 뒤져보도록 하자. 제외 목록 가급적이면 베이지안은 아니었으면 좋겠다. 베이지안이라고 하면서 그냥 dropout 넣지 말라구. image classification이 아닌 분야면 좋다. 강화학습은 모르므로 일단 거른다. image classification에서 했더라해도 유명한 곳에 accept된 논문이면 좋음. 이미 읽은 논문 X augmentation 기반 X 내 경우에는 이거 데이터 불어나면 참사가 일어난다... 실험이 안끝날지도 모른다. 그래서 무작정 아카이브를 .. 2021. 2. 23. [연구 노트] Deep Active Learning 베이스라인 코드 리뷰 + 내 연구 Active Learning 연구를 예전에 했었는데 코드를 다 까먹었다. 액티브러닝만 할건 아니고 수술 영상에서 조금 특이한 연구(??)를 진행하려고 하는데, 구현할때 마음에 안들만한 구석이 있을지(?) 싶어서 기억을 더듬어 이 코드부터 다시 뜯어보려고 한다. 예전에 이걸 참고해서 짰어서. 코드 보면서 쓰는 글. 아래 코드를 보고있다. github.com/ej0cl6/deep-active-learning ej0cl6/deep-active-learning Deep Active Learning. Contribute to ej0cl6/deep-active-learning development by creating an account on GitHub. github.com Step 1. 어떻게 동작하는지 알아야.. 2021. 1. 15. Self-Supervised Learning 몰라서 공부하는 글 참고해볼 자료 모음 medium.com/vitrox-publication/understanding-circle-loss-bdaa576312f7 Siamese Net, Triplet Loss, and Circle Loss Explained. Understanding “Circle Loss: A Unified Perspective of Pair Similarity Optimization” Pap medium.com www.youtube.com/watch?v=C4UQWJcp7w4 www.youtube.com/watch?v=sVKE7CMDd_o 먼저 영상부터 보고 있다. Self-supervised learning에 대한 CVPR 2020 튜토리얼이다. 약 한시간짜리. 당연히 labeled data가 좋지만, .. 2020. 12. 21. [20201221] active learning, self supervised learning, 비디오 연구에 대해서 생각하기 일단 baseline으로는 두개의 논문으로 지정했다. 하나는 AL+KD이며, 다른 하나는 Task-Aware Video CSL 이라고 하자. 먼저 각각의 특징. Task-aware Video CSL 아이디어 관점 self-supervised learning. task-aware한 temporal augmentation이 도움이 된다. 단, 모든 pretext task가 도움이되는 것은 아니며, 연산 cost를 생각해야한다고 언급한다. 내가 이 연구를 좋아하는 이유는, video domain에 augmentation한다는 아이디어에 굉장히 회의적이었던 시각을 바꿔줬기 때문이다. semantic이 훼손되면 비디오는 아예 의미없음이 아니라 class 자체가 바뀔 수 있기 때문에 학습에 노이즈가 되어버린다고 생.. 2020. 12. 21. (작성중) Circle Loss 논문 읽는 중 논문을 읽게된 계기 pair-wise loss가 요즘 핫한것같은데 잘 몰라서 구경. 그런데 이번 cvpr에 이에 대한 unified perspective를 제시한다는 제목을 보고 궁금해서 읽게됨. 읽는 목적 - 저 주제에 대한 두루뭉술한 배경지식 습득 - 내 분야에 써먹을 생각 해보기 읽는 동시에 쓰는 글이라 의식의 흐름임. 정보전달 목적 X 이걸 참고하도록 하자. medium.com/vitrox-publication/understanding-circle-loss-bdaa576312f7 Siamese Net, Triplet Loss, and Circle Loss Explained. Understanding “Circle Loss: A Unified Perspective of Pair Similarity .. 2020. 12. 16. 이전 1 다음 반응형
