반응형 AIML 분야/KD, MultiTask, Foundation Model, Fusion등10 [논문 읽기] DALLE 읽으면서 쓰는 글 보호되어 있는 글 입니다. 2022. 7. 26. [논문 읽기] Hierarchical Text-ConditionalImage Generation with CLIP Latents (DALLE 2) 보호되어 있는 글 입니다. 2022. 7. 26. [논문 읽음] Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillation 보호되어 있는 글 입니다. 2022. 7. 26. [그냥 뭔지 찾아보기] CLIP: Connecting Text and Images 혹은 Contrastive Language-Image Pre-training. 뭐죠? OpenAI에서 만들었다. natural language supervision으로 부터 시각적인 개념들을 효율적으로 배울 수 있는 네트워크이다. 원논문은 무진장 길기 때문에... 그냥 웹사이트를 봐주도록 하자. 왜 했죠? 아직까지 딥러닝은 transfer learning이 잘 안된다. 특정 태스크를 잘하기 위해 어노테이션이 많이 필요한데, 다른 분야로 확장하려고 하면 또 성능이 안좋다. 논문에서는 어떻게 했냐면, generalization and transfer를 잘 하기 위해서 natural language를 flexible prediction space로 봤다! 이런 문제를 해결하기 위해서, 웹에 있는 이미지와 자연.. 2021. 12. 15. [Surgical Vision + Transfer Learning] Cross-surgery transfer learning for surgical step recognition 논문 읽기 이 분야 계속 보고있어서, 논문 찾을때마다 업데이트할거임 “Train one, Classify one, Teach one” - Cross-surgery transfer learning for surgical step recognition (MIDL 2021) https://arxiv.org/pdf/2102.12308.pdf 요약? 비디오 상에서의 Surgical Workflow step recognition 논문 surgical step recognition을 4종류의 laparoscopic surgeries에서 진행 Cholecystectomy, Right Hemicolectomy, Sleeve Gastrectomy, and Appendectomy Time-Series Adaptation Network.. 2021. 10. 27. [휘리릭 논문 읽기] Multi-Task Self-Training for Learning General Representations transfer learning으로 보통은 pretrained model을 주로 사용. 다른 기법들도 이미지, 그것도 classification에서 주로 활용되는듯 싶다. 하지만 모델이 뭘 배웠느냐는 관점에서 보면 transfer learning이 잘 안되는 것 같다. 빠른 수렴에 이득인것이지 정확도에는 그렇게 이점이 없다는 논문도 있고... 하지만 데이터 개수가 적을 때에는 확실히 도움이 되는 것 같다. 예를들면 STL10과 같은 작은 데이터셋. 같은 맥락에서, 현재 내가 다루고 있는 의료 도메인의 경우, 마찬가지로 데이터를 만드는 데에는 한계가 있으니. 다른 도메인의 의료 데이터에서 지식을 transfer 하여 성능개선을 도모하는건? 아직까진 ImageNet pretrained 불러와서 쓰거나 아예 .. 2021. 10. 8. Refine Myself by Teaching Myself :Feature Refinement via Self-Knowledge Distillation "Refine Myself by Teaching Myself : Feature Refinement via Self-Knowledge Distillation" soft label 관련 논문이 있어서 구경. arxiv.org/pdf/2103.08273v1.pdf 주제는 KD. large teacher model을 학습하는 부담을 줄이기 위해서 self로 KD를 하고 있다. 어떻게? 주로 두가지 방법이 있다고 한다. 1. auxiliary network를 둔다. 2. augmentation based. 문제는 augmentation 기반의 경우, 데이터 어그멘테이션 도중에 인풋 이미지에 손실이 생기는데 이로 인해서 segmentation같은 task에는 적용할 수 없다는 점이다. 그리고 object detec.. 2021. 3. 19. Born-Again Neural Network 코드 조지기 의식의 흐름대로 아래 코드를 보는 중. 재택근무라 사람이 없어 외로운 나머지 여기에 주절거리며 코드를 리뷰하는 중이다. 사실 아직 시작도 안했다. 이 글을 다 쓸때 쯤이면 코드를 이해했겠지? 난 이미지 도메인을 다룰 게 아니어서 그냥 적당히 구경하고 넘어가서 바로 짤거다. github.com/nocotan/born_again_neuralnet.git nocotan/born_again_neuralnet Unofficial pytorch implementation of Born-Again Neural Networks. - nocotan/born_again_neuralnet github.com Readme를 보니까 train.py, inference.py 를 돌리는구나. train.py를 보러가자. train.. 2021. 1. 4. Born-Again Neural Networks 매우 잠깐 구경 arxiv.org/pdf/1805.04770.pdf 이하 BAN이라고 줄여서 쓰겠음. 아마 다들 한번쯤 들어봤을법한 논문인데 직접 논문을 열어본건 처음임. 일단 이 논문을 리뷰하는 이유는, BAN과 같은 목적으로 당장 KD 코드를 짜야하는 상황인데 코드를 뜯어보기 전에 어떻게 돌아가는건지 빠르게 확인하기 위함. What is the paper about? - Task : Knowledge Distillation - Main idea : We study KD from a new perspective: rather than compressing models, we train students parameterized identically to their teachers. 따라서, "identical capac.. 2020. 12. 29. Data-Efficient KD from a blackbox model 논문 읽기 "Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a BlackBox Model" (CVPR 2020) 위 논문을 읽어보려고 방금 골랐음. 왕재밌는 논문이다. arxiv.org/pdf/2003.13960v1.pdf github에 코드, 모델이 곧 공개된다고 한다. (근데 레포 만든지 9달이나 지났는데...?) github.com/dwang181/active-mixup 이 논문을 읽으며 주목하여 보려는 점은, 1. 이런 신기한(?) 셋팅에서 시나리오를 어떻게 설정하고 실험을 전개했나? 완전히 정형화된 task를 하는 게 아니라, 정말 .. 2020. 12. 16. 이전 1 다음 반응형
