반응형 딥러닝 어쩌구/Trendings8 [TMI] transformer가 비디오랑 segmentation쪽 SOTA도 다 깨버렸구만 * 주관과 선입견이 몹시 가득한 글 요즘 논문 쓰느라 바쁜데, action recognition과 semantic segmentation쪽 citation 정리 하느라 잠깐 서베이를 하고 있다. 내가 얘네를 마지막으로 열심히 한 게 1~2년 정도 되어서 딱 트랜스포머 유행 직전이었다. 트랜스포머를 도입하기는 하는데 그냥 vanilla ViT 나올 시기라 적용을 한다해도 그렇게 성능적으로 메리트가 보이지는 않았고, 깃발 먼저 꽂는 사람이 임자네.. 싶은 그런 연구들 나올 때였음. 그럼 현재는 어떤가 봤는데 이게 뭐임? 트랜스포머가 쓸어감. 물론 이게 transformer가 우수해서 그런건지, 요즘 논문 쓰시는 분들이 대부분 transformer를 썼으니 그중에 좋은 것도 트랜스포머라 그런건지는 몰라도 확실.. 2022. 6. 17. [2021.11.25] survey 사냥하러 가자 Gradients are Not All You Need 구글 브레인 팀 https://arxiv.org/pdf/2111.05803v1.pdf 미분 가능하게 만든게 딥러닝을 굉장히 부흥시켰으나, failure case가 있음을 언급한다. 그러면 대책은 없나? 이 논문에서는 시스템의 Jacobian을 계산해서 추적해봤으며, criterion을 제공하여 실패할지를 알 수 있다고 한다. 뭐 다들 gradient가지고 학습해온건 아니까 생략하고. 그런데 어떤 mathematical object를 가진 경우라면 상관 없겠지만, system dynamics의 특정 함수를 최적화하려는 경우에는 알고리즘적으로 유용하지 못하다. 이 논문에서는 그런 경우를 다루며, 이를 'chaos'라 명명했다. Iterat.. 2021. 11. 25. [2021.10.18] 서베이라는걸 해보자 코딩하기 싫다 걍 논문 뭐있나 구경해야지 1. Exploring the Limits of Large Scale Pre-training JFT처럼 엄청나게 큰 dataset에서 pretrain 하는게 성능이 잘 나오니까 다들 그렇게 했다. 이에 대해 고찰하기 위하여 겁나 많은 실험을 했는데, 성능이 non-linear하게 saturation이 있었다고 한다. 심지어 pretrain-finetuning에서 서로 다른 모델을 쓸 경우에도 그랬다는 듯. MLP-Mixer, ViT, CNN based model에서 실험을 했다. 겁나 많은 실험을 했던데... 구글만 가능한 연구. 암튼 결론은 하나의 좋은 pretrained model이 모든 곳에 만능은 아니니까, dataset diversity에 더 신경쓰란다... 2021. 10. 18. CVPR 2021 best paper candidates 목록 저번 글에서 이번 CVPR 베스트 페이퍼를 살펴봤는데, CVPR 2021 Best paper는 아니지만 후보에 올랐던 논문들을 한번씩 보려고 한다. 283 Privacy-Preserving Image Features via Adversarial Affine Subspace Embeddings Mihai Dusmanu (ETH Zurich); Johannes L Schönberger (Microsoft); Sudipta Sinha (Microsoft); Marc Pollefeys (ETH Zurich / Microsoft) 415 Learning Calibrated Medical Image Segmentation via Multi-Rater Agreement Modeling Wei Ji (Universit.. 2021. 8. 24. [2021.03.09] arxiv sanity 구경 1달 기준으로 top recent 부터 보고 있다. 1. "Patterns, predictions, and actions: A story about machine learning" 머신러닝 책이 나왔다. 부족한 수학공부를 하기 위해 한번 읽어봐야할 것 같다. 300페이지 정도의 분량이다. arxiv.org/abs/2102.05242v1 2. "How to represent part-whole hierarchies in a neural network" 힌튼 교수님의 논문이다. 읽으려다가 분량이 많아 안봤는데 capsnet이 어떤 의도로 만들어졌던건지부터 보고 와야할 것 같은 기분이 든다. 3. "Do Transformer Modifications Transfer Across Implementations a.. 2021. 3. 9. [2021.02.13] arxiv sanity 대충 살펴보기 재밌을 것 같은 논문 리스트를 가져왔다. 아래 두 논문 모두 power law 언급하면서 dataset의 규모 등에 대해 다루는 것 같다. 한번 읽어보면 좋겠지만 뭔가 수학이 많을 것 같다... 1. Learning curve에 대한 논문. 저자가 Deepmind에 인공지능 수학 관련이라고 한다. arxiv.org/pdf/2102.04074v1.pdf 2. Scaling Raws for Transfer arxiv.org/pdf/2102.01293v1.pdf arxiv.org/abs/2101.12491v1 2021. 2. 15. [2021.01.21] Research Trends 살펴보기 새로 아이디어 낸 애들 대충 마무리 되었고, 발표자료 준비도 끝나서 딱히 뭘 더 진행할건 없다. 그래서 막간을 이용해 밀린 서베이를 하기로 했다. 최근 1달간의 Top Recent papers 목록을 살펴봤다. Transformer가 미친듯한 인기를 독차지하고 있다. 그리고 이걸 차마 올리기에 수치스러워서(?) 안썼는데, "Towards Fully Automated Manga Translation"이라고 만화책에 있는 글자를 번역해주는 논문도 있다. 심히 혼모노스럽다. 얼른 보급해서 번역본 빨리빨리 좀 정발해줘 친구들. GAN 뭔가 작년도 그렇고 interpretable AI 얘기가 나오는 쪽이 GAN이었던 것 같다. 다른 분야에도 많을 수 있는데 그냥 내 눈에 자주 보이는 듯한 느낌? 기분탓일 수 있음.. 2021. 1. 21. [20201217] arxiv sanity page 잠깐 살펴보기 보겠다 보겠다 했지만 드디어 들어가봤다. 사실 circle loss논문이랑 robust learning through cross-task consistency, 그리고 하나 골라놨던 논문 세개 중에서 읽으려고 했는데 어제오늘 내리 논문을 리뷰한터라 머리에서 글자를 뱉고 있다. 사망한 집중력을 복구하기 위해 arxiv sanity 페이지 오늘 기준 동향을 살펴보도록 하자. 재밌어보이는 키워드만 가져왔다. 한달 기준 Computer Vision에서 가장 인기 있었던건 "Exploring Simple Siamese Representation Learning" 이다. "MicroNet: Towards Image Recognition with Extremely Low FLOPs"도 상위 랭크에 올랐다. 이렇게 두.. 2020. 12. 17. 이전 1 다음 반응형
