[20201217] arxiv sanity page 잠깐 살펴보기

보겠다 보겠다 했지만 드디어 들어가봤다.

사실 circle loss논문이랑 robust learning through cross-task consistency, 그리고 하나 골라놨던 논문 세개 중에서 읽으려고 했는데 어제오늘 내리 논문을 리뷰한터라 머리에서 글자를 뱉고 있다.

 

사망한 집중력을 복구하기 위해 arxiv sanity 페이지 오늘 기준 동향을 살펴보도록 하자.

재밌어보이는 키워드만 가져왔다.

 

---

 

한달 기준 Computer Vision에서 가장 인기 있었던건 "Exploring Simple Siamese Representation Learning" 이다.

"MicroNet: Towards Image Recognition with Extremely Low FLOPs"도 상위 랭크에 올랐다. 이렇게 두편은 저널클럽때 다른 분들이 리뷰해주셨다. micronet은 발표 들을 때 이해 했는데 첫번째 논문은 잘 이해를 못했어서 피피티 제공해주신걸로 한번 더 볼거다.

 

저번에 한동안 이슈가 되었던 image 처리하는 transformer 논문도 또 나왔다. 요즘 object detection같은 다른 task에 적용되는게 보인다. (저번에 핫했던 DETR라든가)
detection 안해서 모르겠다만 BERTS 장점이었던 self-supervised pretraining을 활용했을것 같은 제목의(?) 논문도 발견했다. "UP-DETR: Unsupervised Pre-training for Object Detection with Transformers".

17년?정도에 나왔던 Capsule Network 얘기도 기분탓인지 조금조금 보인다.

 

arxiv.org/pdf/2012.02166v1.pdf "Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization" 이 논문은 재밌어보인다. network visualization에 대한건데 코드도 공개되어있고. self-supervised가 visualization에서 쓰인다고?

 

그리고 MLKD (Multi-level KD)도 볼까 싶다. arxiv.org/pdf/2012.00573v1.pdf abstract 보면 'individual similarity, relational similarity, and categorical similarity, to encourage the student network to learn sample-wise, structure-wise and category-wise knowledge in the teacher network' 이렇게 3가지 similarity 나눠서 배울 수 있도록 하는 것 같다.

 

-

 

"Super-Selfish: Self-Supervised Learning on Images with PyTorch" 이건 테크니컬 리포트인데 제목이 굉장히 재밌어서 가져왔다.

 

"Multimodal Learning for Hateful Memes Detection" 멀모인데 주제가 굉장히 귀여운 논문이 나왔다. 심심할때 읽고싶다. 

 

"ImCLR: Implicit Contrastive Learning for Image Classification" contrastive learning에 또 새로운 기법이 나왔나보다.

 

 

 

 

 

기분탓인데 그냥 detection 논문이 압도적으로 많다. Radiance Fields는 뭔진 모르겠는데 이것도 여러편 보였다. 원래 하던 것들 위주로 여러 분야 골고루 보려면, 그냥 원래 하던대로 아카이브 알림뜨면 논문 제목 슥슥 보면서 관심있는거 가져오는게 관련 연구 찾기엔 더 좋은 것 같다.

 

그리고 연 단위로 보는 게 더 나을 것 같은데, 이중에서 절반은 이미 다들 저널클럽때 리뷰했던 것 같다.

역시 저널클럽 피피티를 정주행하여 따로 짧게 요약해보는 시간을 갖는 게 좋아보인다. 이건 내일?