[2021.01.21] Research Trends 살펴보기

새로 아이디어 낸 애들 대충 마무리 되었고, 발표자료 준비도 끝나서 딱히 뭘 더 진행할건 없다.

그래서 막간을 이용해 밀린 서베이를 하기로 했다.

 

최근 1달간의 Top Recent papers 목록을 살펴봤다.

Transformer가 미친듯한 인기를 독차지하고 있다.

 

그리고 이걸 차마 올리기에 수치스러워서(?) 안썼는데, "Towards Fully Automated Manga Translation"이라고 만화책에 있는 글자를 번역해주는 논문도 있다. 심히 혼모노스럽다. 얼른 보급해서 번역본 빨리빨리 좀 정발해줘 친구들.

 

 

 

GAN

뭔가 작년도 그렇고 interpretable AI 얘기가 나오는 쪽이 GAN이었던 것 같다. 다른 분야에도 많을 수 있는데 그냥 내 눈에 자주 보이는 듯한 느낌? 기분탓일 수 있음.

 

Controllable GAN 논문도 있는데 걍 안가져옴.

 

VOGUE라니. 협찬이라도 한줄 알았는데 아니었다.

제목이 재밌어서 가져왔는데 사진 되게 리얼한 것 같다.

 

1. GAN Inversion Survey.

arxiv.org/pdf/2101.05278v1.pdf

회사에서 다음에 GAN을 하고싶은데, 이건 조금 결이 다르다. 살짝 interpretable AI?

 

2. COUNTERFACTUAL GENERATIVE NETWORKS (ICLR 21)

arxiv.org/pdf/2101.06046v1.pdf

Image generation 과정을 decompose해봤고, counterfactual images 덕분에 OoD robustness에도 좋다는 점을 시사.

 

 

 

Transformer

1. Transformers in Vision: A Survey. 두편이나 있다.

arxiv.org/pdf/2101.01169v1.pdf

arxiv.org/pdf/2012.12556v2.pdf

뭐 요즘 비전에서 엄청 핫하지 않나.

 

2. "Training data-efficient image transformers & distillation through attention" FAIR.

arxiv.org/pdf/2012.12877v2.pdf

핵심 키워드 : teacher-student 사용 / CNN free model / ImageNet에서 3일 안걸림 / 파라미터 86M뿐임

ViT는 파라미터가 많이 필요했던 점을 생각하면, 이 모델은 파라미터를 덜쓰는데 성능이 더 좋다는 점에서 강점.

게다가 특이한게, distillation token을 사용하는데 이걸 통해서 teacher의 soft label을 reproduce하도록 하는 역할.

음... 그러면 distill token =1이면 soft label을 predict해서 soft label CE loss를 쓰고, class token =1이면 일반 CE loss로 학습하는 식일까? 아 그림보니 따로 있으니까 동시에 추론하게 해서 로스를 더할 것 같다. 자세한건 논문을 읽어봐야겠다.

무슨 이유로 KD를 여기에 가져온건지 궁금하다.

 

3."BURT: BERT-inspired Universal Representation from Learning Meaningful Segment"

BERT 말고 BURT는 뭔데?

arxiv.org/pdf/2012.14320v2.pdf

 

이외에도 수많은 transformer 변종들이 보인다.

 

4. "Inserting Information Bottlenecks for Attribution in Transformers"

흥미로워보여서 제목만 긁어왔다.

 

그 외

 

NL은 다들 많이 써가지고 한번 봐야하는데 안봤었다. 뭔가 리니어보다도 복잡한거 표현 가능하게끔 뭘 하는 느낌이었던것같은데 식이 많아서 읽을까 하다가 스르륵 안봤음.

근데 이번에 누가 그 transformation을 학습하도록 만든 것 같음. 그냥 내가 읽어야할 것 같은 논문이라 추가...

arxiv.org/pdf/2012.13375v1.pdf

 

 

 

이쯤 보고 나는 아까 transformer + KD논문을 읽으러 가야겠다.