[2021.03.09] arxiv sanity 구경

1달 기준으로 top recent 부터 보고 있다.

 

 

1. "Patterns, predictions, and actions: A story about machine learning"

머신러닝 책이 나왔다.

부족한 수학공부를 하기 위해 한번 읽어봐야할 것 같다. 300페이지 정도의 분량이다.

arxiv.org/abs/2102.05242v1     

 

 

2. "How to represent part-whole hierarchies in a neural network"

힌튼 교수님의 논문이다. 읽으려다가 분량이 많아 안봤는데 capsnet이 어떤 의도로 만들어졌던건지부터 보고 와야할 것 같은 기분이 든다.

 

 

3. "Do Transformer Modifications Transfer Across Implementations and Applications?"

구글에서 나온 논문. 요즘 엄청나게 많은 transformer modification이 나오고 있다. 기본적으로 NLP를 다루기에 이 논문도 NLP에서 동일한 실험환경에서 evaluation 해봤다고 한다. 그 결과, 상당수의 구조는 그렇게 딱히 다를 게 없었다고.

하긴 요즘 transformer가 과하게 많이 보이긴 하다.

 

4. "Generative Models as Distributions of Functions"

arxiv.org/pdf/2102.04776v1.pdf

제목 보자마자 바로 Conditional neural process 논문이 떠올라 구경. CelebA 데이터셋 외에 point cloud에서도 했다. 그렇지만 사실 visualization 보고 그렇게 끌리진 않아서 패스했다.

 

5. semi supervised learning에 대한 survey paper

arxiv.org/pdf/2103.00550v1.pdf  

 

6.NEURAL ARCHITECTURE SEARCH ON IMAGENET IN FOUR GPU HOURS: A THEORETICALLY INSPIRED PERSPECTIVE

arxiv.org/pdf/2102.11535v3.pdf         

ICLR21 논문인데, training 안하고 찾는 방법이라는 듯. neural tangent kernel이라는걸 통해서 neural network의 trainability/expressivity를 알 수 있다고 한다. 1080Ti에서 4시간이면 imageNet에서 찾을 수 있다고.

 

 

 

음.. 별로 이번에 발표를 하고 싶은 논문은 딱히 안 보인다. 그냥 "Graph Structure of Neural Networks" 이거 해야겠다.