[2021.03.04 연구노트] Deep Neural Network Visualization?

다시 실험을 쭉 돌려놨으니 논문 찾아볼 시간이 생겼다.

이쪽을 공부해본적이 없는 것 같아서 당분간 찾아보려고 한다.

뭘 봐야하는지조차 모르겠어서 일단 단어만 찾아봤는데, t-sne가 많이 언급된다.

 

t-sne가 video domain에서도 되는지 모르겠어서 이것만 더 찾아보고 바로 t-sne 공부로 넘어가려고 한다.

 

Keywords

Class Activation Map (CAM) Visualization
t-Stochastic Neighbor Embedding (t-SNE) 

 

같이볼 것.

visualization 관련 글.

medium.com/analytics-vidhya/deep-learning-visualization-and-interpretation-of-neural-networks-2f3f82f501c5 

최근에 아카이브에 뜬 논문. t-SNE에 대해 두가지 새로운 것을 제안. 하지만 현재 내 지식 상태로는 읽을 수 없음...

arxiv.org/pdf/2102.13009v1.pdf    

 

 

대략 이해 했는데 실험 돌려봐야하는데 별로 안 궁금하다.

 

대충 이해한 바로는 다음과 같다.

기존 representation에서의 이동확률을 구해보자.

일단 exp^(-|xi-xj|)/2 sig^2를 그려보면 0으로 갈수록 거의 무한대에 가까울 정도로 값이 커진다.

이걸 이용해서 p_j|i라는 이동확률을 구하는데, 다른 모든 k개의 데이터포인트에 대해서 위 값을 계산한 합으로 나누면 얻을 수 있다.

시그마값이 각 데이터마다 다르기 때문에 p_j|i != p_i|j였다. 아무튼 이 두개를 합쳐서 p_ij를 구했다.

 

이걸 임베딩 representation에서도 구하면 q_ij를 얻을 수 있을 것이다. 우리는 이 임베딩 스페이스를 구하는게 목적이다.

그러면 p_ij와 q_ij가 최대한 유사하도록 q를 만든다면 p에서의 거리 정보를 보존할 수 있을 것이다.

이걸 가지고 학습하는게 t-sne의 개념이라고 보인다.

 

 

 

일단 다른 논문부터 보고오련다. 딴 논문 보느라 약간 흥미를 잃었다.