StyleGAN v2보다 좋은 transformer 기반 GAN이 나왔음

ViTGAN: Training GANs with Vision Transformers
https://arxiv.org/pdf/2107.04589v1.pdf
UC San Diego, 구글 리서치

 

전에 봤던 TransGAN의 경우는 StyleGAN V2에 못미쳤었다.

TransGAN 논문에 따르면 (transformer 기반일 경우) Discriminator 만들기가 생각보다 까다로웠고, Generator의 경우 transformer 기반으로 한게 AutoGAN (19년) 급의 성능을 보인 것으로 기억한다.

아마 이때 내가 투덜거렸던게, Generator에서 가능성이 있는거라면 좋은 transformer기반의 generator를 만드는 아키텍쳐 디자인 연구가 있다면 좋겠지만, 아직 사례가 없어서 아쉽다고 했었다.

 

그런데 이 논문이 G, D 모두 transformer 기반임에도 SOTA급 성능을 보인다!

흥미진진하게 읽어보도록 하자.