딥러닝 정리하기 : GAN(Generative Adverarial Network)

* 주의 : 전공자가 아니며, 가볍게나마 공부한 내용을 정리하기 위함이니 부정확한 내용이 있을 수 있음.

 

또박또박 프로젝트를 진행할 당시 GAN 모델을 사용했었다.

 

GAN 모델이 뭐에요?

 

라고 누가 물어보면, 내가 어떻게 답변할까?

 

생성자는 판별자가 구분하지 못할 정도로, 판별자는 생성자가 만들어낸 가짜를 구분해 내도록 서로 경쟁하면서 발전해나가는 인공 지능 모델 중 하나에요.

 

라고 나는 답하지 않을까?

이걸 어디서 사용해요?

 

여러 분야에서 사용합니다. 딥페이크처럼 원래 이미지를 바탕으로 가상의 이미지를 만들어내데 사용되기도 하고, 이것을 통해 이미지 복원 등에도 사용합니다. 또박또박에서도 사람이 직접 쓴 몇개의 손글씨로 한글의 모든 자모를 만들어 폰트로 제작하는데도 GAN 모델을 사용했구요.

 

내가 생각한 답변이 틀리지는 않았다. 하지만 좀 더 제대로 알아야 할 필요가 있을 것 같다.

 

 

---

GAN(Generative Adverarial Network) : 생성적 적대 신경망

생성자와 판별자가 대립적인 신경망 구조로 경쟁하며 데이터를 생성하는 인공 신경망 아키텍쳐

 

또박또박 프로젝트 GAN 모델 설명 PPT

 

 

생성자와 판별자가 경쟁해서 발전해 나가는 건 알겠는데.. 어떻게 생성해 내는거야?

아래 자료를 통해서 이 부분에 대해서 이해할 수 있었다. 생성자는 여러 클래스에 대한 적절한 분포를 학습해서 만들어 낸다. 판별자는 그 클래스들을 구분할 수 있는 바운더리를 학습하는 것이다.

출처 : 동빈나 - GAN: Generative Adversarial Networks (꼼꼼한 딥러닝 논문 리뷰와 코드 실습)

 

GAN은 그럼 이미지에만 활용되나?

아니다. GAN의 활용 범위는 다양하다. GAN은 2014년에 이언 굿펠로가 고안해 낸 뒤로, 엄청난 인기를 끌었고, 지금까지  관련한 기술과 논문들이 계속해서 나오고 있다.

 

가장 많이 접하는 것이 이미지를 만들어 내는 것이고,

 

출처 : 소프트웨어정책연구원 - 적대적 생성신경망(Generative Adversarial Network)의 소개와 활용 현황

 

2017년 구글 딥마인드는 사람이나 물체의 동작을 흉내내는 인공지능을 개발했다.

 

출처 : 소프트웨어정책연구원 - 적대적 생성신경망(Generative Adversarial Network)의 소개와 활용 현황

 

엔씨소프트에서는 2020년 음성합성 기술 VocGAN을 발표했다.

출처 : 엔씨소프트

 

이 글을 쓰면서 찾아보다 GAN 활용 범위에 대해서 놀랐던 부분이 신약 개발이다.

올바른 분자 화학 구조를 GAN 모델로 생성해 내고 판별하는 과정을 통해 신약을 개발했다고 한다.

 

GAN 모델 학습 시, 주의할 점은 없을까?

내 경험에서 말할 때, 일단 학습 시킬 데이터가 중요하다. 또박또박 프로젝트에서는 손글씨 데이터를 스캔해내는 과정에서 가까이 보면 픽셀이 다 깨져서 들어와서 글씨가 아닌 이상한 모양으로 만들어졌다.

 

두번째는, 판별자와 생성자의 학습 수준이다. 학습이 일정 수준이 넘어가자 노이즈가 심해지는 경우가 있었다. 아마 아래와 같은 문제를 경험한 것이 아닌가 싶다.

GAN이 제대로 학습을 하지 못하고 있을 때 나타나는 모드붕괴(Mode Collapse)라는 현상이 있습니다. 이는 생성자가 다양한 이미지를 만들어내지 못하고 비슷한 이미지만 계속해서 생성하는 경우를 뜻합니다. GAN을 학습시킬 때는 이런 모드 붕괴 현상이 벌어지지 않는지, 생성자와 구분자 중 한 쪽이 너무 강해지지 않는지 유의해야 합니다.

 

 

GAN 모델 발전 현황

GAN 발표 이후에, WGAN, EBGAN, LSGAN, DCGAN 등이 발표되고, ProGAN, StyleGAN1,2,3 등 모델의 구조적 변화, 다양한 학습 테크닉에 관한 연구들이 진행되었다.

 

참고

https://www.spri.kr/posts/view/21883?code=industry_trend

https://www.youtube.com/watch?v=AVvlDmhHgC4