History

들어가기전에

• 이 글은 딥러닝 감수성은 있지만 디퓨전 감수성이 부족한 사람들을 위해 쓰이는 글
• 컴퓨터 비전 분야의 직관 기반 연구 논문은 잘 읽을 수 있는데, 디퓨전의 경우 이론이 너무 어려워서 어떻게 접근해야할지 모르겠는 사람을 위한 글
• 디퓨전 모델을 가지고 이것저것 해보고 싶은데 from-scratch부터 시작하려니 감이 안 잡히는 사람을 위한 글

이론

시작은 YouTube, 그리고 Survey 논문으로 하는 게 좋다. 우선 아래의 YouTube 영상들은 깊이에는 한계가 있지만 전반적인 그림을 그리기 좋다.

• Tutorial on Denoising Diffusion-based Generative Modeling: Foundations and Applications, Link: NVIDIA에서 진행한 CVPR 2022 tutorial 영상
• Diffusion Model 수학이 포함된 tutorial - 디퓨전영상올려야지, Link: 연세대학교 어영정 교수님 연구실의 권민기라는 분이 올린 영상
• [Paper Review] Denoising Diffusion Probabilistic Models, Link: 고대 산경공 석사과정 김정섭 님이 발표하신 영상, 근래의 Diffusion 시대를 연 첫 논문인 DDPM을 소개한다

하지만 Diffusion이 왜 잘 동작하는지에 대해서는 3가지 정도의 View가 있고 이 각각을 배우기 위해서는 역시 Survey 논문 등을 통해 접근하는 게 좋다.

• Yang, L., Zhang, Z., Song, Y., Hong, S., Xu, R., Zhao, Y., ... & Yang, M. H. (2022). Diffusion models: A comprehensive survey of methods and applications. arXiv preprint arXiv:2209.00796.
• Croitoru, F. A., Hondru, V., Ionescu, R. T., & Shah, M. (2022). Diffusion models in vision: A survey. arXiv preprint arXiv:2209.04747.

기존에 VAE 등의 생성 모델에 익숙하다면 먼저 Variational Inference의 관점에서 DDPM의 수렴을 증명할 수 있다. 그리고 이게 어느 정도 따라가진다면 아래의 글과 그 글에 포함된 레퍼런스들을 통해서 Score-based Generative Model과의 연관성, Stocastic Differential Equation과 Langevin Dynamics와의 연관성을 공부해볼 수 있다.

• Generative Modeling by Estimating Gradients of the Data Distribution - Yang Song Blog, Link
• What are Diffusion Models? - Lil'Log, Link

사실 나는 처음에 이게 잘 되지 않았는데, 전반적으로 손으로 받아써가며 5~6회독 정도 하니까 흐름은 따라갈 수 있었다.

안타깝지만 이런 방법은 없다