<aside> 💡 한 줄 요약

• 비평형 열역학과 딥러닝 개념 결합 → 새로운 학습 방법론 제시 (비지도 학습 중심, 열역학적 개념으로 신경망의 학습 과정 설명)
• flexibility, tractability 동시에 달성하는 모델 제시 </aside>

**목차

1. Abstract
2. Introduction
3. Algorithm
4. Experiments**

Abstract

• 기존 연구의 문제점(ML) : 계산적으로 다루기 쉬운(tractability) 유연한(flexibility) 확률 분포군을 사용하여 복잡한 dataset modeling 진행
• 연구 내용 → flexibility, tractability 동시에 달성하는 모델 제시
  • 반복적인 순방향 diffusion 과정을 통해 테이터 분포의 구조를 체계적으로 천천히 파괴 후 데이터의 구조를 복원하는 역방향 diffusion을 학습
  • 비평형 통계 물리학(non-equilibrium statistical physics)에서부터 영감

참고)

Diffusion model

• forward trajectory : 데이터를 known Gaussian 분포로 변경
• reverse trajectory : known Gaussian을 데이터 분포로 변경

Markov chain : 하나의 분포를 점진적으로 다른 분포로 변화시키는 과정

Introduction

tractability - flexibility → trade-off 관계

• Tractable
  • 장) 가우시안 분포처럼 수치적으로 계산 가능, 데이터에 쉽게 맞출 수 있음
  • 단) 복잡한 데이터셋을 적절하게 설명 힘듦
• flexible
  • 장) 임의의 데이터에 대해서도 적절하게 설명 가능
  • 단) 학습, 평가, 샘플을 생성하는데 일반적으로 매우 복잡한 Monte Carlo process 필요