gumbel-softmax1 Gumbel Softmax 기초 개념 정리 Gumbel softmax 기본 개념일반적인 softmax는 확률 분포를 생성할 수는 있지만, 샘플링 과정에서는 미분이 불가능한 argmax 연산을 사용해야 함. Gumbel softmax는 이러한 문제를 해결하기 위해 Gumbel 분포를 활용하여 확률적이고 미분 가능한 샘플링 수행. Gumbel softmax는 확률적 샘플링을 가능하게 하는 기술로, discrete 분포에서 미분 가능한 방식으로 샘플을 뽑을 수 있도록 설계된 연속적인 근사 방법. 이를 통해 신경망이 연속적인 값 대신 one-hot vector를 생성할 수 있게 도와줌. Gumbel softmax 수식 분석$ π_i $ : 소프트맥스 입력 값 (로짓, logit)$ g_i $ : Gumbel 분포에서 샘플링된 노이즈 → $ −log(−l.. 2025. 1. 19. 이전 1 다음
