딥러닝10 Glow: Generative Flow with Invertible 1 x 1 Convolutions 논문 리뷰 필자 본인이 아래 논문을 읽으면서 이해가지 않았던 부분을 정리한 내용입니다.https://arxiv.org/pdf/1807.03039 3 page L(D)=−1N∑Ni=1logpθ(x(i)) (1)log likelihood objective → 모든 샘플 (또는 mini-batch)의 확률밀도함수의 값의 곱의 평균 where ˜x(i)=x(i)+uwith u∼U(0,a),and c=−M⋅loga where a is determined by the discretization leve.. 2025. 4. 6. Gumbel Softmax 기초 개념 정리 Gumbel softmax 기본 개념일반적인 softmax는 확률 분포를 생성할 수는 있지만, 샘플링 과정에서는 미분이 불가능한 argmax 연산을 사용해야 함. Gumbel softmax는 이러한 문제를 해결하기 위해 Gumbel 분포를 활용하여 확률적이고 미분 가능한 샘플링 수행. Gumbel softmax는 확률적 샘플링을 가능하게 하는 기술로, discrete 분포에서 미분 가능한 방식으로 샘플을 뽑을 수 있도록 설계된 연속적인 근사 방법. 이를 통해 신경망이 연속적인 값 대신 one-hot vector를 생성할 수 있게 도와줌. Gumbel softmax 수식 분석πi : 소프트맥스 입력 값 (로짓, logit)gi : Gumbel 분포에서 샘플링된 노이즈 → $ −log(−l.. 2025. 1. 19. 케라스로 구현하는 딥러닝과 강화학습 (1) - 안토니오 걸리, 수짓 팔 눈에 띄고 주목한 정도에 따라 * 표시를 했습니다. 블로그 글쓴이 본인의 생각은 이렇게 표시했습니다. 1장 신경망 기초 51 학습 정확도는 반드시 테스트 정확도보다 높아야 한다. (epoch 수 늘리기) 52 Drop-out 기법은 training 에서 적용되지만, test에서는 적용되지 않는다. (test (inference)에서는 모든 neuron(weight) 사용) → test data에 대해 일반화 성능이 더 올라간다, 각 neuron이 이웃 neuron에게만 의존하면 안된다는 요구가 반영된다. (더 발전함) 54 Optimizer Adam, RMS prop → SGD에 있는 가속도 성질 + 관성 개념이 더해짐 57 Optimizer를 고정하고, 각 optimizer에 따른 drop out 비율.. 2023. 9. 24. 5-2. Softmax의 Cost function (Cross entropy) 앞 글(https://alifestudy.tistory.com/58)에서는 위 그림과 같은 Softmax의 개념에 대해 다뤄보았고, 이번 글에서는 Softmax algorithm 에서 Cost function으로 사용하는 Cross entropy에 대해 알아보겠습니다. Cross entropy는 아래와 같이 Logistic regression의 Cost function과 유사한 형태를 가지고 있습니다. (첫 번째 식이 Logistic regression의 cost function, 두 번째가 Cross entropy 입니다) N: 데이터 항목의 수 / C: Category의 수 / y, L: target data (0 또는 1) / X: input matrix Logistic regression의 Cos.. 2023. 8. 20. 이전 1 2 3 다음
