논문리뷰3 Glow: Generative Flow with Invertible 1 x 1 Convolutions 논문 리뷰 필자 본인이 아래 논문을 읽으면서 이해가지 않았던 부분을 정리한 내용입니다.https://arxiv.org/pdf/1807.03039 3 page L(D)=−1N∑Ni=1logpθ(x(i)) (1)log likelihood objective → 모든 샘플 (또는 mini-batch)의 확률밀도함수의 값의 곱의 평균 where ˜x(i)=x(i)+uwith u∼U(0,a),and c=−M⋅loga where a is determined by the discretization leve.. 2025. 4. 6. Wav2Vec2.0 논문 궁금한 부분 해결 정리 - Codebook 학습 과정 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations ( https://arxiv.org/abs/2006.11477) 논문을 공부하면서 궁금했던 부분을 해결한 내용을 정리했습니다. 잘못된 부분이 있다면 댓글 의견 환영합니다. Quantization module의 학습 원리 For self-supervised training we discretize the output of the feature encoder z to a finite set of speech representations via product quantization [25]. This choice led to good results in prior w.. 2025. 1. 21. Wav2Vec2.0 논문 궁금한 부분 해결 정리 - Product quantization wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations ( https://arxiv.org/abs/2006.11477) 논문을 공부하면서 궁금했던 부분을 해결한 내용을 정리했습니다. 잘못된 부분이 있다면 댓글 의견 환영합니다. Product Quantization고차원 벡터를 더 작은 하위 벡터 (Sub-vector) 나누고, 각각을 별도의 코드북(codebook)으로 양자화함으로써 메모리 및 계산 효율성을 향상시키는 기법. wav2vec 2.0에서는 Feature Encoder의 연속적인 출력(z)을 이산적인(discrete) 벡터로 변환하기 위해 사용함 Product Quantization 수행 과정1. .. 2025. 1. 20. 이전 1 다음
