딥러닝 개념, 논문3 Wav2Vec2.0 논문 궁금한 부분 해결 정리 - Codebook 학습 과정 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations ( https://arxiv.org/abs/2006.11477) 논문을 공부하면서 궁금했던 부분을 해결한 내용을 정리했습니다. 잘못된 부분이 있다면 댓글 의견 환영합니다. Quantization module의 학습 원리 For self-supervised training we discretize the output of the feature encoder z to a finite set of speech representations via product quantization [25]. This choice led to good results in prior w.. 2025. 1. 21. Wav2Vec2.0 논문 궁금한 부분 해결 정리 - Product quantization wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations ( https://arxiv.org/abs/2006.11477) 논문을 공부하면서 궁금했던 부분을 해결한 내용을 정리했습니다. 잘못된 부분이 있다면 댓글 의견 환영합니다. Product Quantization고차원 벡터를 더 작은 하위 벡터 (Sub-vector) 나누고, 각각을 별도의 코드북(codebook)으로 양자화함으로써 메모리 및 계산 효율성을 향상시키는 기법. wav2vec 2.0에서는 Feature Encoder의 연속적인 출력($ z $)을 이산적인(discrete) 벡터로 변환하기 위해 사용함 Product Quantization 수행 과정1. .. 2025. 1. 20. Gumbel Softmax 기초 개념 정리 Gumbel softmax 기본 개념일반적인 softmax는 확률 분포를 생성할 수는 있지만, 샘플링 과정에서는 미분이 불가능한 argmax 연산을 사용해야 함. Gumbel softmax는 이러한 문제를 해결하기 위해 Gumbel 분포를 활용하여 확률적이고 미분 가능한 샘플링 수행. Gumbel softmax는 확률적 샘플링을 가능하게 하는 기술로, discrete 분포에서 미분 가능한 방식으로 샘플을 뽑을 수 있도록 설계된 연속적인 근사 방법. 이를 통해 신경망이 연속적인 값 대신 one-hot vector를 생성할 수 있게 도와줌. Gumbel softmax 수식 분석$ π_i $ : 소프트맥스 입력 값 (로짓, logit)$ g_i $ : Gumbel 분포에서 샘플링된 노이즈 → $ −log(−l.. 2025. 1. 19. 이전 1 다음
