wav2vec2.02 Wav2Vec2.0 논문 궁금한 부분 해결 정리 - Codebook 학습 과정 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations ( https://arxiv.org/abs/2006.11477) 논문을 공부하면서 궁금했던 부분을 해결한 내용을 정리했습니다. 잘못된 부분이 있다면 댓글 의견 환영합니다. Quantization module의 학습 원리 For self-supervised training we discretize the output of the feature encoder z to a finite set of speech representations via product quantization [25]. This choice led to good results in prior w.. 2025. 1. 21. Wav2Vec2.0 논문 궁금한 부분 해결 정리 - Product quantization wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations ( https://arxiv.org/abs/2006.11477) 논문을 공부하면서 궁금했던 부분을 해결한 내용을 정리했습니다. 잘못된 부분이 있다면 댓글 의견 환영합니다. Product Quantization고차원 벡터를 더 작은 하위 벡터 (Sub-vector) 나누고, 각각을 별도의 코드북(codebook)으로 양자화함으로써 메모리 및 계산 효율성을 향상시키는 기법. wav2vec 2.0에서는 Feature Encoder의 연속적인 출력($ z $)을 이산적인(discrete) 벡터로 변환하기 위해 사용함 Product Quantization 수행 과정1. .. 2025. 1. 20. 이전 1 다음
