전체 글67 Wav2Vec2.0 논문 궁금한 부분 해결 정리 - Product quantization wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations ( https://arxiv.org/abs/2006.11477) 논문을 공부하면서 궁금했던 부분을 해결한 내용을 정리했습니다. 잘못된 부분이 있다면 댓글 의견 환영합니다. Product Quantization고차원 벡터를 더 작은 하위 벡터 (Sub-vector) 나누고, 각각을 별도의 코드북(codebook)으로 양자화함으로써 메모리 및 계산 효율성을 향상시키는 기법. wav2vec 2.0에서는 Feature Encoder의 연속적인 출력(z)을 이산적인(discrete) 벡터로 변환하기 위해 사용함 Product Quantization 수행 과정1. .. 2025. 1. 20. Gumbel Softmax 기초 개념 정리 Gumbel softmax 기본 개념일반적인 softmax는 확률 분포를 생성할 수는 있지만, 샘플링 과정에서는 미분이 불가능한 argmax 연산을 사용해야 함. Gumbel softmax는 이러한 문제를 해결하기 위해 Gumbel 분포를 활용하여 확률적이고 미분 가능한 샘플링 수행. Gumbel softmax는 확률적 샘플링을 가능하게 하는 기술로, discrete 분포에서 미분 가능한 방식으로 샘플을 뽑을 수 있도록 설계된 연속적인 근사 방법. 이를 통해 신경망이 연속적인 값 대신 one-hot vector를 생성할 수 있게 도와줌. Gumbel softmax 수식 분석 π_i : 소프트맥스 입력 값 (로짓, logit) g_i : Gumbel 분포에서 샘플링된 노이즈 → $ −log(−l.. 2025. 1. 19. 유방암 치료 성공 사례 정리 저희 어머니는 2020년 05월 경 호르몬 수용체 양성 유방암 4기 판정을 받았고 (골반 및 척추뼈 전이, 폐 일부 전이), 극심한 통증으로 인해 거동은 불사하고, 마약성 진통제도 잘 듣지 않던 상황이었습니다. 이같은 경과에서는 5년 생존률이 15% 내외였고, 저는 사랑하던 어머니를 잃을지도 모른다는 두려움에 절망했지만, 15% 안에 어머니가 들도록 하면 된다는 마음이 들어 암 치료에 도움이 되는 방법을 닥치는대로 공부했습니다. 현재는 많이 회복되셔서 오히려 암 판정 전보다 더 건강히 지내고 계십니다. 비슷한 상황에 처하신 분들께 도움이 되었으면 하는 마음에 그간 공부한 내용을 공유하고자 본 글을 작성합니다. 참고로 저희 어머니는 초기에 방사선 치료(약 5회)를 받으신 뒤 후 호르몬 치료를 지금(현재 2.. 2023. 11. 16. 케라스로 구현하는 딥러닝과 강화학습 (1) - 안토니오 걸리, 수짓 팔 눈에 띄고 주목한 정도에 따라 * 표시를 했습니다. 블로그 글쓴이 본인의 생각은 이렇게 표시했습니다. 1장 신경망 기초 51 학습 정확도는 반드시 테스트 정확도보다 높아야 한다. (epoch 수 늘리기) 52 Drop-out 기법은 training 에서 적용되지만, test에서는 적용되지 않는다. (test (inference)에서는 모든 neuron(weight) 사용) → test data에 대해 일반화 성능이 더 올라간다, 각 neuron이 이웃 neuron에게만 의존하면 안된다는 요구가 반영된다. (더 발전함) 54 Optimizer Adam, RMS prop → SGD에 있는 가속도 성질 + 관성 개념이 더해짐 57 Optimizer를 고정하고, 각 optimizer에 따른 drop out 비율.. 2023. 9. 24. 이전 1 2 3 4 5 ··· 17 다음
