딥러닝 기초8 케라스로 구현하는 딥러닝과 강화학습 (1) - 안토니오 걸리, 수짓 팔 눈에 띄고 주목한 정도에 따라 * 표시를 했습니다. 블로그 글쓴이 본인의 생각은 이렇게 표시했습니다. 1장 신경망 기초 51 학습 정확도는 반드시 테스트 정확도보다 높아야 한다. (epoch 수 늘리기) 52 Drop-out 기법은 training 에서 적용되지만, test에서는 적용되지 않는다. (test (inference)에서는 모든 neuron(weight) 사용) → test data에 대해 일반화 성능이 더 올라간다, 각 neuron이 이웃 neuron에게만 의존하면 안된다는 요구가 반영된다. (더 발전함) 54 Optimizer Adam, RMS prop → SGD에 있는 가속도 성질 + 관성 개념이 더해짐 57 Optimizer를 고정하고, 각 optimizer에 따른 drop out 비율.. 2023. 9. 24. 5-2. Softmax의 Cost function (Cross entropy) 앞 글(https://alifestudy.tistory.com/58)에서는 위 그림과 같은 Softmax의 개념에 대해 다뤄보았고, 이번 글에서는 Softmax algorithm 에서 Cost function으로 사용하는 Cross entropy에 대해 알아보겠습니다. Cross entropy는 아래와 같이 Logistic regression의 Cost function과 유사한 형태를 가지고 있습니다. (첫 번째 식이 Logistic regression의 cost function, 두 번째가 Cross entropy 입니다) N: 데이터 항목의 수 / C: Category의 수 / y, L: target data (0 또는 1) / X: input matrix Logistic regression의 Cos.. 2023. 8. 20. 5-1. Softmax (Multinomial classification) 이번 글에서는 여러 개의 Category(class)에 대해 각 category가 일어날 가능성을 예측하는 Multinomial classification에 주로 사용되는 Algorithm인 Softmax에 대해 다뤄보도록 하겠습니다. Multinomial classification이 필요한 상황은 아래와 같이, 공부 시간과 출석 횟수를 알 때 (input 2가지) 성적이 어떻게 나올지 예측하는 경우(category 3가지(A, B, C))를 예로 들 수 있습니다. x1 (공부 시간) x2 (출석 횟수) y (성적) 15 11 A 13 8 A 10 6 B 7 7 B 9 1 C 먼저 Binary classification에 사용되는 Logistic regression에서는, 아래의 식을 통해 어떤 한 가지.. 2023. 8. 15. 4-2. Logistic regression의 Cost function, Gradient descent 앞서 다루었던 Linear regression의 Hypothesis 식에 대한 cost function은 예측값과 실제값의 차이의 제곱을 평균(MSE, Mean Square Error)으로 한 형태를 갖고 있는 아래 식과 같은 2차함수의 형태였습니다. 따라서 어떤 지점에서 시작하든 Gradient descent algorithm으로 최소가 되는 값을 찾을 수 있었습니다. (참고: https://alifestudy.tistory.com/52) 하지만, Logistic regression의 Hypothesis 식은 Linear regression과 같은 선형이 아닌, 비선형인 Sigmoid 함수이기 때문에 Linear regression과 같은 MSE를 Cost function을 사용하면 적절한 최소값을 찾.. 2023. 8. 15. 이전 1 2 다음
