Softmax2 5-2. Softmax의 Cost function (Cross entropy) 앞 글(https://alifestudy.tistory.com/58)에서는 위 그림과 같은 Softmax의 개념에 대해 다뤄보았고, 이번 글에서는 Softmax algorithm 에서 Cost function으로 사용하는 Cross entropy에 대해 알아보겠습니다. Cross entropy는 아래와 같이 Logistic regression의 Cost function과 유사한 형태를 가지고 있습니다. (첫 번째 식이 Logistic regression의 cost function, 두 번째가 Cross entropy 입니다) N: 데이터 항목의 수 / C: Category의 수 / y, L: target data (0 또는 1) / X: input matrix Logistic regression의 Cos.. 2023. 8. 20. 5-1. Softmax (Multinomial classification) 이번 글에서는 여러 개의 Category(class)에 대해 각 category가 일어날 가능성을 예측하는 Multinomial classification에 주로 사용되는 Algorithm인 Softmax에 대해 다뤄보도록 하겠습니다. Multinomial classification이 필요한 상황은 아래와 같이, 공부 시간과 출석 횟수를 알 때 (input 2가지) 성적이 어떻게 나올지 예측하는 경우(category 3가지(A, B, C))를 예로 들 수 있습니다. x1 (공부 시간) x2 (출석 횟수) y (성적) 15 11 A 13 8 A 10 6 B 7 7 B 9 1 C 먼저 Binary classification에 사용되는 Logistic regression에서는, 아래의 식을 통해 어떤 한 가지.. 2023. 8. 15. 이전 1 다음
