머신러닝7 5-2. Softmax의 Cost function (Cross entropy) 앞 글(https://alifestudy.tistory.com/58)에서는 위 그림과 같은 Softmax의 개념에 대해 다뤄보았고, 이번 글에서는 Softmax algorithm 에서 Cost function으로 사용하는 Cross entropy에 대해 알아보겠습니다. Cross entropy는 아래와 같이 Logistic regression의 Cost function과 유사한 형태를 가지고 있습니다. (첫 번째 식이 Logistic regression의 cost function, 두 번째가 Cross entropy 입니다) N: 데이터 항목의 수 / C: Category의 수 / y, L: target data (0 또는 1) / X: input matrix Logistic regression의 Cos.. 2023. 8. 20. 5-1. Softmax (Multinomial classification) 이번 글에서는 여러 개의 Category(class)에 대해 각 category가 일어날 가능성을 예측하는 Multinomial classification에 주로 사용되는 Algorithm인 Softmax에 대해 다뤄보도록 하겠습니다. Multinomial classification이 필요한 상황은 아래와 같이, 공부 시간과 출석 횟수를 알 때 (input 2가지) 성적이 어떻게 나올지 예측하는 경우(category 3가지(A, B, C))를 예로 들 수 있습니다. x1 (공부 시간) x2 (출석 횟수) y (성적) 15 11 A 13 8 A 10 6 B 7 7 B 9 1 C 먼저 Binary classification에 사용되는 Logistic regression에서는, 아래의 식을 통해 어떤 한 가지.. 2023. 8. 15. 4-2. Logistic regression의 Cost function, Gradient descent 앞서 다루었던 Linear regression의 Hypothesis 식에 대한 cost function은 예측값과 실제값의 차이의 제곱을 평균(MSE, Mean Square Error)으로 한 형태를 갖고 있는 아래 식과 같은 2차함수의 형태였습니다. 따라서 어떤 지점에서 시작하든 Gradient descent algorithm으로 최소가 되는 값을 찾을 수 있었습니다. (참고: https://alifestudy.tistory.com/52) 하지만, Logistic regression의 Hypothesis 식은 Linear regression과 같은 선형이 아닌, 비선형인 Sigmoid 함수이기 때문에 Linear regression과 같은 MSE를 Cost function을 사용하면 적절한 최소값을 찾.. 2023. 8. 15. 4-1. Logistic regression 지금까지 포스팅에서는 데이터를 기반으로 output을 예측하기 위해 데이터를 가장 잘 표현하는 선을 찾는 Linear regression에 대해 알아보았습니다. Linear regression으로 추정한 모델의 특징은 어떤 input이 주어졌을 때 output의 패턴이 선의 형태로 나타난다는 것이었습니다 본 글에서는 데이터를 기반으로 output을 예측하는 것은 동일하지만, 연속된 값이 아닌 둘 중 하나를 구분(binary classification)하는 데 주로 사용되는 Logistic regression에 대해 알아보겠습니다. 본 algorithm은 deep learning에서 (특히 binary classification에서) 자주 사용되는 algorithm이기도 합니다. Logistic regre.. 2023. 8. 13. 이전 1 2 다음
