시그모이드3 5-1. Softmax (Multinomial classification) 이번 글에서는 여러 개의 Category(class)에 대해 각 category가 일어날 가능성을 예측하는 Multinomial classification에 주로 사용되는 Algorithm인 Softmax에 대해 다뤄보도록 하겠습니다. Multinomial classification이 필요한 상황은 아래와 같이, 공부 시간과 출석 횟수를 알 때 (input 2가지) 성적이 어떻게 나올지 예측하는 경우(category 3가지(A, B, C))를 예로 들 수 있습니다. x1 (공부 시간) x2 (출석 횟수) y (성적) 15 11 A 13 8 A 10 6 B 7 7 B 9 1 C 먼저 Binary classification에 사용되는 Logistic regression에서는, 아래의 식을 통해 어떤 한 가지.. 2023. 8. 15. 4-2. Logistic regression의 Cost function, Gradient descent 앞서 다루었던 Linear regression의 Hypothesis 식에 대한 cost function은 예측값과 실제값의 차이의 제곱을 평균(MSE, Mean Square Error)으로 한 형태를 갖고 있는 아래 식과 같은 2차함수의 형태였습니다. 따라서 어떤 지점에서 시작하든 Gradient descent algorithm으로 최소가 되는 값을 찾을 수 있었습니다. (참고: https://alifestudy.tistory.com/52) 하지만, Logistic regression의 Hypothesis 식은 Linear regression과 같은 선형이 아닌, 비선형인 Sigmoid 함수이기 때문에 Linear regression과 같은 MSE를 Cost function을 사용하면 적절한 최소값을 찾.. 2023. 8. 15. 4-1. Logistic regression 지금까지 포스팅에서는 데이터를 기반으로 output을 예측하기 위해 데이터를 가장 잘 표현하는 선을 찾는 Linear regression에 대해 알아보았습니다. Linear regression으로 추정한 모델의 특징은 어떤 input이 주어졌을 때 output의 패턴이 선의 형태로 나타난다는 것이었습니다 본 글에서는 데이터를 기반으로 output을 예측하는 것은 동일하지만, 연속된 값이 아닌 둘 중 하나를 구분(binary classification)하는 데 주로 사용되는 Logistic regression에 대해 알아보겠습니다. 본 algorithm은 deep learning에서 (특히 binary classification에서) 자주 사용되는 algorithm이기도 합니다. Logistic regre.. 2023. 8. 13. 이전 1 다음
