cost function3 5-2. Softmax의 Cost function (Cross entropy) 앞 글(https://alifestudy.tistory.com/58)에서는 위 그림과 같은 Softmax의 개념에 대해 다뤄보았고, 이번 글에서는 Softmax algorithm 에서 Cost function으로 사용하는 Cross entropy에 대해 알아보겠습니다. Cross entropy는 아래와 같이 Logistic regression의 Cost function과 유사한 형태를 가지고 있습니다. (첫 번째 식이 Logistic regression의 cost function, 두 번째가 Cross entropy 입니다) N: 데이터 항목의 수 / C: Category의 수 / y, L: target data (0 또는 1) / X: input matrix Logistic regression의 Cos.. 2023. 8. 20. 4-2. Logistic regression의 Cost function, Gradient descent 앞서 다루었던 Linear regression의 Hypothesis 식에 대한 cost function은 예측값과 실제값의 차이의 제곱을 평균(MSE, Mean Square Error)으로 한 형태를 갖고 있는 아래 식과 같은 2차함수의 형태였습니다. 따라서 어떤 지점에서 시작하든 Gradient descent algorithm으로 최소가 되는 값을 찾을 수 있었습니다. (참고: https://alifestudy.tistory.com/52) 하지만, Logistic regression의 Hypothesis 식은 Linear regression과 같은 선형이 아닌, 비선형인 Sigmoid 함수이기 때문에 Linear regression과 같은 MSE를 Cost function을 사용하면 적절한 최소값을 찾.. 2023. 8. 15. 2. Linear regression의 cost 함수를 최소화하는 방법 지난 포스팅에서는 1. Linear regression(https://alifestudy.tistory.com/50)의 Hypothesis 식과, Cost function을 최소화하는 parameter 'W, b' 가 우리가 찾으려는 Linear regression Hypothesis 식의 parameter라는 것을 다루었습니다 (데이터를 가장 잘 표현하는 parameter). 그러면 이번엔, Cost function을 최소화 하는 parameter를 어떻게 찾을 수 있는지 알아보겠습니다. 먼저, Hypothesis 식을 아래와 같이 세웠었지만, Cost function 을 간단하게 나타내기 위해 다음과 같은 Hypothesis 식과 앞서 세웠던 cost function을 생각해보겠습니다. 그리고, 아까.. 2023. 7. 30. 이전 1 다음
