Gradient Descent [출처] http://en.wikipedia.org/wiki/Gradient_descent * 기울기 계산* 미분에 의해 계산* 기울기가 - 이면, 하강 즉, local minima 을 향해감, 반면 + 이면 local maxima을 향해감(hill climbing)* NN의 back-propagation에 적용됨, Hidden layer* 에러가 최소가 되는 값을 찾아 최적의 해를 구함.** 최적의 해를 보장하지 않음, local minima/maxima* 두가지 형태 적용 ?[3]** batch ** on-line* x(i+1) = xi+alpha*미분(xi) : maxima, = xi-alpha*미분(xi) : minima** alpha는 learning rate*** 다음 해로 갈 이동거리를 조절.. 더보기 이전 1 ··· 6 7 8 9 10 11 12 ··· 47 다음
