딥러닝 #2

■ Gradient Descent(경사 하강법)

딥러닝이 똑똑해지기 위해 정답을 찾아가는 '가장 효율적인 길 찾기 방법'입니다.

쉬운 비유:  안개 낀 산에서의 길 찾기 

당신은 지금 아주 깊은 산속에 있습니다. 목표는 가장 낮은 곳에 있는 '마을(최적의 가중치)'로 내려가는 것입니다. 하지만 안개가 너무 심해서 앞이 전혀 보이지 않습니다. 이때 당신은 어떻게 행동할까요?

▶ 발의 감각으로 경사 확인:      발을 이리저리 뻗어보며 지금 서 있는 곳에서 가장 가파르게 아래로 내려가는 방향을 찾습니다.     (이것이 Gradient, 즉 기울기입니다.) ▶ 한 걸음 내딛기:      그 방향으로 아주 조금 이동합니다. (이때 보폭의 크기가 Learning Rate, 학습률입니다.) ▶ 반복:      다시 그 자리에서 가장 낮은 쪽을 찾고, 또 한 걸음 이동합니다. ▶ 도착:     이 과정을 계속 반복하다 보면 결국 더 이상 내려갈 곳이 없는 가장 낮은 골짜기(오차가 최소인 지점)에 도착하게 됩니다.

경사 하강법은 인공지능이 틀린 정도(오차)를 확인한 뒤, 그 오차를 줄이기 위해 가장 가파른 내리막길을 따라 조금씩 정답(최적의 값)을 찾아가는 과정입니다. 이 과정이 반복되면서 인공지능의 예측력은 점점 더 정교해집니다!

 

 

---