ReLU 와 ReLU 의 변형들 ; 기울기 소실 문제

 

 

시그모이드 함수를 사용하면 입력의 절대값이 클 경우에

시그모이드 함수의 출력값이 0 또는 1에 수렴하면서 기울기가 0 에 가까워진다.

Sigmoid Function

 

sigmoid 미분 결과

 

그래서 역전파 과정에서 전파시킬 기울기가 점차 사라져 입력층 방향으로 갈수록 

역전파가 되지 않는 기울기 소실 문제가 발생할 수 있다.

 

기울기 소실을 완화하는 가장 간단한 방법은

은닉층의 활성화 함수로 시그모이드나 Tanh 대신 ReLU 나 변형함수와 같은 Leaky ReLU 를 사용하는 것 !

 

정리

• 은닉층에서는 시그모이드 함수를 사용하지 말 것
• Leaky ReLU 를 사용하면 모든 입력값에 대해서 기울기가 0에 수렴하지 않아 죽은 LeLU 문제를 해결한다.
• 은닉층에서는 ReLU 나 Leaky ReLU 와 같은 ReLU 함수의 변형을 사용할 것

 

 

 

참고 : https://wikidocs.net/61375