하이퍼볼릭 탄젠트(tanh) 를 사용하는 이유

 

1. 활성 함수란 ?

: 퍼셉트론의 출력에 의미를 부여해 주며, 일반적으로 비선형 함수이다.

 

 

2. sign 함수의 문제점

: 결정 경계로부터의 거리를 신경쓰지 않고 , 단지 분류를 잘 했는지 아닌지에만 초점을 맞춘다.

 

 

3. tanh 함수 (Hyperbolic tangent 함수)

 

• 사인함수를 부드러운 S자 형태의 함수로 바꿀 수 있다.
• 음의 무한대로 가면 -1 , 양의 무한대로 가면 +1 로 점근
• 출력값이 실수로 연속되게 나타난다. (Soft Decision)

 

4. tanh 함수의 사용 이유

- 기울기 소실 문제

 

- 활성화 함수로 시그모이드 함수를 사용하였을 때 다음과 같이 기울기 소실 문제가 발생한다

  이 문제를 조금 완화하고자 사용하는 활성화 함수가 tanh 이다.

 

 

 

- tanh 함수를 사용하여도 계층이 깊어지면 여전히 기울기 소실 발생 ! 

 

 

 

 

 

출처 : 패스트캠퍼스