[Machine Learning] 활성화 함수의 종류와 기능

대표적인 활성화함수

 

시그모이드 함수(Sigmoid Function)

특징

- machine learning에서 노드가 임계값을 넘을 때만 출력하도록 하는 활성화함수로 사용된다.

- 함숫값이 항상 (-1,1)에 존재하므로 그 결과를 확률로서 해석하기에 용이하다.

- classification에서 자주 사용된다.

 

계단함수(Step Function)

그래프의 모양이 마치 계단과 같다고 하여 붙여진 이름이다.

 

단극성 계단함수

- 임계값에 의해 0 혹은 1의 값을 갖는다.

 

양극성 계단함수

- 임계값에 의해 -1 혹은 1의 값을 갖는다.

 

python에서 코딩시에 step function에 값을 하나만 입력하면 문제가 없지만 배열이 input인 경우에는 우리가 원하는 0 혹은 1로 이루어진 값들이 아닌 true or false의 형태로 출력이 된다.

이를 해결하기 위해 boolean indexing을 하는 다음 2가지 방법이 있다.

# 방법1
def step(x):
	return (x > 0) * 1
    
# 방법2
def step(x):
	return np.array(x > 0, dtpye=np.int)

 

쌍곡탄젠트 함수(HyperBolic Tangent)

특징

- 시그모이드 함수와 유사하다.