2022. 1. 16. 17:29ㆍ머신러닝/딥러닝
Naive한 가중치 초기화 방법
가중치 초기화 문제는 활성화 함수의 입력값이 너무 커지거나 작아지지 않게 만들어주려는 것이 핵심입니다.
초기화 설정 문제 해결을 위한 Naive한 방법으론 평균이 0, 표준 편차가 1인 표준 정규 분포를 이용해 초기화하는 방법과 평균이 0, 표준 편차가 0.01인 정규분포로 초기화하는 방법이 있습니다.
Xavier 초기화 방법
가중치 초기화의 문제를 해결하기 위해 나온 방법 중 하나인 Xavier 초기화 방법은 현재 일반적인 딥러닝 프레임워크들이 표준적으로 이용하고 있습니다.
Xavier 초기화 방법은 앞 레이어의 노드가 n개일 때 표준 편차가 1/n1 / \sqrt{n}인 분포를 사용하는 것입니다. 즉 표준 정규 분포를 입력 개수의 제곱근으로 나누어주면 됩니다.
따라서 Xavier 초기화 방법을 사용하면 앞 레이어의 노드가 많을수록 다음 레이어의 노드의 초깃값으로 사용하는 가중치가 좁게 퍼집니다.
He 초기화 방법
He 초기화 방법은 활성화 함수로 ReLU를 쓸 때 활성화 결괏값들이 한쪽으로 치우치는 문제를 해결하기 위해 나온 방법입니다.
He 초기화 방법은 앞 레이어의 노드가 n개일 때 표준 편차가 2/n\sqrt{2} / \sqrt{n}인 분포를 사용하는 것입니다. 즉 표준 정규 분포를 입력 개수 절반의 제곱근으로 나누어주면 됩니다.
Xavier 초기화 방법은 표준 편차가 1/n1 / \sqrt{n}이라고 하였습니다. ReLU는 음의 영역에 대한 함숫값이 0이라서 더 넓게 분포시키기 위해 2\sqrt{2}배의 계수가 필요하다고 이해할 수 있습니다.
'머신러닝 > 딥러닝' 카테고리의 다른 글
| 딥러닝 기초 -3 딥러닝의 문제점 (과적합(overfiting)) (0) | 2022.01.16 |
|---|---|
| 딥러닝 기초 3 - 딥러닝의 문제점 (Quiz) (0) | 2022.01.16 |
| 딥러닝 기초 - 3 딥러닝의 문제점 (기울기 소실 문제(Vanishing Gradient)) (0) | 2022.01.16 |
| 딥러닝 기초 -3 딥러닝의 문제점 (Adagrad, RMSprop, Adam 최적화(optimize) 알고리즘) (0) | 2022.01.16 |
| 딥러닝 기초 -3 딥러닝의 문제점(모멘텀(Momentum)) (0) | 2022.01.16 |