과적합(Overfitting) 과적합(Overfitting)은 모델이 학습 데이터에만 너무 치중되어 학습 데이터에 대한 예측 성능은 좋으나 테스트 데이터에 대한 예측 성능이 떨어지는 경우를 말합니다. 모델이 과적합되면 일반화되지 않은 모델이라고도 합니다. 과적합이 발생하는 원인은 아래와 같습니다. 데이터의 퍼진 정도, 즉 분산(variance)이 높은 경우 너무 많이 학습 데이터를 학습시킨 경우 (epochs가 매우 큰 경우) 학습에 사용된 파라미터가 너무 많은 경우 데이터에 비해 모델이 너무 복잡한 경우 데이터에 노이즈 & 이상치(outlier)가 너무 많은 경우 L1, L2 정규화(Regularization) 기법 L1 정규화 L1 정규화는 가중치(weight)의 절댓값에 비례하는 손실(loss)이 ..

Naive한 가중치 초기화 방법 가중치 초기화 문제는 활성화 함수의 입력값이 너무 커지거나 작아지지 않게 만들어주려는 것이 핵심입니다. 초기화 설정 문제 해결을 위한 Naive한 방법으론 평균이 0, 표준 편차가 1인 표준 정규 분포를 이용해 초기화하는 방법과 평균이 0, 표준 편차가 0.01인 정규분포로 초기화하는 방법이 있습니다. Xavier 초기화 방법 가중치 초기화의 문제를 해결하기 위해 나온 방법 중 하나인 Xavier 초기화 방법은 현재 일반적인 딥러닝 프레임워크들이 표준적으로 이용하고 있습니다. Xavier 초기화 방법은 앞 레이어의 노드가 n개일 때 표준 편차가 1/n1 / \sqrt{n}1/n​인 분포를 사용하는 것입니다. 즉 표준 정규 분포를 입력 개수의 제곱근으로 나누어주면 됩니다. ..

Q.딥러닝 모델 학습의 문제점으로 옳지 않은 것을 고르세요. 1. 더 복잡한 신경망을 학습시키는 과정에서 출력값과 멀어질수록 학습이 잘 안되는 현상이 발생한다 2. 테스트 데이터에 모델이 과하게 최적화되어 학습용 데이터에 대한 모델의 성능이 저하되는 문제가 생긴다. 3. 가중치의 초기값 설정 방식에 따른 딥러닝 모델의 성능 차이가 크게 발생한다. 4. 데이터의 개수가 증가하면서 딥러닝 모델 학습에 소요되는 시간도 함께 증가하는 문제가 생겼다. 더보기 정답 2 딥러닝 모델 학습의 문제점 중 하나인 과적합 문제는 학습용 데이터에 모델이 과하게 최적화되어 테스트 데이터에 대한 모델 성능이 저하되는 문제입니다. 학습 속도 문제와 최적화 알고리즘 Q.최적화 알고리즘에 대한 설명으로 옳은 것을 모두 고르세요. 1...

기울기 소실 문제(Vanishing Gradient) 확인하기 역전파(back propagation) 알고리즘이란 우리의 목푯값과 실제 모델이 예측한 예측값이 얼마나 차이 나는지 구한 후, 오차값을 다시 뒤로 전파해가며 가중치(weight)들을 업데이트하는 과정이라고 배웠습니다. 그러나 깊은 층의 모델에선 역전파시에 전달되는 손실 함수(loss function)의 gradient 값에 활성화 함수인 sigmoid 함수의 0에 가까운 기울기 값이 계속해서 곱해지면서 결국 가중치 업데이트가 잘 안되는 문제가 생기는데, 이것이 바로 기울기 소실 문제(Vanishing Gradient)입니다. 모델의 층이 깊은 경우 히든층의 활성화 함수로 'relu'를 주로 사용하며 최근에는 활성화 함수로 sigmoid를 잘 ..

Adagrad, RMSprop, Adam 최적화(optimize) 알고리즘 Adagrad Adagrad(Adaptive Gradient) 최적화 알고리즘은 손실 함수(loss function)의 값을 최소로 만드는 최적의 가중치를 찾아내기 위해 learning rate를 조절해 하강하는 방법 중 하나입니다. 기존 방식이 가중치들의 업데이트를 같은 속도로 한꺼번에 하는 방법이었다면, Adagrad는 가중치 각각의 업데이트 속도를 데이터에 맞추어(adaptively) 계산해 적절한 learning rate로 하강하도록 합니다. Adagrad tf.keras.optimizers.Adagrad(lr, epsilon, decay) : lr : 학습률 (learning rate) (lr >= 0), 기본값 0.1 ..

모멘텀(Momentum) SGD는 손실 함수(loss function)의 최솟값에 도달하는 동안 Gradient가 진동하여 최적값에 도달하기까지의 시간이 오래 걸리는 단점을 가지고 있습니다. 이를 보완하기 위해 사용되는 모멘텀(momentum) 기법은 관성의 개념을 이용해 최적값에 좀 더 빠르게 도달할 수 있도록 도와줍니다. SGD에서 momentum을 사용하기 위한 함수/라이브러리 tf.keras.optimizers.SGD(lr, momentum): lr : 학습률 (learning rate) (lr >= 0), 기본값 0.1 momentum : 진동을 막아주고 SGD를 가속하는 파라미터 (momentum >= 0), 기본값 0.9 모델을 테스트하기 위한 함수/라이브러리 score = model.eva..