딥러닝 기초 -3 딥러닝의 문제점(모멘텀(Momentum))

모멘텀(Momentum)

SGD는 손실 함수(loss function)의 최솟값에 도달하는 동안 Gradient가 진동하여 최적값에 도달하기까지의 시간이 오래 걸리는 단점을 가지고 있습니다. 이를 보완하기 위해 사용되는 모멘텀(momentum) 기법은 관성의 개념을 이용해 최적값에 좀 더 빠르게 도달할 수 있도록 도와줍니다.

 

SGD에서 momentum을 사용하기 위한 함수/라이브러리

• tf.keras.optimizers.SGD(lr, momentum):
  • lr : 학습률 (learning rate) (lr >= 0), 기본값 0.1
  • momentum : 진동을 막아주고 SGD를 가속하는 파라미터 (momentum >= 0), 기본값 0.9

모델을 테스트하기 위한 함수/라이브러리

• score = model.evaluate(test_data, test_labels)
  : 테스트 데이터와 테스트 label에 대한 모델의 성능을 나타냅니다. compile 과정에서 어떤 평가 방법(metrics)을 쓰느냐에 따라 다양한 성능 지표가 나옵니다.
• test_data: 테스트 데이터
• test_labels: 테스트 데이터의 label