딥러닝 기초 3 - 딥러닝의 문제점 (Quiz)

Q.딥러닝 모델 학습의 문제점으로 옳지 않은 것을 고르세요.

 

1. 더 복잡한 신경망을 학습시키는 과정에서 출력값과 멀어질수록 학습이 잘 안되는 현상이 발생한다

 

2. 테스트 데이터에 모델이 과하게 최적화되어 학습용 데이터에 대한 모델의 성능이 저하되는 문제가 생긴다.

 

3. 가중치의 초기값 설정 방식에 따른 딥러닝 모델의 성능 차이가 크게 발생한다.

 

4. 데이터의 개수가 증가하면서 딥러닝 모델 학습에 소요되는 시간도 함께 증가하는 문제가 생겼다.

 

정답 2

딥러닝 모델 학습의 문제점 중 하나인 과적합 문제는 학습용 데이터에 모델이 과하게 최적화되어 테스트 데이터에 대한 모델 성능이 저하되는 문제입니다.

 

 

학습 속도 문제와 최적화 알고리즘

 

Q.최적화 알고리즘에 대한 설명으로 옳은 것을 모두 고르세요.

 

1. SGD: GD에 비해 다소 계산 속도가 느릴 수 있지만, 보다 안정적으로 더욱 정확한 결괏값을 낸다.

 

2. AdaGrad: 많이 변화했던 변수들은 learning rate를 작게 하고, 많이 변화하지 못한 변수들은 learning rate를 크게 한다.

 

3. RMSProp: 무한히 학습하다 보면 변수에 대한 갱신량이 0이 되는 AdaGrad의 문제점을 해결한 최적화 알고리즘이다.

 

4. Adam: AdaGrad 최적화 알고리즘과 Momentum 개념을 함께 사용한 최적화 알고리즘이다.

정답 2, 3

 

• SGD: GD에 비해 다소 부정확할 수 있지만, 미니 배치 단위로 손실 함수 계산을 하기 때문에 훨씬 빠르게 최적의 변수 값을 찾습니다.
• Adam: RMSProp 최적화 알고리즘과 Momentum 개념을 함께 사용한, 가장 발전된 최적화 알고리즘입니다.

 

 

기울기 소실 문제와 방지 기법

 

Q.딥러닝 모델의 학습에서 발생하는 기울기 소실 문제와 그 방지 기법에 대한 설명으로 옳지 않은 것을 고르세요.

 

1. 딥러닝 모델은 나의 목표 target 값과 모델이 예측한 목표 output 값이 얼마나 차이나는지 구한 후, 그 오차값을 다시 뒤로 전파해가며 가중치를 갱신하는 알고리즘을 사용한다.

 

2. 기울기 소실 문제는 활성화 함수로 sigmoid 함수를 사용하기 때문에 발생하는 문제이다.

 

3. sigmoid 함수는 입력값의 절댓값이 클수록 해당 입력값에 대한 기울기가 0에 가까워진다.

4. 신경망의 hidden layer에 tanh 함수를 사용함으로써 기울기 소실 문제를 어느 정도 해결할 수 있다.

 

정답 4

신경망의 hidden layer에 ReLU 함수를 사용함으로써 기울기 소실 문제를 어느 정도 해결할 수 있었습니다.

 

 

 

 

 

초기값 설정 문제와 방지 기법

 

Q. 가중치 초기화와 그 기법들에 대한 설명으로 옳지 않은 것을 고르세요.

 

1. 가중치 초기화의 목적은 활성화 함수의 입력값이 너무 커지거나 작아지지 않게 하는 것이다.

 

2. Sigmoid, tanh의 경우 Xavier 초기화 방법이 효율적이다.

 

3. He 초기화 방법은 표준 정규 분포를 입력 개수의 제곱근으로 나누어 준 값을 사용한다.

 

4. ReLU의 경우 He 초기화 방법이 효율적이다.

정답 3

Xavier 초기화 방법은 표준 정규 분포를 입력 개수의 제곱근으로 나누어 준 값을 사용합니다.

반면, He 초기화 방법은 표준 정규 분포를 입력 개수 절반의 제곱근으로 나누어 준 값을 사용합니다.

 

 

과적합 문제와 방지 기법

 

Q. 과적합 문제를 방지하기 위한 기법들에 대한 설명 중 옳은 것은?

 

1. L1 정규화는 가중치의 제곱의 합을 규제항으로 정의한다.

 

2. L2 정규화는 작은 가중치들을 거의 0으로 수렴시켜 중요한 가중치만 남긴다.

 

3. 드롭 아웃은 각 레이어마다 일정 비율의 뉴런을 drop시켜 나머지 뉴런들만 학습시킨다.

 

4. 배치 정규화를 사용하면 가중치 초기화에 대한 문제가 더욱 중요해진다

정답 3

 

• L1 정규화는 가중치의 절댓값의 합을 규제항으로 정의합니다. L1 정규화를 적용하면 작은 가중치들이 거의 0으로 수렴하여 몇 개의 중요한 가중치들만 남습니다.
• L2 정규화는 가중치의 제곱의 합을 규제항으로 정의합니다. L2 정규화를 적용하면 큰 값을 가진 가중치를 더욱 제약합니다. L1 정규화에 비해서 0으로 수렴하는 가중치들은 적습니다.
• 배치 정규화를 사용하면 가중치 초기화에 크게 의존하지 않습니다. 뿐만 아니라 L1, L2 정규화, 드롭 아웃에 대한 필요성도 감소합니다.