GD vs SGD(Stochastic Gradient Descent) GD(Gradient Descent) 는 시작 지점에서 기울기의 반대 방향으로 하강하면서 손실 함수(loss function)를 최소화하는 지점을 찾기 위한 가장 직관적인 방법입니다. 이처럼 전체 데이터 셋을 가지고 학습하게 되면 안정적이긴 하지만, 계산량과 학습 비용이 많아지게 됩니다. 이때 전체 데이터 셋이 아닌, 무작위로 뽑은 데이터들에 대한 Gradient Descent를 진행하고, 이를 반복하며 정확도를 찾아 나가는 것을 SGD(Stochastic Gradient Descent)라고 합니다. 이번 실습에서는 동일한 모델 생성 및 학습을 통하여 두 최적화 기법을 비교해보도록 하겠습니다. 데이터셋은 IMDB 영화 리뷰 데이터 셋을..

앞에서 단층 퍼셉트론으로 해결할수 없는 XOR gate 문제를 보았다. 이를 해결하기위해 다층 퍼셉트론이 등장한다. - 1986년 첫 번째 빙하기의 끝 (Boom times) - 비 선형적인 문제 해결 단층 퍼셉트론은 입력층과 출력층만이 존재. - 단층 퍼셉트론을 여러 층으로 쌓아보기 - XOR gate 예시 XOR 연산은 하나의 레이어를 사용하여 표현하는 것은 불가능 하지만, NAND와 OR 연산을 함께 사용할 시 표현 가능 - 다층 퍼셉트론 (Multi Layer Perceptron) 단층 퍼셉트론을 여러 개 쌓은 것을 다층 퍼셉트론이라고 부름. - 히든층(Hidden Layer) 입력층과 출력층 사이의 모든 Layer - 히든층의 개수와 딥러닝 히든층이 3층 이상일 시 깊은 신경망이라는 의미의 De..

- 하나의 선으로 분류 할 수 없는 문제의 등장 - 비 선형적인 논리 게이트, XOR gate - 단층 퍼셉트론으로는 해결 불가능한 XOR gate - 1969년 First AI winter 이 온 이유 - 비 선형적 접근 방법의 필요성 Q. 비 선형적인 문제에 관한 설명으로 옳지 않은 것? 1. 비 선형적인 문제란 하나의 선만으로 주어진 데이터를 분류할 수 없는 문제를 뜻함 2. XOR gate는 비 선형적인 논리 게이트다. 3. XOR gate는 입력값이 (0,1) 일 때 출력값이 0 이다. 4. XOR 문제를 해결하지 못해서 첫 번째 AI 겨울이 왔다. 더보기 XOR gate의 입력값에 따른 출력값 input (x1) input (x2) XOR output(y) 0 0 0 0 1 1 1 0 1 1 ..

논리 회로의 역할을 수행하는 퍼셉트론 사람의 신경계 ( 뉴런 -> 신경망 -> 지능) 딥러닝 ( 퍼셉트론 -> 인공 신경망 -> 인공지능) 논리 회로의 정의 일정한 논리 연산에 의해 출력을 얻는 회로를 의미 AND, OR, NAND, NOR 단층 퍼셉트론(Single Layer Perceptron) Input Layer - > Output Layer Input Layer 외부로 부터 데이터를 입력 받는 신경망 입구의 Layer Output Layer 모델의 최종 연산 결과를 내보내는 신경망 출구의 Layer 0,1 데이터를 계산하던 퍼셉트론 논리 회로에서 확장 -> 선형 분류기 로써 데이터 분류 가능

딥러닝 개론 01 딥러닝이란 무엇인가? 인공지능 > 머신러닝 > 딥러닝 딥러닝 : 머신러닝의 여러 방법론 중 하나, 인공신경망에 기반하여 컴퓨터에게 살마의 사고방식을 가르치는 방법 인공 신경망? 생물학의 신경망에서 영감을 얻은 학습 알고리즘, 사람의 신경 시스템을 모방 Input - Hidden - Output 레이어 사람의 신경 시스템(Neuron system) - 두뇌의 가장 작은 정보처리 단위 인공신경망의 특징 모델 스스로 데이터의 특성을 학습하여 지도학습(ex: classfication), 비지도 학습(ex: clustering) 모두 적용 가능 input : 데이터 output : 회귀분석(real value), 분류(class), 패턴파악 ... 딥러닝의 역사 1958 perceptron 19..