통계, IT, AI

1. 개요- 다음 파트로 넘어가기 전에 지금까지 배운 것을 구현하여 이해를 확실하게 하자. - 가장 간단한 경우부터 연습하기 위하여 변수가 1개인 회귀 문제를 선택한다. 즉, 신경망은 다음과 같다. - 출력층의 활성함수는 항등함수로 한다. 그러므로 $u_1=w_{11}{x}_1+b_1$이며 $z_1=f(u_1)=u_1$이다. - 연습에 사용할 $x_1$은 $U(-4,4)$에서 200개를 생성한다. - 출력 $d$는 $x_1-1+\epsilon$이며 $\epsilon$은 $N(0,1)$를 따른다. - 데이터의 형태는 그림 2와 같다. 붉은 선은 연습에서 추정해야 할 파라미터를 나타낸다.- minibatch를 사용하며 1개의 batch size는 20으로 하며 반복횟수(e..

3. 확률적 경사 하강법: Stochastic Gradient Descent 3.1 경사 하강법 - 학습의 목표는 $\mathit{w}=\underset{\mathit{w}}{argmin}E(\mathit{w})$을 찾는 것이다. 그런데 $E(\mathit{w})$가 일반적으로 볼록함수가 아니기 때문에 전역 극소점을 찾는 것이 매우 어렵다. 하지만 어떤 국소 극소점에서의 $E(\mathit{w})$가 충분히 작다면 문제를 해결할 수 있다. - 이러한 점을 찾는 방법에는 경사 하강법이 있다. - 먼저 다음과 같이 $E$의 기울기를 구한다. 단, $M$은 $\mathit{w}$의 성분 수이다. $$\nabla E(\boldsymbol{w})=\..

2. 앞먹임 신경망: Feedforward Neural Network 2.1 유닛의 출력 - 앞먹임 신경망은 층(layer) 모양으로 늘어선 유닛이 인접한 층과 결합한 구조이다. - 정보가 입력 측에서 출력 측으로만 흐르기 때문에 Feedforward라는 이름이 붙여졌다. - Multi-layer perceptron이라고도 부르지만 최초 제안된 perceptron은 입출력 함수가 step 함수로만 제한되었기 때문에 약간 다르다.- 유닛 한 개의 입출력의 예시는 아래와 같다. - 이 유닛이 받는 총 입력은 $u_1=b_1+w_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3+w_{14}{x}_4$이다.- $b_1$은 bias라고 부르며 1에 곱해지는 가중치이다.- $w_{ji}$는 입력에 대한 가중..

1. 시작하며 1.1 신경망 연구의 역사 1.1.1 다층 신경망에 대한 기대와 실망 - backpropagation의 등장하면서 신경망 연구에 진전이 있었으나 아래의 두가지 이유 때문에 붐이 끝나게 되었다.- 첫째, backpropagation은 다층 신경망에서의 overfitting을 막을 수 없었다. - 둘째, 이론을 만들기 어려워 연구가 어려웠다.- 단, Convolutional Neural Network; CNN은 다층 신경망에서 학습에 성공했고 특히 이미지 인식에서 좋은 성능을 보였으나, 신경망 연구에 대한 관심이 떨어지면서 CNN 또한 그렇게 되었다. 1.1.2 다층 신경망의 사전훈련(pre-training) - 다층 신경망에 대한 사전훈련을 통하여 학습이 원활하게 이루어짐이 보고됨에 따라 신..

1. 개요- 목표는 이 논문을 이해하고 딥러닝을 이용하여 화풍을 모방하는 시스템을 만드는 것이다. 해당 논문은 아래와 같이 이미 오래 전부터 화제가 되었던 것이다. SBS 뉴스: 이건 '반 고흐'의 그림이 아닌 '컴퓨터'의 그림입니다. 2. 계획- 딥러닝이 신경망(Neural Network)의 난제를 해결하면서부터 발전했다는 것은 알기 때문에 신경망에 대한 공부를 선행하는 것으로 한다. - 라는 책이 공부하기에 적합해 보여 이 책을 요약하면서 따라가는 것으로 한다. - 단, 목표로 하는 것을 이루기 위해서는 이 책에서는 합성곱 신경망(Convolutinal Neural Network; CNN)까지만 이해하면 되는 것 같으니 거기까지만 진행하며 이후의 과정은 다른 자료를 참고한다.- 위 책은 상세한 구현은..