딥러닝: 화풍을 모방하기 (1) - 책 요약: 1. 시작하며

1. 시작하며

1.1 신경망 연구의 역사

1.1.1 다층 신경망에 대한 기대와 실망

- backpropagation의 등장하면서 신경망 연구에 진전이 있었으나 아래의 두가지 이유 때문에 붐이 끝나게 되었다.

- 첫째, backpropagation은 다층 신경망에서의 overfitting을 막을 수 없었다.

- 둘째, 이론을 만들기 어려워 연구가 어려웠다.

- 단, Convolutional Neural Network; CNN은 다층 신경망에서 학습에  성공했고 특히 이미지 인식에서 좋은 성능을 보였으나, 신경망 연구에 대한 관심이 떨어지면서 CNN 또한 그렇게 되었다.

1.1.2 다층 신경망의 사전훈련(pre-training)

- 다층 신경망에 대한 사전훈련을 통하여 학습이 원활하게 이루어짐이 보고됨에 따라 신경망 연구에 활기가 돌았다.

- 제프리 힌턴은 Deep Belief Network; DBN을 연구하였는데 DBN은 다층구조를 갖는 graph model이다.

- DBN은 층수가 늘어나면 학습이 어려워졌는데, 이에 대한 대책으로 그는 각 층을 Restricted Boltzmann Machine; RBM이라는 단층 신경망으로 분해하였다.

- 그리고 이들 RBM에 입력층과 거리가 가까운 순으로 비지도(unsupervised)학습을 수행하는 방법을 제안하였다.

- 이 방법으로 학습시킨 DBN은 학습이 잘 되었고 이를 일반적인 신경망으로 전환해도 그러하다는 것을 발견하였다.

- DBN이나 RBM보다 단순한 autoencoder를 사용하여도 사전훈련이 가능하다.

- autoencoder는 목표 출력이 입력과 같은 신경망으로 다층 신경망을 단층으로 분리한 후 각 층을 autoencoder로 보고 입력층과 가까운 순서대로 학습한다.

- 이렇게 얻은 초기값으로 본래의 다층 신경망을 학습시키면 학습이 잘됨이 보고되었다.

1.1.3 자질에 대한 학습

- 다층 신경망에서는 자료가 특정한 방식으로 포착된다.

- CNN의 구조를 추가한 DBN을 사용하여 사물의 이미지를 학습하면 그 특징이 신경망의 특정한 층과 대응하는 계층성을 갖는다는 사실이 보고되었다.

- 많은 수의 이미지를 학습시키면 특정 물체에만 반응하는 유닛이 자연적으로 생성되곤 한다.

1.1.4 딥러닝의 융성

- 이후 연구에 의하여 딥러닝의 우수성이 확인되었고 많은 곳에 응용되고 있지만 사실 딥러닝은 방법론의 집합으로 실제 적용과 구현에는 여러가지 방법이 사용된다.

- 음성 인식에서는 층과 층 사이의 유닛이 모두 결합된 신경망이 사용되며 사전훈련을 거친다.

- 이미지 인식에서는 CNN이 주류를 이루며 사전훈련은 필요하지 않다.

- 자연어처리나 음성 인식의 일부에는 Recurrent Neural Network; RNN이 사용된다.

- 충분한 양의 데이터 확보가 가능하며 컴퓨터의 연산능력이 향상되었다는 점도 딥러닝 발전에 영향을 미쳤다.