목록Chain rule (1)

통계, IT, AI

scalar를 matrix로 미분하기

1. 개요 CNN(Convolutional Neural Network)를 아무런 기초없이 구현하려고 하다보니 여러가지 어려움이 있었다. 그러던 중 이라는 책에서 좋은 레퍼런스를 발견하여 그것을 공부하고 있다. 그런데 Backpropagation을 그래프로 해석하는 과정에서 스칼라(scalar)를 매트릭스(matrix)로 미분하는 부분[각주:1]이 쉽게 이해가 가지 않아 따로 정리한다. 어떤 매트릭스 \(C_{p \times k }\)를 \(A_{p \times q}B_{q \times k}\)로 표현할 수 있고, 매트릭스를 스칼라로 보내는 함수 \(f\)가 있어 \(s=f(C)\)일 때, \(s\)에 대한 \(A\), \(B\)의 미분이 각각 다음과 같다. $$\frac{\partial s}{\parti..
잡지식 2017. 10. 5. 13:05
Prev 1 Next