행렬 미적분학(Matrix Calculus)

[경고] 아래 글을 읽지 않고 "행렬 미적분학"를 보면 바보로 느껴질 수 있습니다.

1. 벡터 미적분학

2. 행렬

3. 행렬식

숫자가 아닌 행렬(matrix)은 어떻게 미분(differentiation)할까? 행렬은 숫자가 2차원으로 엮여서 미분이 매우 어렵다고 오판할지 모르지만, 행렬의 미분을 위한 방법론은 이미 익혔다. 벡터를 어떻게 미분했는지 생각해보자. [그림 1]처럼 매개변수 $t$를 정의한 후, 벡터를 $t$에 대해 미분하면 손쉽게 벡터의 미분을 정의할 수 있다. 

[그림 1] 매개변수 $t$를 이용한 벡터 $\overline{r}(t)$의 미분(출처: wikipedia.org)

벡터의 차원에 관계없이 임의의 벡터 $\overline{r}(t)$를 다음과 같이 미분할 수 있다.

                   (1)

여기서 $\overline{r}(t)$는 $t$에 따라 변한다. 그러면 식 (1)처럼 매개변수 $t$를 이용해서 임의 행렬 $\mathbf{A}(t)$의 미분을 다음처럼 정의한다.

                  (2)

여기서 $\mathbf{A}(t)$의 원소는 $t$에 따라 변할 수 있다.

행렬식 $|\mathbf{A}|$를 행렬 원소 $a_{ij}$로 미분해보자. 행렬식의 라플라스 전개(Laplace expansion)에 편미분을 적용한다.

                  (3)

여기서 $\mathbf{A}$의 차원은 $n\times n$, $\mathrm{cof}(a_{ij})$는 $a_{ij}$의 여인자(cofactor), ${\delta }_{kj}$는 크로네커 델타(Kronecker delta)이다. 우리 예상과는 많이 다르게 행렬식의 미분은 매우 간단한 결과인 여인자가 된다. 왜냐하면 여인자의 정의에 의해 $\mathrm{cof}(a_{ij})$는 $a_{ij}$를 포함하지 않아서 여인자의 편미분은 항상 $0$이 되기 때문이다. 식 (3)에서 얻은 행렬식의 미분은 야코비 공식(Jacobi's formula)으로 알려져 있다. 야코비 공식은 딸림 행렬(adjugate or adjoint matrix) $\mathrm{adj}(\mathbf{A})$을 이용한 행렬의 곱으로 표현할 수도 있다. 매개변수 $t$에 대한 미분을 완전 미분(exact differential)으로 바꾸어 증명한다.

                  (4)

행렬 원소의 곱을 포함하고 있는 식 (4)를 행렬의 곱으로 바꾸기 위해 다음 항등식을 사용한다.

                  (5)

                  (6)

여기서 $\mathrm{tr}(\cdot )$은 행렬의 대각합(trace), $\mathbf{C}$는 여인자 $\mathrm{cof}(a_{ij})$를 원소로 하는 행렬, $\mathrm{adj}(\mathbf{A})$ = ${\mathbf{C}}^T$이다.