goormNLP [Advanced Eigendecomposition (2)]

Auspice by Goorm, Manage by DAVIAN @ KAIST

Lecture 8: Advanced Eigendecomposition

2022-01-19

저번 수업 내용을 상기해보면 n x n matrix A가 orthogonally diagonalizable하다면 아래와 같은 식이 성립하게 된다는 것을 알게되었다.

또한 EVD(고유값 분해)를 Algebraic / Geometric multiplicity 관점으로 바라보았다.

내일 수업에서 보게될 SVD(특이값 분해)를 배우기 전에 오늘은 Spectral Decomposition에 대해 공부를 진행하였다.

SVD는 행렬의 스펙트럼 이론을 임의의 직사각행렬에 대해 일반화한 것으로 볼 수 있다. 스펙트럼 이론을 이용하면 직교 정사각행렬을 고유값을 기저로 하여 대각행렬로 분해할 수 있다.

• Spectral decomposition

An n x n symmetric matrix A has the following properties:

1. A has n real eigenvalues, counting multiplicities.

2. The dimension of the eigenspace for each eigen value λ equals the multiplicity of λ as a root of the characteristic equation. The dimension of the eigenspace ==> Geometric multiplicity. The multiplicity of λ ==> Algebraic multiplicity.

3. The eigenspaces are mutually orthogonal.
4. A is orthogonally diagonalizable.