SVD

$$ A = U\Sigma V^T \newline A: m\times n \text{ Matrix} \newline U: m\times m \text{ Orthogonal matrix} \newline \Sigma: m\times n \text{ Diagonal matrix} \newline V: n\times n \text{ Orthogonal matrix} $$

Orthogonal Matrix란

$$ UU^T = U^TU = I, \hspace{3mm} U^{-1} = U^T \newline VV^T = V^TV = I, \hspace{3mm} V^{-1} = V^T $$

Diagonal Matrix란

$$ \Sigma = \begin{bmatrix} \sigma_{1} & 0 \\ 0 & \sigma_{2} \end{bmatrix} $$

SVD의 기하학적 의미

직교하는 벡터집합에 대해서 선형 변환 후에 그 크기는 변하지만 여전히 직교할 수 있게 만드는 그 직교 벡터 집합은 무엇이고 변형 후의 결과는 무엇인가?

벡터 집합 V를 선형 변환(A)을 하게 되면 Sigma만큼 스케일이 변하게 되는데 그 결과로써에 Orthogonal 한 벡터를 찾을 수 있겠는가?라고 해석할 수 있음

"직교하는 벡터 집합" → V "선형 변환 후에" → A "그 크기는 변하지만" → Sigma "그 직교 벡터 집합" → U

U, V 계산 방법

SVD의 목적과 실시 예

정보량에 따라 A를 여러 Layer로 쪼개준다는 의미와 같음

즉, Scale이 큰 값은 대략적인 값을 표현하게 되고 작은 값까지 가게 되면 자세하고 구체적인 것까지 표현하게 됨