Theorem 2.0.1
$\mathop{\mathrm{rank}}(A) = r>0$ である $m \times n$ 行列 $A\in \mathop{\mathrm{Mat}}_{m,n}(\mathbb R)$ に対して次の式を満たす $n$ 次直交行列 $U\in O(n)$, $m$ 次直交行列 $V\in O(m)$, および正の広義単調減少列 $\sigma_1\geq \sigma_2 \geq \dots \geq \sigma_r > 0$ が存在する:

ここで, (2) における $\Sigma$ は $1\leq i \leq r$ のとき $(i,i)$ 成分が $\sigma_i$ でありそれ以外の成分はすべて 0 である行列である. (1) の右辺を $A$ の特異値分解とよび, $\sigma_1,\sigma_2,\dots,\sigma_r$ を特異値とよぶ.

Definition 2.1.1 (記号の準備)

• $\mathbb R$ は実数のなす集合とする. $x\in\mathbb R$ と表記されていたら, "$x$ は実数である"と解釈する.

• $A \coloneqq B$ と書かれていたら $A$ を $B$ で定義するという意味である.

• $\mathop{\mathrm{Mat}}_{m,n}(\mathbb R)$ は $m$ 行 $n$ 列の成分が $\mathbb R$ の行列の集合をあらわす. $m=n$ であれば $\mathop{\mathrm{Mat}}_{m,n}(\mathbb R)$ を $\mathop{\mathrm{Mat}}_{m}(\mathbb R)$ と略記することもある. ここでは行列の成分が実数のみの場合を扱う.

• $A\in\mathop{\mathrm{Mat}}_{n}(\mathbb R)$ はしばしば $n$ 次正方行列とよばれる.

• 行列 $A\in\mathop{\mathrm{Mat}}_{m,n}(\mathbb R)$ に対して $A^\top$ は $A$ の転置行列を表す. 定義により $A^\top\in\mathop{\mathrm{Mat}}_{n,m}(\mathbb R)$ である.

• $\lambda_1,\dots,\lambda_n\in \mathbb R$ に対して , $\mathop{\mathrm{diag}}(\lambda_1, \lambda_2,\dots,\lambda_n)$ を $(i,i)$ - 成分が $\lambda_i$ である対角行列とする. すなわち,

と定義する.

• $O(n)$ は $U^\top U = U U^\top=I_n$ を満たす $U\in \mathop{\mathrm{Mat}}_n(\mathbb R)$ がなす集合とする:

Definition 2.1.2

• 二つの $n$ 次元ベクトル $\bm{x}, \bm{y}\in\mathbb R^n$ に対する標準内積を $\left\langle \bm{x},\bm{y}\right\rangle$ を次で定義する:

• またベクトル $\bm{v}$ のノルムは $\left\lVert \bm{v}\right\rVert=\sqrt{\left\langle \bm{v}, \bm{v}\right\rangle}$ で定める.

ここで $I_n$ は単位行列である.

Proposition 3.1.2 (実対称行列の対角可能性)
$n$ 次対称行列 $A$ は適当な直交行列により対角化できる. すなわち, 次の条件を満たす $U\in O(n)$ 及び $\lambda_1,\lambda_2,\dots,\lambda_n\in\mathbb R$ が存在する:

さらに $\lambda_i\ (1\leq i \leq n)$ は $A$ の固有値になる.

Definition 3.2.1 (二次形式)

• $A$ を $n$ 次実対称行列とする. $\bm{x}\in\mathbb R^n$ に対して $q_A(\bm{x}) = \bm{x}^\top A \bm{x}$ を $A$ が定める二次形式 (quadratic form) と呼ぶ. $\bm{x}=\left[x_1,\dots,x_n\right]^\top$, $A=[a_{ij}]_{i,j=1}^{n}$ と成分表示した場合に, $q_A(\bm{x})$ は次のようになる:

• また, 二次形式は次のように内積を用いて表すことができることに注意する:

Example 3.2.2 ($n=2$ の場合)

using SymPy

@vars x1 x2 real=true
@vars a11 a12 real=true
@vars a21 a22 real=true

a21 = a12
A = [
a11 a12
a21 a22
]

x=[
  x1
  x2
]
MyUtils.fdsympy(x'A*x |> expand)

Example 3.2.3 ($n=3$ の場合)

using SymPy

@vars x1 x2 x3 real=true
@vars a11 a12 a13 real=true
@vars a21 a22 a23 real=true
@vars a31 a32 a33 real=true

a21 = a12
a31 = a13
a32 = a23

A = [
a11 a12 a13
a21 a22 a23
a31 a32 a33
]

x=[
  x1
  x2
  x3
]
MyUtils.fdsympy(x'A*x |> expand)

Proposition 4.0.3

• $A^\top A$ と $A A^\top$ は共通した正の固有値を持つ.

• $\mathop{\mathrm{rank}}(A^\top A) = \mathop{\mathrm{rank}}(A A^\top)$

• $\bm{v}_i = \frac{1}{2} A \bm{u}_i\ (1\leq i \leq r)$ は正規直交系をなす.

Lemma 4.0.4
$\mathop{\mathrm{Mat}}_{m,n}(\mathbb R)$ に対して次が成り立つ: