线性代数(Linear Algebra)

1. 标量、向量、矩阵和张量

1.1 标量(Scalar)

一个标量就是一个单独的数

1.2 矢量(Vector)

一个向量是一列数,这些数是有序排列的，用粗体符号表示，例如矢量$\mathit{x}$，用下标表示矢量中的各个元素，例如:

$$\mathit{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$

1.3 矩阵(Matrix)

矩阵是一个二维数组,常会用粗体的大写变量名称，比如$\mathit{A}$,用$A_{i,j}$表示其中第$i$行，第$j$列的某个数据，用${\mathit{A}}_{i,:}$表示第$i$行数据，用${\mathit{A}}_{:,j}$表示第$j$列数据

$$\mathit{A}=\left[\begin{array}{ccc}{A}_{11}& A_{12}& A_{13}\\ A_{21}& A_{22}& A_{23}\\ A_{31}& A_{32}& A_{33}\end{array}\right]$$

1.4 张量(Tensor)

如果把标量理解为0维数据，矢量理解为1维数据，矩阵理解为2维数据，那么更高维的数据可以称为“张量(Tensor)”，例如一张图片数据维3维张量(x,y,channel)，一批图片数据为4维张量(number,x, y, channel)

2. 基本运算

2.1 转置(Transpose)

矩阵的转置是以对角线为轴的镜像,将矩阵$\mathit{A}$的转置表示为${\mathit{A}}^T$,定义如下

$$({\mathit{A}}^T{)}_{i,j}=A_{j,i}$$

2.2 乘法(Product)

矩阵之间的乘法，需要满足矩阵$\mathit{A}$的列数必须和矩阵$\mathit{B}$的行数相等，如果矩阵$\mathit{A}$是一个$m\times n$的矩阵，矩阵$\mathit{B}$是一个$n\times p$的矩阵，那么$\mathit{A}\mathit{B}$是一个$m\times p$的矩阵$\mathit{C}$
具体地，该乘法操作定义为

$$C_{i,j}=\sum _k{A}_{i,k}{B}_{k,j}$$

两个同维数的矢量$\mathit{x}$和$\mathit{y}$的点积(dot product)可以看作矩阵乘积${\mathit{x}}^T\mathit{y}$

3. 单位矩阵和逆矩阵

3.1 单位矩阵(Identity Matrix)

单位矩阵的结构很简单,所有沿主对角线的元素都是1，而所有其他位置的元素都是0, 任意向量和单位矩阵相乘，都不会改变。 们将保持$n$维向量不变的单位矩阵记作${\mathit{I}}_n$

3.2 逆矩阵(Matrix Inversion)

只有正方形矩阵有逆矩阵，对于一个$n\times n$的矩阵$\mathit{A}$，定义它的逆矩阵为${\mathit{A}}^{-1}$，满足

$$\mathit{A}{\mathit{A}}^{-1}={\mathit{A}}^{-1}\mathit{A}={\mathit{I}}_n$$

4. 线性相关和生成子空间

4.1 生成子空间(Span)

一组向量的生成子空间（Span），是指通过所有可能的线性组合，这组向量可以填充出来的那个空间，例如给定一组向量$\{{\mathit{v}}_{\mathbf{1}},{\mathit{v}}_{\mathbf{1}},\cdots ,{\mathit{v}}_{\mathit{n}}\}$:

$$Span({\mathit{v}}_{\mathbf{1}},{\mathit{v}}_{\mathbf{1}},\cdots ,{\mathit{v}}_{\mathit{n}})=\{c_1{\mathit{v}}_{\mathbf{1}}+c_2{\mathit{v}}_{\mathbf{2}}+\cdots +c_n{\mathit{v}}_{\mathit{n}}|c_i\in \mathbb{R}\}$$

例如对于只包含1个二维向量的集合$\{\mathit{v}\}$, 它的生成子空间就是这个向量所在的直线
对于包含了2个不重合的向量的集合$\{\mathit{a},\mathit{b}\}$, 它的生成子空间就是这两个向量所在的平面

4.2 线性相关(Linearly Dependent)和线性无关(Linearly Independent)

如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量称为线性无关,反之则成为线性相关
例如在3维空间中，如果3个向量不共面，则是线性无关的，如果共面，则是线性相关的

5. 范数(Norm)

范数用来衡量一个向量的“长度/大小/距离”这个概念，例如常用的$L^2$范数,表示从原点出发到向量$x$确定的点的欧几里得距离:

$$\parallel \mathit{x}{\parallel }_2=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}$$

通用范数表示为:

$$\parallel \mathit{x}{\parallel }_p={\left(\sum _i|x_i{|}^p\right)}^{1/p}$$

另外一个经常在机器学习中出现的范数是范数$L^{\mathrm{\infty }}$，也被称为最大范数。这个范数表示向量中具有最大绝对值的元素的绝对值：

$$\parallel \mathit{x}{\parallel }_{\mathrm{\infty }}=\text{max}(|x_1|,|x_2|,\cdots ,|x_n|)$$

6. 特殊矩阵和向量

6.1 对角矩阵(Diagonal Matrix)

只在主对角线上含有非零元素，其他位置都是0的矩阵. 用$diag(\mathit{v})$表示一个对角矩阵，且对角线上的元素是给定的矢量，例如:

$$\text{diag}([1,2,3])=\left[\begin{array}{ccc}1& 0& 0\\ 0& 2& 0\\ 0& 0& 3\end{array}\right]$$

6.2 对称(Symmetric)矩阵是转置和自己相等的矩阵

$$\mathit{A}={\mathit{A}}^T$$

6.3 单位向量(Unit Vector)是指具有单位范数的向量

$$\parallel \mathit{x}{\parallel }_2=1$$

6.4 正交(Orthogonal)

对于向量$\mathit{x}$和$\mathit{y}$，如果${\mathit{x}}^T\mathit{y}=0$，则它们互相正交(Orthogonal),两个向量正交在几何意义上是指它们互相垂直
如果一组向量两两正交，并且范数都为1，则称它们为标准正交(Orthonormal)

6.5 正交矩阵(Orthogonal Matrix)是指行向量和列向量是分别标准正交的方阵:

$${\mathit{A}}^T\mathit{A}=\mathit{A}{\mathit{A}}^T=\mathit{I}$$

这也意味着:

$${\mathit{A}}^{-1}={\mathit{A}}^T$$

7. 特征分解(Eigen Decomposition)

正如整数可以分解质因数相乘一样，可以通过分解矩阵来发现一些隐藏的特质，特征分解用于将矩阵分解为一组特征值和特征向量.
对于方阵$A$，存在矢量$\mathit{v}$和标量$\lambda$，使得

$$\mathit{A}\mathit{v}=\lambda \mathit{v}$$

矢量$\mathit{v}$称为此方阵$\mathit{A}$的特征向量(Eigen Vector)，标量$\lambda$被称为这个特征向量对应的特征值(Eigen Value)
如果$\mathit{v}$是$\mathit{A}$的特征向量，那么任何缩放后的向量$s\mathit{v}(s\in \mathbb{R},s\ne 0)$也是$\mathit{A}$的特征向量。此外$\mathit{v}$和$s\mathit{v}$有相同的特征值。基于这个原因，通常我们只考虑单位特征向量
假设矩阵$\mathit{A}$有$n$个线性无关的特征向量$\{{\mathit{v}}^{(1)},{\mathit{v}}^{(2)},\cdots ,{\mathit{v}}^{(n)}\}$，对应的特征向值为$\{{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\}$,那么可以将这些特征向量组成一个新的矩阵$\mathit{V}$，使其每一列都是一个特征向量

$$\mathit{V}=[{\mathit{v}}^{(1)},{\mathit{v}}^{(2)},\cdots ,{\mathit{v}}^{(n)}]$$

并且将特征值组成一个对角矩阵

$$\mathbf{\Lambda }=\text{diag}[{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n]$$

那么方阵$\mathit{A}$的特征分解可以记为:

$$\mathit{A}=\mathit{V}\mathbf{\Lambda }{\mathit{V}}^{-1}$$

使用numpy求矩阵的特征向量和特征值

# 定义一个 3x3 矩阵
A = np.array([[3, 4, 7],
              [0, 2, 5],
              [1, 9, 9]])

# 计算特征值、特征向量
eigenvalues, eigenvectors = np.linalg.eig(A)

print("特征值：")
print(eigenvalues)

print("\n特征向量（每一列是一个）：")
print(eigenvectors)

8. 奇异值分解(Singular Value Decomposition,SVD)

奇异值分解是另一种分解矩阵的方法，不同于特征分解只能用于方阵，奇异值分解可以应用与任何形状的矩阵.
经过奇异值分解，矩阵$\mathit{A}$可以被分解为三个矩阵的乘积:

$$\mathit{A}=\mathit{U}\mathbf{\Sigma }{\mathit{V}}^T$$

如果矩阵$\mathit{A}$是$m\times n$的矩阵，那么:

• $\mathit{U}$: 是$m\times m$正交矩阵,其列向量被称为左奇异向量，通常代表了原始数据在行空间上的特征
• $\mathbf{\Sigma }$: 是$m\times n$对角矩阵，对角线上的元素${\sigma }_i$称为奇异值(Singular Values),他们按照从大到小的顺序排列，${\sigma }_1\ge {\sigma }_2\ge \cdots \ge 0$
• ${\mathit{V}}^T$: 是一个 $n\times n$ 的正交矩阵,其行向量（即 $V$ 的列向量）被称为右奇异向量，代表了原始数据在列空间上的特征

8.1 几何意义

如果把矩阵$\mathit{A}$视作一个几何线性变换矩阵，那么奇异值分解可以将这个变换分解为三个步骤

• 旋转 ($V^T$)：在原空间中进行坐标旋转，不改变向量长度
• 缩放 ($\mathrm{\Sigma }$)：在旋转后的坐标轴方向上进行拉伸或压缩
• 再次旋转 ($U$)：在目标空间中再次进行坐标旋转。

8.2 使用numpy计算

A = np.array([[1, 2, 3],
              [4, 5, 6]])

U, S, VT = np.linalg.svd(A)

print("U:\n", U)
print("S（奇异值）:\n", S)
print("VT:\n", VT)
print(f"VT[0]={VT[0]}, VT[1]={VT[1]}, VT[2]={VT[2]}")

numpy输出的S是特征值向量，如果需要转换为对角矩阵，可以使用np.diag(S)转换为对角矩阵，但这个对角矩阵是方阵，需要在补充全零的行向量或者列向量，使其成为$m\times n$的对角矩阵

9. 伪逆(Moore-Penrose)

TODO...

10. 迹运算

TODO...