线性代数基础

线性代数是现代数学和计算机科学的基础，在机器学习、计算机图形学、数据科学等领域都有广泛应用。

向量 (Vectors)

定义

向量是具有大小和方向的量。在 $n$ 维空间中，向量可以表示为：

v⃗=[v1v2⋮vn]\vec{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}

向量运算

向量加法：

u⃗+v⃗=[u1u2u3]+[v1v2v3]=[u1+v1u2+v2u3+v3]\vec{u} + \vec{v} = \begin{bmatrix} u_1 \\ u_2 \\ u_3 \end{bmatrix} + \begin{bmatrix} v_1 \\ v_2 \\ v_3 \end{bmatrix} = \begin{bmatrix} u_1 + v_1 \\ u_2 + v_2 \\ u_3 + v_3 \end{bmatrix}

标量乘法：

\cdot \vec{v} = c \begin{bmatrix} v_1 \\ v_2 \\ v_3 \end{bmatrix} = \begin{bmatrix} c \cdot v_1 \\ c \cdot v_2 \\ c \cdot v_3 \end{bmatrix}

点积（内积）：

u⃗⋅v⃗=u1v1+u2v2+u3v3=∣u⃗∣⋅∣v⃗∣⋅cos⁡θ\vec{u} \cdot \vec{v} = u_1 v_1 + u_2 v_2 + u_3 v_3 = |\vec{u}| \cdot |\vec{v}| \cdot \cos\theta

其中 $θ\theta$ 是两个向量之间的夹角。

向量的模（长度）：

∣v⃗∣=v12+v22+⋯+vn2|\vec{v}| = \sqrt{v_1^2 + v_2^2 + \cdots + v_n^2}

单位向量

单位向量是模为 1 的向量。任何非零向量 $v⃗\vec{v}$ 都可以归一化为单位向量：

v^=v⃗∣v⃗∣\hat{v} = \frac{\vec{v}}{|\vec{v}|}

矩阵 (Matrices)

定义

$\times n$ 矩阵是一个由 $m$ 行 $n$ 列数字组成的矩形阵列：

\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}

矩阵运算

矩阵加法：

\begin{bmatrix} a_{11} + b_{11} & a_{12} + b_{12} \\ a_{21} + b_{21} & a_{22} + b_{22} \end{bmatrix}

矩阵乘法：

对于 $Am×nA_{m \times n}$ 和 $Bn×pB_{n \times p}$ ，乘积 $C = A B$ 的元素为：

cij=∑k=1naikbkjc_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj}

矩阵乘法不满足交换律： $\neq BA$

矩阵转置：

AT=[a11a21a31a12a22a32]T=[a11a12a21a22a31a32]A^T = \begin{bmatrix} a_{11} & a_{21} & a_{31} \\ a_{12} & a_{22} & a_{32} \end{bmatrix}^T = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \\ a_{31} & a_{32} \end{bmatrix}

特殊矩阵

单位矩阵（Identity Matrix）：

In=[10⋯001⋯0⋮⋮⋱⋮00⋯1]I_n = \begin{bmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix}

性质： $A I = I A = A$

逆矩阵（Inverse Matrix）：

如果存在矩阵 $A^{-1}$ ，使得：

AA^{-1} = A^{-1}A = I

则称 $A^{-1}$ 为 $A$ 的逆矩阵。

行列式 (Determinant)

对于 $\times 2$ 矩阵：

det⁡(A)=∣abcd∣=ad−bc\det(A) = \begin{vmatrix} a & b \\ c & d \end{vmatrix} = ad - bc

对于 $\times 3$ 矩阵：

det⁡(A)=∣a11a12a13a21a22a23a31a32a33∣\det(A) = \begin{vmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{vmatrix}

a_{11}\begin{vmatrix} a_{22} & a_{23} \\ a_{32} & a_{33} \end{vmatrix} - a_{12}\begin{vmatrix} a_{21} & a_{23} \\ a_{31} & a_{33} \end{vmatrix} + a_{13}\begin{vmatrix} a_{21} & a_{22} \\ a_{31} & a_{32} \end{vmatrix}

行列式的绝对值表示线性变换对空间体积的缩放因子。

线性方程组

矩阵形式

线性方程组可以表示为：

{a11x1+a12x2+a13x3=b1a21x1+a22x2+a23x3=b2a31x1+a32x2+a33x3=b3\begin{cases} a_{11}x_1 + a_{12}x_2 + a_{13}x_3 = b_1 \\ a_{21}x_1 + a_{22}x_2 + a_{23}x_3 = b_2 \\ a_{31}x_1 + a_{32}x_2 + a_{33}x_3 = b_3 \end{cases}

矩阵形式：

Ax⃗=b⃗A\vec{x} = \vec{b}

其中：

\begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{bmatrix}, \quad \vec{x} = \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}, \quad \vec{b} = \begin{bmatrix} b_1 \\ b_2 \\ b_3 \end{bmatrix}

克拉默法则 (Cramer's Rule)

如果 $det⁡(A)≠0\det(A) \neq 0$ ，则方程组有唯一解：

xi=det⁡(Ai)det⁡(A)x_i = \frac{\det(A_i)}{\det(A)}

其中 $A_i$ 是将 $A$ 的第 $i$ 列替换为 $b⃗\vec{b}$ 得到的矩阵。

特征值与特征向量

定义

对于方阵 $A$ ，如果存在标量 $λ\lambda$ 和非零向量 $v⃗\vec{v}$ ，使得：

Av⃗=λv⃗A\vec{v} = \lambda\vec{v}

则称 $λ\lambda$ 为 $A$ 的特征值（eigenvalue）， $v⃗\vec{v}$ 为对应的特征向量（eigenvector）。

特征方程

特征值满足特征方程：

det⁡(A−λI)=0\det(A - \lambda I) = 0

示例

求矩阵 $\begin{bmatrix} 4 & 1 \\ 2 & 3 \end{bmatrix}$ 的特征值：

det⁡(A−λI)=∣4−λ123−λ∣=(4−λ)(3−λ)−2=0\det(A - \lambda I) = \begin{vmatrix} 4-\lambda & 1 \\ 2 & 3-\lambda \end{vmatrix} = (4-\lambda)(3-\lambda) - 2 = 0

λ2−7λ+10=0\lambda^2 - 7\lambda + 10 = 0

(λ−5)(λ−2)=0(\lambda - 5)(\lambda - 2) = 0

所以特征值为 $λ1=5\lambda_1 = 5$ , $λ2=2\lambda_2 = 2$ 。

应用场景

计算机图形学

变换矩阵用于描述 2D/3D 图形的旋转、缩放和平移：

旋转矩阵（绕 z 轴旋转 $θ\theta$ 角度）：

Rz(θ)=[cos⁡θ−sin⁡θ0sin⁡θcos⁡θ0001]R_z(\theta) = \begin{bmatrix} \cos\theta & -\sin\theta & 0 \\ \sin\theta & \cos\theta & 0 \\ 0 & 0 & 1 \end{bmatrix}

机器学习

主成分分析 (PCA)：使用特征值分解进行降维
神经网络：权重矩阵和向量运算
推荐系统：矩阵分解

数据科学

在中提到的数据分析，很多都基于矩阵运算。

标签: #数学 #线性代数 #向量 #矩阵

延伸阅读

Gilbert Strang《线性代数及其应用》
3Blue1Brown 的《线性代数的本质》系列视频

My Vault

线性代数基础

反向链接

相关笔记