（知识点）矩阵相乘的概念与矩阵运算

Y=AX 或 Y=AX (1.17)

方程（1.17）显示了矩阵乘法的两种书写约定。 前者是线性代数中常用的矩阵乘法书写形式，后者常用于张量分析，表示向量的点乘运算。 方程（1.18）写成1个分量的形式。

(1.18)

这里有两点需要解释一下。 有时使用字母和下标来表示矩阵元素。 在矩阵乘法的过程中，有的文献会写出约定的求和方法，即省略求和符号，使用相同的索引/代表进行求和。 对于矩阵乘法，还有其他的乘法形式，比如矩阵的哈达玛积()，就是矩阵对应元素的乘法，其形式如下。

(1.19)

这里需要注意的是，式（1.19）中的相同索引并不意味着求和，而只是元素的乘法。 与此类似的是矩阵加法运算，表示矩阵对应元素的相加。

(1.20)

矩阵运算本身也有类似于数字运算的规则。

(1)分配率

A(B+C)=AB+AC

(2)结合律：

(AB)C=A(BC)

(3)交换律：矩阵运算不存在交换律。

1 矩阵分块运算和线性变换

回顾下面的简单方程。

(1.21)

Y=ax+b

这是 x 和 y 之间存在某种关系的简单表示。 如果将x和y视为二维空间中的坐标，则式(1.21)表示空间中的某条直线。 写成矩阵乘法和加法，形式如下。

(1.22)

Y=AX+B

式（1.22）实际上代表了矩阵X进行线性变换得到Y的过程。因此，矩阵的线性变换实际上是式（1.21）的展开。 这意味着X和Y之间存在一些简单的关系。取Y、X、B的某个列向量r、y、b，公式如下。

(1.23)

y=Ax+b

这表示向量的线性变换。 在给出式（1.22）的过程中，我们需要解释一个细节，就是矩阵的分块运算。 矩阵的乘法和加法运算可以分解为子矩阵的乘法运算。 例如，如果将式（1.22）中的矩阵的每一列视为一个子矩阵（向量），则可以将其写成分块形式。 在式(1.23)中，X来自x1~xn。

(1.24)

X=[x1,...,xn]

如果Y和B都写成类似的形式，那么X和A的乘法可以写成以下形式。

(1.25)

这就是矩阵的分块运算。 当然，分块运算还有其他划分形式，读者可以参考线性代数的相关内容。 如果y=0，则方程(1.23)变为以下形式。

(1.26)

斧头=-6

方程（1.26）是标准线性方程组。 从矩阵分块运算的角度来看，m组n个未知数的方程写成方程（1.23）所示的紧凑形式。 矩阵可以简化公式的书写。 假设.4矩阵有m行n列，严格来说还需要Rank(A)=min(m,n)。

(1) 如果m=n英语作文，则意味着未知数的个数和方程的个数相等，这是一个适定方程。

(2)如果米

(3) 如果 m >n，则表示未知数的个数小于方程的个数，这是一个超定方程。

存在三个典型问题。 对于适定问题，如果矩阵行列式不等于0，则方程有唯一解（空间中的一个点）； 对于欠定方程，方程有无限解（空间表面）； 对于超定方程，只有近似解。 机器学习问题应该都是超定问题矩阵行列式的运算法则，即方程数量多于未知数数量。 然而，也有一些例外，例如深度学习模型，其中未知数的数量可能大于方程的数量。

现在举一个简单的例子。 假设二维空间中共有4个点(1.0,1.1)(2.0,1.9)(3.0,3.1)(4.0,4.0)。 求出这4点所在的直线。 如果直线的方程为y=ax+b，那么代入4个数据点后，会得到4个方程，有两个未知数a.6，所以这是一个典型的超定问题。 此时，a和6得到的任何值都不能很好地描述经过4个点的直线。 但如果a=1，b=0，虽然此时无法准确描述z和y的关系，但是这样就可以得到(1.0,1.0)，与数据点(1.0,1.1)非常接近。 因此，获得了近似意义（最小二乘）的解。 这是一个非常典型的机器学习问题。 从这个例子中可以看出，机器学习实际上是一个寻找数据模式的过程。 假设数据符合直线分布就是我们给定的模型，求解给定模型的参数的过程称为优化。 这里读者无需过多思考机器学习问题，稍后我们会更详细地解释。 这只是为了说明机器学习问题在大多数情况下是一个超定问题。 然而，由于可训练参数（即未知数）较多，当训练样本不足时（每个训练数据都是一个方程），深度学习模型可能并不是一个超定问题。 这时候你就会面临过拟合的风险。 因此，机器学习，尤其是深度学习，需要大量的样本（数量远远超过未知数的数量，即可训练参数的数量）来学习有价值的信息。 知识。

1.2 矩阵分解

如上所述，空间中的某个坐标向量可以写成多个向量的相加。

(1.27)

对于一组不全为0的向量，如果其中任意一个向量不能用方程（1.27）形式的其他向量来表示，则说明该组向量是线性无关的，或者说该组向量是线性的独立的。

线性独立的概念很重要。 如果几个向量不是线性无关的，即某个向量可以用其他向量来表示，那么就不需要存储这个向量。 举个简单的例子。

(1.28)

方程（1.28）表示向量

它仍然是线性相关的，即我们只需要存储三个向量中的两个即可恢复第三个向量。 这种恢复是无损的，是信息压缩最原始的思想。这里加强了约束。 方程（1.27）右边的每个向量

它们之间的关系如下。

(1.29)

方程(1.29)中描述的向量彼此正交并且是单位向量。

(1.30)

单位向量：长度为 1 的向量。

向量是正交的：两个向量的内积为 0。

坐标基向量是最简单的单位向量。

因此，实际上方程（1.27）就是坐标向量的坐标基展开，这是空间上使用的概念。 当然，并非所有坐标基向量都是正交的，也不一定是单位向量。

对于一组矩阵向量

换句话说，每个向量可以由多个其他向量的加权和来表示。

(1.31)

在，

表示第j个单位向量的第i个元素。同理

表示第 k 个向量的第 i 个元素。 此时，式(1.31)实际上可以用矩阵乘法的形式来表示。

(1.32)

在方程（1.32）中，向量

矩阵V可以分解为两个矩阵A和E的乘积。如果m>k，即我们可以用少于m个数来表示向量V，这是一个标准的数据压缩过程。 这时A就可以代表矩阵V的特征，如果想要恢复V，还需要保存E。但在机器学习中，通常只需要A就足够了，因为它包含了V的信息。

从前面的内容我们可以知道，式（1.32）是矩阵的线性变换，这种变换的目的是信息压缩。 这个过程需要求解矩阵E。如果W=E^T，则信息压缩方法可以写成如下。

W称为变换矩阵。 这就是通过矩阵的线性变换来压缩数据的过程。

1.3 方阵的线性变换：特征值分解

特征值分解是矩阵分解的最简单形式，也是最常用的矩阵算法。 特征值分解适用于方阵。 接下来，将某个矩阵A分解为三个矩阵相乘的形式。

(1.34)

这是矩阵乘法的逆运算，也是典型的欠定问题，因为矩阵分解不唯一。 为了解决这个非唯一性问题，我们对分解矩阵添加约束。 第一个约束是特征值分解中的E矩阵是正交矩阵。

(1.35)

此时，式（1.33）中的变换矩阵W为E。另一个约束是对角矩阵A，对角线上的元素称为特征值。 E 中的向量称为特征向量。

对于特征值分解来说，它本身就有明确的几何意义。 如果把矩阵A看成1.1.2节中的仿射变换矩阵，那么上面提到的坐标与矩阵0.4的乘积实际上就代表了空间的旋转和拉伸变换。 因此，仿射变换本身可以分解为旋转和拉伸。 因此，式（1.34）得到的矩阵中，E表示空间的旋转变换，A表示空间的拉伸变换。 这里以二维情况进行简单说明，如图1.9所示。

图1.9 仿射变换示意图

1.4 非方阵线性变换：奇异值分解

作为一种矩阵分解算法，特征值分解的主要缺点是它只能应用于方阵。 非方阵最具代表性的矩阵分解算法是奇异值分解（SVD）。

(1.36)

SVD的求解过程可以使用特征值分解来进行，这需要将矩阵转换为方阵。

(1.37)

对B进行特征值分解，利用对应元素的相等性，得到如下关系：

(1.38)

根据式(1.36)矩阵行列式的运算法则，M的值可得如下：

(1.39)

至此，三个矩阵就已经完全确定了。 因此，有人说矩阵的特征值分解是SVD的基础。 同时可以看出，矩阵A变换为矩阵M的过程相当于矩阵A的线性变换。

1.5 其他线性变换：字典学习

对于SVD分解来说，一个非常大的问题就是约束太严格。 例如，矩阵和V是正交矩阵。 这就导致计算过程中为了满足分解条件而降低信息压缩的质量。 因此，产生了另一种更通用的约束方法。

(1.40)

假设条件N足够稀疏，M称为字典。 在这种情况下，正交性假设被削弱，得到的信息压缩效果会更好。

本文摘自《深度学习算法与实践》

本书旨在为读者建立完整的深度学习知识体系。 全书共分三个部分。 第一部分是深度学习相关的数学基础； 第二部分是深度学习的算法基础及相关实现； 第三部分是深度学习的实际应用。 通过阅读本书，读者可以加深对深度学习算法的理解，并将其应用到实际工作中。 本书适合对深度学习感兴趣并想从事相关工作的读者。 也可作为高等院校相关专业的教学参考书。