2.1　矩阵代数的相关知识

2.1.1　特征值与特征向量

令，，若标量λ和非零向量e满足方程

则称λ是矩阵A的特征值，e是与λ对应的特征向量。特征值与特征向量总是成对出现，称(λ,e)为矩阵A的特征对，特征值可能为零，但是特征向量一定非零。

2.1.2　广义特征值与广义特征向量

令，，若标量λ和非零向量e满足方程

则称λ是矩阵A相对于矩阵B的广义特征值，e是与λ对应的广义特征向量。如果矩阵B非满秩，那么λ可以是任意值（包括零）。当矩阵B为单位阵时，式（2-2）就称为普通的特征值问题，因此式（2-2）可以看成对普通特征值问题的推广。

2.1.3　矩阵的奇异值分解

对于复矩阵，称的n个特征根的算术根（i=1,2,…,n）为A的奇异值。若记，其中是A的全部非零奇异值，则称m×n矩阵为A的奇异值矩阵。

奇异值分解定理：对于m×m维矩阵A，则分别存在一个m×n维酉矩阵U和一个n×n维酉矩阵V，使得

其中，上标H表示矩阵的共轭转置。

2.1.4　Toeplitz矩阵

定义：具有2n-1个元素的n阶矩阵

称为Toeplitz矩阵，简称T矩阵。

T矩阵也可简记为

式中，记号中的“1”和“n”表示矩阵A元素的下标，i,j=1,2,…,n。T矩阵完全由第1行和第1列的2n-1个元素确定。可见，Toeplitz矩阵中位于任意一条平行于主对角线的元素全都是相等的，且关于副对角线对称。

2.1.5　Hankel矩阵

定义：具有以下形式的n+1阶矩阵

称为Hankel矩阵或正交对称矩阵（Orthosymmetric Matrix）。

可见，Hankel矩阵完全由其第1行和第n列的2n+1个元素确定。其中，所有垂直于主对角线的直线上有相同的元素。

2.1.6　Vandermonde矩阵

定义：具有以下形式的m×n阶矩阵

称为Vandermonde矩阵。如果ai≠aj，那么V(a1,a2,…,an)是非奇异的。

2.1.7　Hermitian矩阵

如果矩阵An×n满足

则A称为Hermitian矩阵。Hermitian矩阵有以下主要性质：

（1）所有特征值都是实数。

（2）对应于不同特征值的特征向量相互正交。

（3）Hermitian矩阵可分解为的形式，这一分解称为谱定理，也就是矩阵A的特征值分解定理，其中，是由特征向量构成的酉矩阵[1]。

2.1.8　Kronecker乘积

定义：p×q矩阵A和m×n矩阵B的Kronecker乘积记作A⊗B，它是一个pm×qn矩阵，定义为

Kronecker乘积有一个重要的性质，即：，，，以下等式成立：

其中，vec(·)为向量化算子，，且vec(A)具有如下形式：

Kronecker乘积具有如下性质：

2.1.9　Khatri-Rao乘积

考虑两个矩阵A（I×F）和B（J×F），它们的Khatri-Rao乘积A⊙B为一个IJ×F维矩阵，其定义为

其中，aF为A的第f列，bF为B的第f列，即Khatri-Rao乘积是列向量的Kronecker乘积。

Khatri-Rao乘积具有如下性质：

令，Khatri-Rao乘积具有如下性质：

其中，unvec(·)是矩阵化算子，它是vec(·)的逆运算，具有以下形式：

而diag(x)表示一个对角矩阵，其元素为向量x中的元素。

2.1.10　Hadamard乘积

矩阵和的Hadamard乘积定义为

2.1.11　向量化

通常，张量和矩阵用向量来表示比较方便，定义矩阵的向量化为[1,2]

式中，vec算子用于将矩阵Y的所有列堆积成一个向量；重塑（reshape）是向量化的逆函数，它将一个向量转化成一个矩阵。例如，可定义为（使用MATLAB表示法并类似于MATLAB中的reshape函数）：

类似地，定义张量的向量化为相应的模展开矩阵。例如，三阶张量的向量化可写成如下形式：

vec算子的基本性质包括：