《普通高等教育"十二五"规划教材:线性代数(理工类)》主要讨论了矩阵理论相关知识、特征值与奇异值分析、主成分分析及神经网络分析方法、次成分分析及神经网络分析方法、子空间跟踪及神经网络分析方法、总体最小二乘方法、特征提取方法应用等。全书内容新颖，不但包含信息特征提取与优化的若干方法，而且对这些迭代方法的神经网络算法的性能分析方法也进行了较为详细的分析，反映了国内外信息处理和神经网络领域在该方向上研究和应用的最新进展。
《普通高等教育"十二五"规划教材:线性代数(理工类)》适合作为电子、通信、自动控制、计算机、系统工程、模式识别和信号处理等信息科学与技术学科高年级本科生和研究生教材，也可供相关专业研究人员和工程技术人员参考。
更多科学出版社服务，请扫码获取。
张曙翔主编的《线性代数(理工类)》是为综合性大学及师范院校理工类非数学各专业编写的。全书内容精炼，重点突出、讲解详实、例题丰富，叙述注重直观、通俗易懂，在注重强化基础知识及其训练的基础上，适当降低理论推导，尽可能地突出数学的思想方法，做到了深入浅出。教材内容包括：矩阵、可逆矩阵及矩阵的秩、线性方程组与向量组的线性相关性、特征值与特征向量、线性空间与线性变换、二次型。
目录
序言
前言
第1章 矩阵 1
1.1 矩阵的概念 1
1.2 矩阵的运算 3
1.3 几种特殊矩阵 9
1.4 分块矩阵 11
1.5 方阵的行列式 17
习题 34
第1章自检题(A) 35
第1章自检题(B) 36
第2章 可逆矩阵及矩阵的秩 38
2.1 矩阵的初等变换 38
2.2 可逆矩阵的概念与性质 46
2.3 方阵可逆的充要条件与逆矩阵的计算 49
2.4 矩阵的秩 56
习题二 62
第2章白检题(A) 63
第2章自检题(B) 64
第3章 线性方程组与向量组的线性相关性 66
3.1 线性方程组的概念与克拉默法则 66
3.2 矩阵消元法与线性方程解的判别定理 71
3.3 粗维向量及其线性运算 80
3.4 向量组的线性相关性 83
3.5 向量组的秩矩阵的行秩和列秩 91
3.6 线性方程组解的结构 97
习题三 104
第3章自检题(A) 106
第3章自检题(B) 109
第4章 特征值与特征向量 111
4.1 方阵的特征值与特征向量 111
4.2 相似矩阵与方阵的对角化 119
4.3 正交矩阵 125
4.4 实对称矩阵的对角化 130
习题四 133
第4章自检题(A) 134
第4章白检题(B) 136
第5章 线性空间与线性变换 137
5.1 线性空间及其子空间 137
5.2 基、维数与坐标 141
5.3 基变换与坐标变换 147
5.4 线性变换与其对应的矩阵 151
习题五 162
第5章白检题(A) 163
第5章自检题(B) 164
第6章 二次型 165
6.1 二次型与线性变换 165
6.2 二次型的标准形 168
6.3 二次型的规范形与惯性定理 173
6.4 正定二次型 176
习题六 181
第6章自检题(A) 182
第6章白检题(B) 183
习题参考答案 185
第1章习题答案 185
第2章习题答案 187
第3章习题答案 189
第4章习题答案 194
第5章习题答案 197
第6章习题答案 200
参考文献 204
第一章 绪论
1.1 特征信息提取
复杂系统输出信号中包含着丰富的反映系统本质属性的特征信息，如何描述并提取这些特征信息，进一步如何应用这些特征信息？这些问题引起了信息领域学者的广泛关注，新技术、新算法不断出现，形成了信号处理、数据分析和神经网络领域非常活跃的研究热点。经过这些年的发展，特征信息提取技术形成了主成分分析、次成分分析、子空间跟踪和独立成分分析等不同的研究方向，这几个研究方向之间既有联系，又有相对的独立性。
1.1.1 主/次成分分析与子空间跟踪
主成分（principalcomponent，PC）是指信号有最大偏差的方向，只利用数据向量的K个主分量进行的数据或者信号分析称为主成分分析（principalcomponentanalysis，PCA）。次成分（minorcomponent，MC）是指信号有最小偏差的方向，基于次成分的信号分析、系统分析或者模式分析则统称为次成分分析（minorcomponentanalysis，MCA）。主成分分析在数据或图像压缩、多重信号分类、波达方向估计、通信技术等领域得到广泛应用，而次成分分析也已经应用在总体最小二乘（totalleastsquare，TLS）、运动目标识别、曲线与曲面匹配、数字成形束、频域估计和故障诊断等领域。通常主/次成分分析都是单维的，而实际中主成分或次成分以多维为主。与数据向量的自相关矩阵r个最小特征值对应的特征向量被称为次成分。与数据向量的自相关矩阵的r个最大特征值对应的特征向量被称为主成分，这里r是主成分或次成分的个数。在一些实际应用中，有时并非要得到多个主成分或者次成分，而只要求跟踪由特征成分张成的子空间。这里将主成分张成的子空间称为主子空间（principalsubspace，PS），而将由次成分张成的子空间称为次子空间（minorsubspace，MS）。一个对称矩阵的主成分和次成分分析器可以分别收敛到主成分和次成分。类似地，一个对称矩阵的主子空间和次子空间分析器可以分别收敛到一个主子空间和次子空间。主子空间是由一个高维向量序列的自相关矩阵的主特征值相关的所有特征向量张成的一个子空间，而与该高维向量序列的自相关矩阵的次特征值相关的所有特征向量所张成而形成的子空间被称为次子空间。主子空间有时也称为信号子空间，而次子空间也称为噪声子空间。主子空间分析（principalsubspaceanalysis，PSA）为许多信息处理领域，如特征提取和数据压缩等提供了有效的方法。在许多实时信号处理领域，如自适应方向波达方向估计、自适应信号处理中的总体最小二乘的自适应解、曲线与曲面匹配等应用中，次子空间分析（minorsubspaceanalysis，MSA）是一个主要的需求。
通过数学分析，可以得出结论：所谓数据的主成分就是数据向量自相关矩阵的最大特征值所对应的特征向量，而数据的次成分是数据向量自相关矩阵的最小特征值所对应的特征向量。这样通过数学上相关矩阵特征值处理或数据矩阵奇异值处理可以得到主成分或次成分。相关矩阵特征值或数据矩阵奇异值处理的方法是基于数据的集中处理，本质上是一种批处理算法，无法实时应用，而且对于维数大的数据来说，其计算复杂度是相当大的，也容易出现数据不稳定的情况。这样寻求可以实时处理、迭代运算、数值稳定、算法简单的主成分分析、次成分分析方法或者子空间跟踪是近20年来国际上自动控制、信号处理和神经网络领域的一个研究热点，受到广泛关注。
1.1.2 主/次成分神经网络分析算法
为了实现特征信息的在线迭代与自适应提取，大量的迭代及自适应算法被提出，主/次成分分析或者主/次子空间跟踪迭代求取算法包括逆迭代、常规的和逆Chebyshev迭代、Rayleigh商迭代、神经网络等方法。其中神经网络方法是一种有效的迭代求取算法，尤其是求取主/次成分的单层神经网络及其Hebbian型算法由于其算法的简单性和有效性受到人们的高度重视，得到迅速发展，成为自适应主/次成分分析的主流算法。在该类神经网络算法的研究中，新算法不断出现，算法的性能也得到深入透彻的研究。芬兰学者Oja［1］和华裔学者Xu［2］等是该领域的开创者，他们的工作为该领域的发展奠定了良好的基础。
早在1979年，Thompson［3］就提出了估计与样本协方差矩阵最小特征值对应的特征向量的最小均方（LMS）型自适应方法，并结合Pisarenko谱估计子提供了角度/频率的自适应跟踪算法。其后，许多学者开展了特征向量及其子空间跟踪算法的研究［4］更多的是跟踪信号子空间算法的研究，有的同时更新特征值和特征向量，有的是采用，矩阵理论计算如经典的特征值分解/奇异值分解的批处理方法，有的采用优化理论来解决子空间跟踪问题［5］。
在主子空间神经网络跟踪研究领域，基于启发式推理的算法，如Oja算法［6］、对称误差修正算法［7］和对称后向传播算法［8］等相继被提出。分析表明，这几个算法本质上是相同的，被通称为Oja算法。后来，最小均方误差重构算法（LMSER）被提出［9］，在该算法中著名的梯度搜索概念用来最小化一个均方误差。不像Oja算法，该算法是全局收敛的，因为只有主子空间实现均方误差的全局最小而均方误差的其他平稳点都是鞍点。基于该均方误差，投影近似子空间跟踪算法（PAST）［10］、共轭梯度算法［11］、高斯牛顿方法［12］等算法被提出。近来，一个新颖的信息准则（NIC）被提出，基于该准则，一种新颖的梯度算法和递归类主子空间跟踪算法被提出［13］。后来，基于NIC准则和加权矩阵，一个快速提取多个主成分的梯度算法和递归类算法被提出［14］。
20世纪90年代以来，基于反馈神经网络模型进行次子空间跟踪受到高度关注，相继有多个次子空间神经网络跟踪算法被提出来［15～22］。使用膨胀方法，Luo等［15］提出了一个次子空间分析算法，该算法在运行过程中不需要任何标准化操作；Douglas等［16］提出了一个自稳定的次子空间分析算法，该算法不需要周期性的标准化操作，也没有矩阵的逆运算；Chiang等［17］显示出一个学习算法采用合适的初始化而不是膨胀方法，就可以并行抽取多个次成分。基于一个信息准则，Ouyang等［4］提出了一个自适应次成分跟踪器，该算法可以自动发现次子空间而不需要采用膨胀方法。近年来，Feng等［19］提出了一个OJAm算法，将该算法推广到用来跟踪多个次成分或次子空间，使相应的状态矩阵收敛到次子空间的列正交基。最近，性能更为优良的次成分及子空间跟踪算法［23～25］被提出来，该领域新算法仍然在不断发展中。
1.1.3 该领域目前的研究热点
1.神经网络主/次成分分析算法的收敛性与稳定性分析
对迭代或神经网络算法进行收敛性和稳定性分析是主/次成分分析领域十多年来的研究热点。算法收敛性与稳定性的直接研究和分析是一个非常难的课题，传统上这些算法的收敛性是通过某种确定性的连续时间系统（deterministiccontinuoustime，DCT）来间接分析的。由随机系统描述的特征提取神经网络算法可以由相应的确定性连续时间系统来表示，这种表示需要许多假设性条件，其中之一是要求学习因子收敛到零，这在很多实际应用是一个强加的不合理的要求。通过DCT系统证明已经收敛的算法，是否存在发散或不稳定的可能？2002年意大利学者Cirrincione等对一些次成分分析神经网络学习算法进行了研究［20］，首次根据黎曼度量来分类次成分分析线性核，并通过误差损失退化的分析证明了在接近收敛的时候算法的不同行为。同时，对算法进行了直接的随机离散时间系统（stochasticdiscretetime，SDT）分析，发现了突然发散、动态发散和数值发散，这一发现推动了该领域的研究。然而，DCT和SDT虽然可以分析得出算法是否收敛与稳定，却不能求出具体收敛与稳定的充分条件或边界条件。西班牙学者Zufiria［26］提出一种确定性的离散时间系统（deterministicdiscretetime，DDT）来间接解释由随机离散时间系统描述的神经网络学习算法的动力学系统，DDT刻画的是核节点的平均进化行为，保持了原网络的离散时间形式，要求学习因子保持常数，得到的是该类学习算法的更真实的动态行为。在此基础上，近年来我国学者Yi等［27］研究团队对DDT方法进行了深入研究和推广，研究了几乎所有现有的主/次成分分析神经网络学习算法，推导了一系列算法各自收敛和稳定的成分条件及边界条件，大大推进了次成分分析神经网络学习算法性能的研究，形成了从2005～2009年国际上神经网络领域的一个学术研究热点。
2.神经网络主/次成分分析自稳定算法
一个神经网络主/次成分分析方法以及主/次子空间跟踪算法如果在算法迭代更新过程中，神经网络的权向量或权矩阵的模值随着时间的进行发散到无穷，则不利于算法的实际应用。解决的途径有两个，一是在迭代更新过程中每步或者定期将权向量或权矩阵的模值实行规范化处理，使其模值长度等于1；另一种探索权向量模值自稳定的算法［16，19，21］，无论初始权向量模值大小，使算法在更新过程中权向量或权矩阵的模值自动收敛于某一固定值或者为1。为了克服神经网络算法在迭代过程中权向量模值发散问题，寻求权向量模值自稳定的主/次成分神经网络算法是该领域一个研究热点，在这些自稳定的学习算法中，神经网络核的权向量保证收敛到一个规范化的主/次成分或者神经网络核的权矩阵保证收敛到一个规范化的主/次子空间。当前，自稳定特性已经成为神经网络主/次成分分析方法及主/次子空间跟踪算法的一个必备的特性。
3.统一或双目的主/次成分分析自稳定算法
最初的主/次成分分析算法以及主/次子空间分析是各自独立发展的，大量的算法被提出来，并得到广泛的应用。主成分与次成分算法之间存在怎样的关系？一个自然的想法是在一个主成分分析（或者主子空间跟踪）算法中，通过改变相关矩阵的符号或者取原矩阵的逆矩阵，或者仅仅改变学习因子的符号便可以实现次成分分析（或者次子空间跟踪），反过来也一样。实践证明这样的变换常常不成立，要么不能实现另一种成分分析或者子空间跟踪，要么虽然可以实现预期的功能但是算法更新过程中，神经网络的权向量或者权矩阵由收敛变成发散。在文献［28］，［29］中，Chen等提出了主成分分析/主子空间分析和次成分分析/次子空间分析之间的一种转换机制，分析显示通过这种转换机制，每一个主成分分析算法都配有一个次成分分析算法，反过来也一样。这样基本解决了上述问题，通过这一转换机制，导出的双目算法具有不同的算法结构形式。那么，是否有一个统一的神经网络算法，该算法仅仅通过改变同一学习规则中的符号就能够进行主成分分析与次成分分析或者主/次子空间跟踪，无疑这样的算法更具有现实意义，可以减少硬件设施的复杂性和成本。近十多年来，寻求统一或双目的主/次成分分析（或者主/次子空间分析）算法是该领域的一个研究热点［29～31］。
1.2 特征提取与子空间跟踪基础
由次成分张成的子空间称为次子空间，而由主成分张成的子空间称为主子空间，单维主成分分析或单维次成分分析可以认为是主子空间跟踪或次子空间跟踪的特殊形式。在主成分或次成分神经网络领域，芬兰学者Oja等作出了开创性的工作。为了对次成分、主成分、次子空间以及主子空间及其应用有一个清晰的理解，下面从子空间的角度对这些概念及其数学描述与物理意义进行介绍［5］。
书单推荐
