本书是关于神经网络与机器学习的经典教材，完整、详细地讨论了各个主题，并且包含了相关的计算机实验。全书共16章，主要内容包括神经网络的定义、Rosenblatt感知器、回归建模、最小均方算法、多层感知器、核方法和径向基函数网络、支持向量机、正则化理论、主成分分析、自组织映射、信息论学习模型、源于统计力学的随机方法、动态规划、神经动力学、动态系统状态估计的贝叶斯滤波、动态驱动递归网络。本书适合高等院校计算机、电子信息、软件工程、智能工程等专业的高年级本科生和研究生学习使用，也可供相关领域的技术人员参考。
Simon Haykin（西蒙·赫金），国际电子电气工程界著名学者，加拿大皇家学会院士，IEEE会士，1953年获得英国伯明翰大学博士学位，现任加拿大麦克马斯特大学教授，在麦克马斯特大学校创办了通信研究实验室并长期担任实验室主任。曾获IEEE McNaughton奖，在神经网络、通信、自适应滤波器等领域成果颇丰，著有多种标准教材。
苑希民，男，教授/研究员，博士生导师，天津大学水灾害研究所所长。国家科技创新领军人才评审专家、国家自然科学基金重点基金会评专家、国家科技奖项和科技项目评审专家、中国博士后科学基金评审专家、水利部科技奖项和创新人才团队评审专家、智慧水利试点项目技术专家、省级科技奖项和科技项目评审专家、河北工程大学高层次人才、天津市工程建设价格咨询专家、国际水利学会（IAHR）会员、中国水利学会水力学专业委员会与城市水利专业委员会委员等。长期从事防洪智能减灾与水利信息化研究工作，主要开展防洪减灾安全、洪水风险管理、智慧水利（城市）与大数据分析、流域防汛应急指挥决策、城市防灾减灾规划与防汛预警应急处置、洪水监测预警预报、水流智能模拟计算、水利工程安全监测与智能管理、水库调度与雨洪资源化利用、水资源优化配置、人工智能算法等理论与技术研究。
第0章 导言 1
0.1 什么是神经网络 1
0.2 人类大脑 4
0.3 神经元模型 6
0.4 视为有向图的神经网络 9
0.5 反馈 11
0.6 网络结构 12
0.7 知识表示 15
0.8 学习过程 21
0.9 学习任务 23
0.10 结语 28
注释和参考文献 28
第1章 Rosenblatt感知器 29
1.1 引言 29
1.2 感知器 29
1.3 感知器收敛定理 30
1.4 高斯环境下感知器与贝叶斯分类器的关系 34
1.5 计算机实验：模式分类 38
1.6 批量感知器算法 40
1.7 小结和讨论 41
注释和参考文献 42
习题 42
第2章 回归建模 43
2.1 引言 43
2.2 线性回归模型：初步考虑 43
2.3 参数向量的最大后验估计 45
2.4 正则化最小二乘估计与MAP估计的关系 48
2.5 计算机实验：模式分类 49
2.6 最小描述长度原理 50
2.7 有限样本量考虑 52
2.8 工具变量法 54
2.9 小结和讨论 56
注释和参考文献 56
习题 56
计算机实验 57
第3章 最小均方算法 58
3.1 引言 58
3.2 LMS算法的滤波结构 58
3.3 无约束优化：回顾 60
3.4 维纳滤波器 64
3.5 最小均方算法 65
3.6 描述LMS算法和维纳滤波器偏差的马尔可夫模型 67
3.7 朗之万方程：布朗运动的特点 67
3.8 库什纳直接平均法 68
3.9 小学习率参数的统计LMS学习理论 69
3.10 计算机实验I：线性预测 71
3.11 计算机实验II：模式分类 72
3.12 LMS算法的优缺点 73
3.13 学习率退火计划 74
3.14 小结和讨论 75
注释和参考文献 76
习题 76
第4章 多层感知器 79
4.1 引言 79
4.2 一些预备知识 80
4.3 批量学习与在线学习 81
4.4 反向传播算法 83
4.5 异或问题 91
4.6 提升反向传播算法性能的启发式算法 92
4.7 计算机实验：模式分类 96
4.8 反向传播和微分 96
4.9 黑塞矩阵及其在在线学习中的作用 99
4.10 学习率的最优退火和自适应控制 101
4.11 泛化 105
4.12 函数逼近 106
4.13 交叉验证 109
4.14 复杂度正则化和网络修剪 112
4.15 反向传播学习的优缺点 116
4.16 作为优化问题的监督学习 119
4.17 卷积网络 129
4.18 非线性滤波 130
4.19 小规模和大规模学习问题 134
4.20 小结和讨论 139
注释和参考文献 140
习题 141
第5章 核方法和径向基函数网络 147
5.1 引言 147
5.2 模式可分性的Cover定理 147
5.3 插值问题 151
5.4 径向基函数网络 152
5.5 K均值聚类 154
5.6 权重向量的递归最小二乘估计 156
5.7 RBF网络的混合学习过程 159
5.8 计算机实验：模式分类 159
5.9 高斯隐藏单元的解释 162
5.10 核回归及其与RBF网络的关系 163
5.11 小结和讨论 166
注释和参考文献 167
习题 169
第6章 支持向量机 172
6.1 引言 172
6.2 线性可分模式的最优超平面 172
6.3 不可分模式的最优超平面 177
6.4 作为核机器的支持向量机 180
6.5 支持向量机的设计 182
6.6 异或问题 183
6.7 计算机实验：模式分类 184
6.8 回归：鲁棒性考虑 187
6.9 线性回归问题的最优解 187
6.10 表示定理和相关问题 190
6.11 小结和讨论 194
注释和参考文献 195
习题 197
第7章 正则化理论 201
7.1 引言 201
7.2 良态Hadamard条件 202
7.3 Tikhonov正则化理论 202
7.4 正则化网络 209
7.5 广义径向基函数网络 210
7.6 再论正则化最小二乘估计 213
7.7 关于正则化的其他说明 215
7.8 正则化参数估计 216
7.9 半监督学习 220
7.10 流形正则化：初步考虑 220
7.11 微分流形 221
7.12 广义正则化理论 224
7.13 谱图理论 225
7.14 广义表示定理 227
7.15 拉普拉斯正则化最小二乘算法 228
7.16 半监督学习模式分类实验 229
7.17 小结和讨论 231
注释和参考文献 232
习题 234
第8章 主成分分析 237
8.1 引言 237
8.2 自组织原则 237
8.3 自组织的特征分析 240
8.4 主成分分析：扰动理论 241
8.5 基于Hebb的最大特征滤波器 247
8.6 基于Hebb的主成分分析 253
8.7 案例研究：图像编码 257
8.8 核主成分分析 259
8.9 自然图像编码中的基本问题 263
8.10 核Hebb算法 264
8.11 小结和讨论 267
注释和参考文献 269
习题 271
第9章 自组织映射 275
9.1 引言 275
9.2 两个基本的特征映射模型 276
9.3 自组织映射 277
9.4 特征映射的性质 282
9.5 计算机实验I：使用SOM求解网格动力学 288
9.6 上下文映射 289
9.7 分层向量量化 291
9.8 核自组织映射 294
9.9 计算机实验II：使用核SOM求解网格动力学 299
9.10 核SOM与KL散度的关系 300
9.11 小结和讨论 301
注释和参考文献 303
习题 304
第10章 信息论学习模型 308
10.1 引言 308
10.2 熵 309
10.3 最大熵原则 311
10.4 互信息 313
10.5 KL散度 315
10.6 Copula函数 316
10.7 作为待优化目标函数的互信息 319
10.8 最大互信息原则 320
10.9 最大互信息与冗余减少 323
10.10 空间相干特征 325
10.11 空间非相干特征 327
10.12 独立成分分析 328
10.13 自然图像的稀疏编码与ICA编码比较 333
10.14 独立成分分析的自然梯度学习 335
10.15 独立成分分析的最大似然估计 341
10.16 盲源分离的最大熵学习 343
10.17 独立成分分析的负熵的最大化 346
10.18 相干独立分量分析 351
10.19 率失真理论和信息瓶颈 357
10.20 数据的最优流形表示 360
10.21 计算机实验：模式分类 364
10.22 小结和讨论 364
注释和参考文献 367
习题 372
第11章 源于统计力学的随机方法 376
11.1 引言 376
11.2 统计力学 376
11.3 马尔可夫链 378
11.4 Metropolis算法 384
11.5 模拟退火 385
11.6 吉布斯采样 387
11.7 玻尔兹曼机 388
11.8 逻辑斯蒂置信网络 392
11.9 深度置信网络 393
11.10 确定性退火 396
11.11 确定性退火和EM算法的类比 399
11.12 小结和讨论 400
注释和参考文献 401
习题 402
第12章 动态规划 406
12.1 引言 406
12.2 马尔可夫决策过程 407
12.3 贝尔曼最优准则 409
12.4 策略迭代 411
12.5 值迭代 412
12.6 逼近动态规划：直接法 416
12.7 时序差分学习 416
12.8 Q学习 420
12.9 逼近动态规划：非直接法 422
12.10 最小二乘策略评估 424
12.11 逼近策略迭代 428
12.12 小结和讨论 430
注释和参考文献 432
习题 433
第13章 神经动力学 436
13.1 引言 436
13.2 动态系统 437
13.3 平衡状态的稳定性 440
13.4 吸引子 444
13.5 神经动力学模型 445
13.6 作为递归网络范式的吸引子操作 447
13.7 Hopfield模型 447
13.8 Cohen-Grossberg定理 456
13.9 盒中脑状态模型 457
13.10 奇异吸引子与混沌 462
13.11 混沌过程的动态重建 465
13.12 小结和讨论 469
注释和参考文献 470
习题 472
第14章 动态系统状态估计的贝叶斯滤波 474
14.1 引言 474
14.2 状态空间模型 474
14.3 卡尔曼滤波器 477
14.4 发散现象和平方根滤波 482
14.5 扩展卡尔曼滤波器 486
14.6 贝叶斯滤波器 489
14.7 容积卡尔曼滤波器：基于卡尔曼滤波器 492
14.8 粒子滤波器 496
14.9 计算机实验：扩展卡尔曼滤波器和粒子滤波器的比较 502
14.10 卡尔曼滤波在大脑功能建模中的应用 504
14.11 小结和讨论 505
注释和参考文献 507
习题 508
第15章 动态驱动递归网络 512
15.1 引言 512
15.2 递归网络结构 512
15.3 通用逼近定理 517
15.4 可控性和可观测性 518
15.5 递归网络的计算能力 521
15.6 学习算法 523
15.7 时间反向传播 524
15.8 实时递归学习 527
15.9 递归网络的梯度消失 531
15.10 利用非线性序列状态估计的递归网络监督训练框架 534
15.11 计算机实验：Mackay-Glass吸引子的动态重建 539
15.12 适应性考虑 540
15.13 案例研究：应用于神经控制的模型参考 542
15.14 小结和讨论 543
注释和参考文献 546
习题 547
参考文献 551
书单推荐
