在科技与教育深度融合的新时代背景下，培育德才兼备且具有创新精神和实践技能的人才至关重要。本书融合最优化理论与机器学习技术，配套相关课程为本科生和研究生提供系统全面的学习资源。全书共6章。第1章“绪论”介绍最优化问题的分类和典型应用，为后续学习奠定基础。第2章“凸分析”探讨凸集和凸函数等概念，提供解决优化问题的理论工具。第3章“最优性条件”讲解对偶问题和KKT条件，帮助学生理解最优解的求解方法。第4章“最优化计算”详细介绍梯度下降法、线性搜索法等无约束优化算法。第5章“机器学习中的邻近算法”阐述邻近算子及其在模型训练中的应用。第6章“应用”结合压缩感知等案例展示最优化方法在机器学习领域的实践。扫描书中二维码可获得相关彩图，提升学习效果。本书由粤港澳大湾区高校专家联合打造，内容严谨实用，旨在培养学生的数学素养、信息处理能力和科研实践技能。
更多科学出版社服务，请扫码获取。
华南师范大学本科硕士，美国伊利诺理工大学博士
目录
序
前言
第一章 绪论 1
1.1 最优化问题的分类 1
1.1.1 无约束和约束最优化问题 2
1.1.2 线性和非线性规划问题 2
1.1.3 凸和非凸优化问题 3
1.1.4 连续和离散优化问题 3
练习 3
1.2 机器学习中的典型优化问题 3
1.2.1 最小二乘线性回归 3
1.2.2 LASSO 7
1.2.3 支持向量机 8
1.2.4 多层感知机 25
练习 31
第2章 凸分析 33
2.1 酸 33
2.1.1 仿射集 33
2.1.2 凸集 37
2.1.3 分离定理 40
2.1.4 凸锥 43
练习 48
2.2 凸函数 50
2.2.1 下半连续性与可微性 50
2.2.2 凸函数及其基本性质 56
2.2.3 严格凸函数与强凸函数 60
2.2.4 凸函数的判定 62
2.2.5 共轭函数 66
练习 71
2.3 凸函数的次微分 75
2.3.1 示性函数与支撑函数 75
2.3.2 次微分定义、一阶最优性条件 77
2.3.3 次微分与方向导数 78
2.3.4 次微分的常用性质 81
2.3.5 次微分的单调性与闭性 84
练习 85
第3章 最优性条件 87
3.1 对偶问题 89
练习 98
3.2 鞍点定理与KKT条件 103
练习 111
第4章 最优化计算 112
4.1 无约束优化算法的一般步骤 112
练习 114
4.2 梯度下降法 115
练习 119
4.3 次梯度算法 121
4.3.1 次梯度算法结构 121
4.3.2 收敛性分析 121
练习 125
4.4 线性搜索 126
4.4.1 精确线性搜索 127
4.4.2 非精确线性搜索 129
练习 131
4.5 牛顿法 132
练习 138
4.6 拉格朗日乘子法 139
4.6.1 等式约束最优化问题 141
4.6.2 一般形式优化问题 146
练习 150
第5章 机器学习中的邻近算法 153
5.1 邻近算子 153
5.1.1 投影算子与隐式梯度下降法 154
5.1.2 邻近算子与莫罗包络 155
5.1.3 咎范数的邻近算子 161
5.1.4 MCP的邻近算子 168
5.1.5 Log-sum函数的邻近算子 170
5.1.6 核范数的邻近算子 173
练习 175
5.2 邻近算法 177
5.2.1 迭代阈值收缩算法 177
5.2.2 加速的迭代阈值收缩算法 180
5.2.3 交替方向乘子法 182
5.2.4 案例 184
练习 190
第6章 应用 191
6.1 压缩感知 191
6.1.1 压缩感知的模型 192
6.1.2 压缩感知的算法 193
6.2 低秩矩阵恢复 203
6.2.1 低秩矩阵的模型 203
6.2.2 低秩矩阵的算法 204
6.3 图像修复 206
6.3.1 图像修复的模型 206
6.3.2 图像修复的算法 208
参考文献 213
书单推荐
