本书旨在为包括研究生和工业从业者在内的研究人员提供有关为数据驱动的进化优化而开发的最新方法的全面描述。本书共分12章,第1~4章简要介绍了优化、进化计算和机器学习中精心挑选的重要主题和方法。第5章提供了数据驱动优化的基础知识,包括启发式算法和基于获取函数的代理模型管理。第6章介绍使用多个代理模型进行单目标优化的方法。第7~8章中描述用于求解多目标和多目标优化算法的代表性进化算法以及代理模型辅助数据驱动的进化多目标和多目标优化。第9章详细阐述了高维数据驱动优化的方法。第10章描述迁移学习和迁移优化。第11章讨论离线数据驱动的进化优化,以翼型设计优化等实际优化问题为例、原油蒸馏优化和急救系统优化。最后,第12章强调了深度神经架构搜索作为数据驱动的昂贵优化问题。
1999年,我从美国回到德国,在奥芬巴赫的本田欧洲研究所担任研究科学家职位,完成我的第二个博士学位,同时开始研究进化优化中的适应度近似。当时的动机是使用进化算法,特别是进化策略,通过设计定子或转子叶片的几何形状来优化涡轮发动机的空气动力学性能。为了完成这项任务,必须执行耗时的计算流体动力学模拟,这会让人们不用再进行数以万计的适应度评估,尽管这通常在进化优化中完成。为了减少进化空气动力学优化的时间消耗,机器学习模型(也称为元模型或代理模型)中的适应度近似开始发挥作用。我对这个研究课题非常感兴趣,因为它提供了一个很好的平台,将进化计算与神经网络相结合,这是我感兴趣的两个课题。出于这个原因,我努力在进化计算社区中推广这个新领域,并且在我2010年加入萨里大学后一有机会就继续研究这个主题。
在过去的二十年里,进化优化中的适应度近似(也称为代理模型辅助进化优化)已经发展成为一个非常具有吸引力的研究领域,现在被称为数据驱动的进化优化。数据驱动的进化优化侧重于一类现实世界的优化问题,其中无法为目标或约束建立分析数学函数。一般来说,数据驱动的优化可能包括以下几种情况。首先,基于模拟的优化,其中解的质量通过迭代、计算密集型过程进行评估,适用范围从数值求解大量微分方程到在大量数据集上训练深度神经网络。其次,基于物理实验的优化,其中候选解的目标或约束值只能通过执行物理或模拟人体实验来评估。这通常是因为对整个系统进行高质量的计算机模拟是不可能的,要么是因为计算量太大(例如,对整个飞机的空气动力学进行数值模拟),要么是因为对过程尚未完全理解而难以处理(例如,人类决策过程的工作机制)。最后,在纯粹的数据驱动优化中,只有在现实生活中收集的数据可用于优化,并且不允许利用用户设计的计算机模拟或物理实验。例如,优化复杂的工业过程或社会系统。在上述所有情况下,收集的数据量或大或小,数据可能是异构的、含噪的、错误的、不完整的、分布不均或增量的。
显然,数据驱动的进化优化涉及3个不同但互补的科学学科,即进化计算、机器学习和深度学习以及数据科学。为了高效地解决数据驱动的优化问题,必须对数据进行适当的预处理。同时,机器学习技术对于处理大数据、数据匮乏和数据中的各种不确定性变得不可或缺。最后,当优化问题是高维或大规模、多目标和时变时,求解优化问题变得极其困难。
本书旨在为包括研究生和工业从业者在内的研究人员提供有关为数据驱动的进化优化而开发的最新方法的全面描述。本书共分12章。为了本书的自足性,第1~4章简要介绍了优化、进化计算和机器学习中精心挑选的重要主题和方法。第5章提供了数据驱动优化的基础知识,包括启发式算法和基于获取函数的代理模型管理。第6~8章介绍使用多个代理模型进行单目标优化的方法,其中第7章和第8章描述用于求解多目标和高维多目标优化算法的代表性进化算法以及代理模型辅助数据驱动的进化多目标和高维多目标优化。第9章详细阐述了高维数据驱动优化的方法,介绍了在半监督学习的帮助下,将知识从未标记数据转移到标记数据,从廉价目标迁移到昂贵目标、从廉价问题迁移到昂贵问题的大量技术,迁移学习和迁移优化在第10章中进行了描述。由于数据驱动优化是一个强应用驱动的研究领域,因此第11章讨论了离线数据驱动的进化优化,并给出了实际优化问题,如原油蒸馏优化和急救系统优化的例子。最后,第12章强调了深度神经架构搜索作为数据驱动的昂贵优化问题。
本书的3.5节和3.6节、4.2节、5.2节、6.4节和6.5节、7.2节和7.3节、9.6节和9.7节、11.1节和11.3节和第12章由王晗丁撰写,3.7节和3.8节、5.4.1节、5.5节、6.2节和6.3节、9.2节和9.3节和第10章由孙超利撰写。王晗丁在20152018年担任博士后研究员; 孙超利最初在20122013年作为学术访问者,在20152017年在我的萨里小组担任博士后研究员。
为了让读者更容易理解和使用本书中介绍的算法,提供了第5~12章中介绍的大多数数据驱动进化算法的源代码,可扫描下页二维码下载,本书中介绍的所有基线多目标进化算法都是在PlatEMO中实现的。PlatEMO是一种用于进化多目标优化的开源软件工具。
如果没有我以前的许多同事、合作者和博士生的支持,这本书是不可能完成的。首先,要感谢Bernhard Sendhoff教授和Markus Olhofer教授,我在19992010年与他们一起在本田欧洲研究所工作。在2010年加入萨里大学后,我和Markus仍然在一些关于进化优化的研究项目上保持着密切的合作。我还要感谢来自芬兰于韦斯屈莱(Jyvskyl)大学的Kaisa Miettinen教授,在20152017年,我作为特聘教授与他密切合作,研究进化多目标优化。感谢来自中国东北大学的柴天佑教授和丁进良教授,我也作为长江特聘教授与他们合作进行进化优化的研究。以下合作者以及我以前或现在的博士生对本书中的部分工作做出了贡献: YewSoon Ong教授、Jrgen Branke教授、张青富教授、张兴义教授、周爱民教授、程然教授、孙晓燕教授。Ingo Paenke、Tinkle Chugh博士、John Doherty、郭单博士、杨翠娥博士、田野博士、何成博士、Dudy Lim博士、Mingh Nhgia Le博士、田杰博士、于海波博士、喻果博士、Michael Hsken博士、李慧婷、王曦璐、秦淑芬、王浩、付国霞、廖鹏、Sebastian Schmitt、高开来、Jussi Hakanen博士、Tatsuya Okabe博士、孙亚楠博士、Jan O.Jansen博士、Martin Heiderich、黄元君博士、Tobias Rodemann博士。我还要借此机会感谢姚新教授、Gary Yen教授、Kay Chen Tan教授、张孟杰教授、Richard Everson教授、Jonathon Fieldsend教授、Stefan Kurz教授、Edgar Krner教授和Andreas Richter在过去二十年的鼎力支持。最后,感谢EPSRC(英国)、TEKES(芬兰)、中国国家自然科学基金、本田欧洲研究院、本田欧洲研发中心和德国博世公司的资金支持。
金耀初2021年2月于英国吉尔福德
全书代码