推荐序一
“数据就是生产力”已经成为业界的共识。作为企业的重要资产,数据是企业数字化转型过程中的关键要素。无论是技术创新或业务模式优化,还是企业决策和新产品开发,所有的一切都将围绕数据展开。
但这里需要的数据并不是杂乱无章的原始数据,也不是放在存储设备里多年却难以利用的数据。要让数据发挥更大的价值,首先必须让数据“活”起来,变得更加有序、可用,从而更具生命力;其次要让数据“聪明”起来,即更加智能化,并且可以借助外脑和工具,构建强大的开放数据生态。
在传统的概念里,数据孤岛很常见,IT决策和数据管理相对独立,数据备份一放好多年,主要是为了满足监管与合规要求,但想要使用的时候却困难重重。让数据更加可用,了解数据从哪儿来、到哪儿去,无论是云上还是云下,每一步流动都全局可视,更加贴近业务本身,才能让数据真正“活”起来,数据才有可能发挥更大的价值。
想让数据“聪明”起来,则需借助更多的外脑以及数据智能分析和挖掘工具,基于前期梳理好的数据源去进行深入挖掘。无论使用的是何种工具,它们都可以不用在意数据格式、存储介质、存储位置等外在因素,基于开放的API,重用各类企业数据,最终形成自己的洞察。
而在云时代让数据更“活”、更“聪明”的核心基础就是本书的重要内容—云数据管理。
Veeam云数据管理平台可以帮助企业消除数据孤岛,重塑数据的价值,敏捷快速地抓住新机遇和防范可能的威胁,以数据为动力,始终如一地推动业务增长,获得竞争优势。本书凝聚了Veeam中国工程师团队的心血,从1000多个实践案例中提炼出关于云数据管理的具体方法和实践,也试图从新的角度,采用新的方法,结合实际的业务目标,务实、高效地帮助大家将数据治理的每一步、每一项核心技术真正落实到具体的应用场景中。
可以说,我们这代人是幸运的,见证了互联网的兴起,又将见证5G、人工智能、混合云、物联网等技术风起云涌的大时代。作为新型生产要素,数据将催生更强劲的生产力,即将开启一个新的时代。这次,数字文明的未来征途将会是星辰大海,我们愿和大家一道,有“备”而来,向云而生,为数字经济贡献一份小小的力量。
未来已来,有“备”无患。
张弘
Veeam Software中国区总经理
推荐序二
非常高兴能为本书作序。本书的作者们不仅是我的好朋友,同时也是与我朝夕相处的同事。我一直深信“取之社会,用之社会,还之社会”是科技发展的动力,知识共享和科技分享是科技发展的有效方式。我也深信,来自一线的实战经验对于用户来说是有效的借鉴,能够帮助更多志趣相投的技术人员完成更高水平的自我实现。本书的很多内容都来自一线的实际应用和最佳实践,读者读之会受益匪浅。
作者团队是云数据保护和管理领域的精英,他们在这个领域有多年的经验和知识积累。通过与他们的长期合作,我也获得了许多很有价值的想法和启示,涉及中国的数字化转型、人工智能(AI)、大数据分析和IoT等。当我看到这本书的最初版本时,感到非常兴奋。本书开场直接讲解云计算的起源,让读者很快了解云计算的发展。从云计算时代早期开始,就以非常有逻辑性的思维考量了数据管理的重要性,将读者带入所期待的云计算未来。成功的数字化转型是云计算未来的重点目标。如何在云计算时代迈向我们展望的数字化转型,当前要考虑的策略是如何结合云计算和数据管理,即本书着重探讨的策略—云数据管理。本书通过实际案例、详细步骤和真实图表,帮助读者轻松地了解云数据管理的原理和技术实现方法。各个章节通过条理化的阐述、连贯性的描述展现了云数据管理覆盖的内容及其相关性。另外,本书还整合了许多参考材料,以供读者更深入地学习云数据管理。
无论你正在规划数字化转型项目,还是在实施云数据管理解决方案,本书都能给你提供全方位的参考,还能帮助你制定混合云或多元化的策略,成功实施云数据管理,实现所需要的数字化转型目标。
感谢阅读!
吴孔煜
Veeam Software亚洲区科技总监
推荐序三
放眼全球,由人工智能、云计算、大数据、物联网等新兴技术引领的数字化转型,正在助推第四次工业革命。它也是我国“新基建”战略坚实的技术基础。很多国家都把数字经济作为创新发展的重要动能,并上升为国家战略;我国则凭借互联网普及程度高、数据资源丰富、市场规模巨大等优势,处于全球数字经济高速发展的第一梯队。
随着“新基建”进程的加快,数据作为一种新型可共享的资源,将在行业间不断交互循环,碰撞出新的应用价值。所有的企业和机构都将数据作为重要的核心资产,对其重视程度与日俱增。不过需要强调的是,这些海量、多元、多形态的数据需要更科学的数据管理策略和支撑体系,才能实现其最大的价值。如何更加高效地管理和使用这些数据,是各行各业的数据管理者面临的巨大挑战。
尤其是企业所面临的混合云环境越来越复杂,对于云数据管理的要求也更高。根据IDC的预测,2018~2023年私有云建设市场规模的年复合增长率将达到18.9%,会超过公有云(11.4%)和传统数据中心(7.5%)的增速,多态融合云成为主流。现代化企业需要根据日渐复杂的云生态,改革现有的数据管理和治理体系。
企业为挖掘数据的深度应用,在对海量、多元、多形态的数据进行管理和治理的过程中,将会面对数据多态化、数据多样性和数据适配性的发展趋势。
数据多态化。越来越多的企业在公有云和私有云之间转换,以提高企业利用云服务的能力和多样化,探索合理的云化,以及保证核心应用的安全与稳定。云的多态化必然会带来数据分布的多态化,而数据分布的多态化又会对数据在不同云之间的流动和转换提出更高的要求。
数据多样性。在云计算时代,人工智能、物联网、边缘计算的出现,带来了大量的非结构化数据,其增长速度远远大于结构化数据的增长速度。在不远的将来,多种多样的非结构化数据将成为主流,对多种多样的非结构化数据进行管理和治理将成为数据管理的重点。
数据适配性。在云计算时代,大多数应用平台需要实现海量数据与应用所需数据的分离。充分利用机器学习等人工智能技术对海量数据进行关联分析、深度挖掘和可视化展现,以洞察可共享数据的经济价值和管理价值,并解决好共享数据与企业其他数据的适配性后,才能将其嵌入企业应用中。
对于如何顺应以上趋势,本书给予了详细分析,并且以企业云数据管理为主要对象,描述了其中的若干关键性技术。对于如何提高管理效率,如何实现可管可控,如何提高风险防范能力,如何发挥数据的价值等,本书也做了全面解答。
数字经济时代,企业的数字化能力就等于企业的生存能力。企业正面临着比以往任何时候都更快的业务变革和技术变革,从数据到信息、从知识到决策,灵活可靠的云数据管理需要释放出更大的价值。装备专业的数据管理能力,能够从根本上为企业赋能,也将成为“新基建”的底层能力。
本书可以作为云数据管理的“深科普”读物,为面临转型的企业提供新的思考。
王新川
河北省科学院应用数学研究所所长、河北省机电一体化中试基地主任
中国计算机学会理事、河北省科协委员、河北省计算机学会理事长
河北省自动化学会常务副理事长、河北省电子学会副理事长
河北省信息技术领域学会联合体主席团主席
河北省软件与信息服务业协会专家组长
推荐序四
我并不喜欢“数据管理”这个词,因为概念太大,反而不知道要做的事情是什么,要解决的问题是什么。从5G、AI、大数据,到数据存储、数据中台、数据保护,都可以说成数据管理,跨度之大,让人不明就里。
应Veeam之邀为本书作序,首先要搞清楚这里说的数据管理是什么。本书将数据管理分成五个阶段:数据可用性、数据聚合、数据可视化、数据使用流程编排、数据交付自动化。不同的企业可能处于不同的发展阶段。这五个阶段听起来复杂,但在我看来其实可以用数据保护来概括。
数据保护看上去简单,就是用一个硬盘,将需要保护的对象,整个拖进去就搞定了。然而事情没有那么简单,一来需要保护的对象很多,涉及本地系统,也涉及多云环境,二来牵扯数据一致性。我们应该有这样的体会,将数据拖进盘里简单,但是查找数据并不简单,即使有数据文件,系统加载也未必能够成功,其中涉及复杂的数据恢复问题。
针对数据保护,需要考虑备份、恢复、容灾、RPO/RIO,涉及两地三中心、多云环境,以及自动编排和交付、AI应用,事情并不简单。专业的事情需要由专业的技术公司来完成,我想这也是Veeam Software技术团队编写本书的初衷。如果你关注数据保护,那么不可错过本书。
如今,数据保护也并非单纯意义上的数据备份、恢复、容灾、复制、归档等,毕竟数据保护不是目的,数据创新才是更多用户关注的内容。二级数据存储、数据再利用、对于数据应用提供全方位支持、开拓数据应用和管理的视野等,这些才是当今时代的追求!
推荐大家认真阅读本书!
宋家雨
DOSTOR总编
前 言
本书所讲的云数据管理中使用的工具和软件均来自卫盟软件(Veeam Software),其中包括VAS(Veeam Availability Suite)和VAO(Veeam Availability Orchestrator)。VAS软件主要包括两个部分:云数据保护软件VBR(Veeam Backup & Replication)和可视化集成管理软件Veeam ONE。VAO是基于VAS的灾备流程自动化引擎。书中所介绍的示例、图片以及功能实现均以VAS v10为蓝本。
另外,本书并非Veeam软件的使用手册,有关Veeam软件的详细参数和选项说明,请参考官网的在线使用手册。
本书亮点
本书的作者均为一线资深架构师和技术顾问,具有丰富的云数据管理实践经验。因此,本书具有很好的实践指导意义。
本书从数据保护解决方案出发,结合云时代数据管理的特点,基于来自Veeam Software的工具和软件详细阐述了在云数据管理中各种新技术的实现方法和应用方式。针对云数据管理所面临的挑战和问题,通过一些工具的组合使用给出了相应的实践步骤和参考建议。
结合工具的功能和实际应用环境,本书总共给出了20个实践示例,通过一步一步的配置操作,帮助读者切实体会Veeam工具和软件在云数据管理中的应用方法。
本书内容
第1章主要介绍了云时代对数据管理带来的影响和提出的要求,点明了下一代数据管理平台需要具备的能力。
第2~5章详细介绍了如何使用Veeam工具和软件实现云数据管理中的第一个关键步骤,即数据可用性。
第6~9章详细介绍了数据的使用方法。在云数据管理中,要求数据可以被使用,可以被自助使用,还可以被自动化地使用。另外,这部分还包括数据的管理方法和安全加固方法。
本书读者对象
本书适用于需要了解在云和虚拟化架构下如何保护和管理数据的读者,如CIO、CTO、企业架构师、应用开发架构师、基础架构管理员和IT工程师。
本书编写团队
本书的编写分工如下:第2章、第3章由魏磊编写,第4章、第8章由张聪编写,第6章、第7章由邬小亮和魏磊共同编写,第1章、第9章由刘春义和张聪共同编写,第5章由张远编写。全书由魏磊统稿。
由于时间仓促,书中难免存在错误和疏漏,希望各位读者多多包涵,也欢迎指正。
目 录
推荐序一
推荐序二
推荐序三
推荐序四
前言
示例列表
第1章 云计算和云数据管理 1
1.1 云计算概述 2
1.1.1 云计算的形态 2
1.1.2 云计算的关键技术 4
1.2 云计算对数据产生的影响 5
1.3 数据管理的发展过程 6
1.4 Veeam和云数据管理 8
1.5 下一代数据管理平台的核心能力 10
1.6 本章小结 11
第2章 云数据保护基础 13
2.1 系统镜像级数据备份 14
2.1.1 VMware vSphere 15
2.1.2 Microsoft Hyper-V 20
2.1.3 Nutanix AHV 25
2.1.4 镜像级备份中的快照问题 26
2.1.5 AWS EC2和Azure VM 28
2.1.6 Windows和Linux操作系统 31
2.2 系统镜像数据的复制 31
2.3 应用程序数据处理 35
2.3.1 应用程序的代理和无代理备份 35
2.3.2 应用程序感知技术详解 36
2.3.3 SQL Server的备份 40
2.3.4 Oracle的备份 43
2.4 文件级数据的保护 49
2.5 备份数据的拷贝 52
2.5.1 备份拷贝的工作原理 54
2.5.2 备份拷贝的传输方式 54
2.6 备份和容灾应用示例 55
2.6.1 示例一:主备数据中心一体化灾备 55
2.6.2 示例二:三个数据中心的数据接力 66
2.7 本章小结 68
参考文献 69
第3章 云数据恢复基础 71
3.1 从备份中恢复 72
3.1.1 即时恢复 72
3.1.2 完整恢复 74
3.1.3 文件级恢复 75
3.1.4 应用程序对象恢复 76
3.1.5 直接恢复至Azure和Amazon EC2 77
3.2 从复制存档文件中恢复 77
3.3 数据恢复示例 79
3.3.1 示例三:即时虚拟机恢复 79
3.3.2 示例四:灾备接管和切换 86
3.4 本章小结 91
参考文献 92
第4章 二级存储库管理 93
4.1 二级存储库简介 94
4.1.1 二级存储库的定义 94
4.1.2 二级存储库的应用 94
4.1.3 二级存储库的架构设计要点 95
4.2 备份存储库的关键组件及常见类型 95
4.2.1 备份存储库的关键服务及组件 96
4.2.2 备份存储库的选择与使用 101
4.3 横向扩展备份存储库 109
4.3.1 存储库扩展单元 111
4.3.2 备份存档放置策略 111
4.3.3 横向扩展备份存储库中的数据移动 113
4.4 对象存储库 115
4.4.1 对象存储库的结构 116
4.4.2 对象存储库的不可变性 117
4.4.3 注意事项和局限性 117
4.5 存储库应用示例 118
4.5.1 示例五:将数据备份到横向扩展备份存储库 119
4.5.2 示例六:从对象存储导入数据并将其恢复到AWS 127
4.6 本章小结 135
参考文献 136
第5章 数据存档和数据保留 137
5.1 备份模式和备份链 138
5.1.1 主备份作业中的备份模式 138
5.1.2 备份拷贝作业中的备份模式 145
5.1.3 各种备份模式下的备份链 146
5.1.4 从备份链中提取单个还原点 147
5.2 数据保留策略 147
5.2.1 正向增量备份的数据保留策略 148
5.2.2 永久正向增量备份的数据保留策略 150
5.2.3 反向增量备份的数据保留策略 151
5.2.4 删除无效数据策略 152
5.3 长期数据保留策略 155
5.4 本章小结 156
参考文献 156
第6章 云数据再利用 157
6.1 数据实验室 158
6.1.1 虚拟实验室 159
6.1.2 应用组 162
6.1.3 存档验证作业 162
6.1.4 示例七:数据实验室应用 163
6.1.5 示例八:跨主机多网段的数据实验室应用 174
6.2 数据集成API的发布服务 178
6.2.1 数据集成API的工作原理 179
6.2.2 数据集成API的使用方式 179
6.2.3 示例九:数据集成API应用 180
6.3 数据库即时呈现 184
6.3.1 数据库即时呈现的工作原理 184
6.3.2 示例十:数据库即时呈现 185
6.4 本章小结 192
参考文献 192
第7章 云数据自助服务 193
7.1 自助数据备份服务 194
7.1.1 示例十一:自助备份服务的构建 194
7.1.2 示例十二:自助备份服务的使用 198
7.2 自助数据使用服务 202
7.2.1 示例十三:vSphere自助恢复服务 203
7.2.2 示例十四:通用自助恢复服务的构建 210
7.2.3 示例十五:通用自助恢复服务的使用 210
7.3 利用API拓展自助服务 212
7.4 本章小结 214
参考文献 214
第8章 云数据管理自动化 215
8.1 灾备自动化的要点 217
8.1.1 灾备数据验证的有效性 217
8.1.2 灾备数据恢复的安全性 217
8.1.3 灾备恢复计划的可维护性 218
8.1.4 灾备流程的可执行性 218
8.2 VAO介绍 219
8.2.1 VAO的关键功能 219
8.2.2 VAO的使用场景 220
8.2.3 VAO的两种灾备执行计划 221
8.2.4 VAO数据实验室的功能强化 221
8.3 VAO灾备执行范围与关键组件 222
8.3.1 VAO灾备执行范围的定义 222
8.3.2 VAO中的数据实验室与实验室组 223
8.3.3 VAO的基础组件 224
8.4 VAO灾备自动化文档系统 226
8.4.1 报表模板 227
8.4.2 报表类型 227
8.5 VAO的可编排计划与自定义脚本 228
8.5.1 示例十六:创建恢复计划 229
8.5.2 示例十七:周期性验证恢复计划 238
8.5.3 示例十八:执行恢复计划 249
8.6 数据管理过程中的自动化应用 250
8.6.1 计划内迁移 250
8.6.2 系统运维过程中的补丁升级与测试 251
8.6.3 可预测结果的灾备演练 251
8.6.4 数据重用与数据安全分析 252
8.7 本章小结 252
参考文献 253
第9章 云数据运行环境的管理和安全 255
9.1 云环境的构成和管理要求 256
9.1.1 四要素的新挑战 257
9.1.2 云环境的IT事件 258
9.2 Veeam ONE组件和工作方式 258
9.2.1 Veeam ONE的组件 258
9.2.2 Veeam ONE Monitor 259
9.2.3 Veeam ONE Reporter 260
9.2.4 业务分组视图 261
9.2.5 告警管理 261
9.3 Veeam ONE应用的配置示例 262
9.3.1 示例十九:配置异常活动监控,防范勒索病毒 262
9.3.2 示例二十:配置僵尸虚拟机检测的月度监控报告 270
9.4 云数据管理安全加固 275
9.4.1 备份基础架构安全加固 275
9.4.2 Windows备份存储库加固 280
9.4.3 Linux备份存储库加固 283
9.5 本章小结 286
参考文献 286
结束语 287