本书全面介绍了数据架构与数据建模的相关知识,全书分为4篇,共16章。
第1~3章为数据架构基础篇,介绍了企业架构、数据架构及数据模型的基础概念。第4~9章为数据模型设计篇,介绍了如何通过数据模型记分卡规范化数据模型设计,以及经典数据建模方法论,包括范式建模、维度建模、Data Vault建模、统一星型建模。第10~12章为数据模型落地篇,介绍了在企业中如何实现多人协作构建模型、如何管控数据模型、数据模型数据与数据标准,以及元数据如何形成数据治理闭环。第13~16章为行业数据模型篇,分别介绍了证券、保险、教育、航空业的数据架构及数据模型。
本书既可以作为数据建模人员、数据开发人员的学习用书,也适合非IT专业但对数据有强烈兴趣的业务人员使用,还可以作为高等院校计算机、数学及相关专业的师生用书和培训学校的教材。
(1)讲解企业数据架构、数据模型基础概念,以及经典数据建模方法论。
(2)全面介绍数据模型从设计到落地及管控等方面的细节。
(3)提供证券、保险、教育、航空业的数据架构及数据模型的案例和实践路径,为政企数字化转型提供参考。
感谢你翻开这本书。
2016年年底,我从一家知名外企辞职,离开了呕心沥血11年打造的数据建模鼻祖产品及其全球研发负责人的岗位,开启了创业之旅。那时互联网如日中天,数据领域才刚刚起步。我常常也会心怀疑虑,数字化转型能走多远?未来还需要数据建模吗?过去十几年的经验能在时代大潮中经受住考验吗?
5年后的今天,答案显而易见。数据应用在各行业中百花齐放,精准营销、金融风控、无人驾驶、智慧农业,可以说是无处不在。而数据模型、数据架构也开始再次被人们所认识和重视。数据中台在被热炒的大浪中退去,我们发现其终沉淀下来的不是各种光鲜或不知所云的新概念,而是人们对业务及数据的深刻理解,这些都沉淀在了数据模型中。
本书从数据架构的基本概念入手,从业务系统的三范式模型到数据仓库的维度模型、Data Vault模型,结合大量的行业实例及绘图进行展示,分析了数据模型的本质,并针对模型给出了详细解读。
本书适合正在建设数据中台、数据仓库及业务系统的业内人士,以及觉得模型晦涩难懂、无所适从的初学者,也适合作为计算机相关专业的教材。本书能帮助你理解经典的模型设计,并让你获得足够多的经验和实践技巧,以便更好地分析和解决问题。
更重要的是体会到数据模型之美!
王琤,Datablau数语科技创始人兼CEO。
具有近二十年数据管理经验,曾任CA ERwin全球研发负责人,曾服务过美国银行(BOA)、SunTrust、AT&T、壳牌等世界500强企业,参与过中国建设银行、华为、南方电网、中国人寿、中信集团等大型企事业单位的数据治理建设。现为国资委数据要素专家组成员,DAMA China数据架构、数据模型专家委员会牵头人,信通院数据资产专家委员会成员,Open Group成员,复旦大学、北京航空航天大学客座讲师,并有多项专利、论文发表于IEEE等机构。
篇 数据架构基础篇
1 缘起 2
1.1 数据架构与数据模型 2
1.2 数据建模简史 5
2 企业架构 9
2.1 企业架构的构成 9
2.2 企业架构的框架 10
2.3 敏捷的企业架构治理 12
2.4 企业架构与数据治理 16
3 数据模型 17
3.1 概念模型 17
3.2 逻辑模型 21
3.3 物理模型 23
第二篇 数据模型设计篇
4 数据模型质量 26
4.1 数据模型记分卡 26
4.2 数据模型规范 37
5 范式建模 40
5.1 范式与模型 40
5.2 范式 42
5.3 第二范式 42
5.4 函数依赖 44
5.5 码 46
5.6 非主属性 46
5.7 第三范式 49
5.8 鲍依斯-科得范式 50
5.9 范式建模工作方法和流程 50
6 数据仓库 53
6.1 数据仓库的演化过程 53
6.2 数据仓库的概念 58
6.3 数据仓库的体系结构 59
6.4 数据仓库的工具与技术 60
6.5 企业级数据仓库 61
6.6 企业级数据仓库的解决方案 65
7 维度建模 69
7.1 维度建模的基本概念 69
7.2 维度建模的常见模式 76
7.3 维度建模的过程 78
7.4 维度建模的任务建议 81
7.5 数据仓库总线结构 84
8 Data Vault建模 89
8.1 Data Vault的起源 89
8.2 Data Vault建模方法 89
8.3 Data Vault适用场景 94
9 统一星型模型建模 96
9.1 统一星型模型简介 96
9.2 数据仓库与数据集市 97
9.3 数据集市的演变 102
9.4 集成数据集市的方法 106
9.5 向集成数据集市变革 108
9.6 统一星型模型 111
第三篇 数据模型落地篇
10 数据模型管控 120
10.1 背景介绍 120
10.2 数据模型管控的思路 122
10.3 组织架构 124
10.4 数据模型管控实战经验 126
11 数据架构与数据治理 136
11.1 企业架构与数据架构 136
11.2 数据架构驱动的数据治理 138
11.3 从数据架构到数据 139
11.4 元数据 141
11.5 元数据管理 142
11.6 数据模型与元数据的关系 143
11.7 数据模型与元数据的版本管理 144
11.8 数据模型与元数据的血缘分析 145
12 数据模型与数据标准 147
12.1 数据标准 147
12.2 数据模型与数据标准的关系 150
12.3 将数据标准应用于数据模型建设 150
12.4 从数据模型发现并生成新的数据标准 151
第四篇 行业数据模型篇
13 证券资管行业的数据架构及模型 154
13.1 证券公司业务概览 154
13.2 证券行业数据管控 156
13.3 证券公司数据模型 161
14 保险行业的数据架构及模型 165
14.1 保险行业业务概述 165
14.2 保险行业监管数据标准 166
14.3 保险行业数据模型 167
15 教育行业的数据架构及模型 182
15.1 教育行业信息化发展及现状 182
15.2 数据标准化管理平台建设原则 183
15.3 数据标准化管理平台建设目标 184
15.4 教育行业数据架构的统筹规划 185
15.5 教育行业数据建模前期的数据准备 187
15.6 教育行业的数据模型设计 189
15.7 教育行业的数据模型 190
16 航空公司的数据架构及模型 197
16.1 航空公司业务与信息化 197
16.2 民用航空行业数据标准 200
16.3 航空公司数据架构 200
16.4 航空公司数据模型 205
16.5 概念模型的组成 206
16.6 航班运行领域数据模型 212
附录A 证券期货业已发布标准 214
附录B 保险行业转型相关政策文件 218
附录C 财产保险业务及人身保险业务要素数据规范 220
附录D 民用航空行业数据标准简介 222