本书以大学生大数据技能竞赛、智警杯大数据技能竞赛为背景，全面系统地讲述了大数据技术的基本原理和应用。
本书共5章，主要介绍了Linux操作系统的常用命令和服务的使用；MySQL数据库操作与管理、非关系型数据库NoSQL；围绕大数据框架讲述了Hadoop技术、Hive数据仓库等大数据组件架构的应用；数据采集与分析；数据挖掘与数据可视化、业务分析报告撰写等内容。
本书内容循序渐进，条理性强，全部内容基于项目需求进行设计，同时对所需的系统环境、软件版本、数据等信息进行详细说明，有助于读者本地环境的复现和练习。
为提升学习效果，书中结合实际应用提供了大量的案例，并配以完善的学习资料，包括课件、软件、数据、源码、答案、在线竞赛模拟平台，为读者带来全方位的学习体验。扫描关注机械工业出版社计算机分社官方微信订阅号IT有得聊，回复73112。即可获取本书配套资源下载链接。
本书既可作为大数据技能竞赛的参赛辅导书，也可作为高等院校本、专科数据科学与大数据技术以及其他计算机相关专业大数据技术综合实训教材。
全国大学生大数据技能竞赛、智警杯大数据技能竞赛指导书；
依照《大数据分析与应用开发职业技能等级标准》编写；
80 个知识点、100 个实验全面覆盖Linux操作系统、MySQL数据库、主流大数据平台、数据采集与分析、数据挖掘与可视化5项大数据核心技术；
由青椒课堂提供在线实训及考试平台支持，适用于各类大数据技能竞赛辅导。
近年来，随着各行各业数据资源的极大丰富及大数据技术的不断发展，大数据相关产业迎来了空前的发展机遇。大数据相关技术在各领域得到了广泛的应用，例如，金融大数据、商业大数据、网络舆情大数据及医疗与健康大数据等。对大数据人才的市场需求呈现井喷式增长。
各类大数据相关学科竞赛的举办，有效促进了高等院校大数据相关专业教学模式的探索性改良，推进相关专业课程体系、教学内容和教学方法等教学资源的质量提升和丰富完善，对于高校大数据相关专业建设的发展起到很好的促进作用。通过大数据学科竞赛，能够激发学生的自主学习热情，培养学生的团队意识和创新意识，提高了学生在平台搭建、数据采集、数据分析与挖掘等方面的实践能力，提高学生的专业技能，并践行了理实一体化做学教一体化的教学模式。
本书是作者在长期从事大数据分析技术、数据挖掘教学和科学研究成果的基础上，以大学生大数据技能竞赛、智警杯公安系统大数据技能竞赛为背景，以大数据分析与应用职业技能等级标准为参考编写而成。全书共5章，系统介绍了Linux操作系统、数据库技术、大数据平台技术、数据采集与分析、数据挖掘与数据可视化等内容。
第1章为Linux操作系统，主要介绍主机名、Hosts映射、防火墙配置等Linux常用命令，同时对时间同步、定时任务、远程访问等服务进行介绍。
第2章为数据库技术，主要介绍了数据库的安装和配置、数据库操作管理、数据表操作管理、视图、权限管理、备份与还原、非关系型数据库NoSQL等。
第3章为大数据平台技术，主要介绍了Hadoop分布式大数据框架、Hive数据仓库、HBase数据库、Spark技术框架、ZooKeeper协调框架、Flume数据收集、Sqoop数据传输、Azkaban任务调度工具等大数据组件架构的应用，还介绍了故障排查、性能调优等平台运维管理方案。
第4章为数据采集与分析，主要介绍了HTTP原理、网页组成、网络请求、XPath解析、数据存储等网络信息获取技术，同时对数据进行了统计分析方法介绍，包括描述性分析、探索性分析、缺失值分析等方法。
第5章为数据挖掘与数据可视化，介绍通过算法提取挖掘数据中的有用信息，主要内容包括线性回归、逻辑回归、决策树等算法，介绍如何对数据进行可视化呈现和数据分析报告的撰写。
本书详细介绍了大数据及数据分析的技术构成，理论和实践紧密结合，可以帮助读者梳理思路，对比不同技术的优势并做出选择，从而更加符合产业发展的需求。
本书结合历年竞赛真题知识的解析，可作为参加大数据类竞赛的辅导用书，同时配有全套教学课件、数据集、视频、环境等实训资源，亦可作为高等院校大数据相关专业、相关课程的实训教材，或是培训机构的培训教材。
本书主编为李辉、张莹、卢兴民，副主编为胡健、张福华、蒋红兰，参编人员为王新猛、李凤莲、王彦平、李超、杨海迎。在本书编写过程中，特别是真题梳理验证过程中，北京红亚华宇科技有限公司提供了资料协助和平台支持，在此表示衷心感谢。
大数据技能竞赛知识点解析与实践由于编者水平有限，加之大数据技术的发展日新月异，书中难免会有疏漏和不妥之处，敬请广大读者批评指正。
编者
李辉，博士，中国农业大学计算中心兼农业大数据实验室主任，全国大学生大数据技能竞赛、全国高校大数据能力提升大赛等大数据类赛项裁判长，中国大数据技术与应用联盟智库专家，北京市大数据教学实践基地负责人；曾获中国大数据学术创新奖、全国高校人工智能与大数据教学创新奖；主讲数据库原理及应用基础Python语言程序设计大数据可视化分析等本科生课程；主持新工科项目2项，发表学术论文20多篇，申请软件著作权50多项，专利3项；出版《数据库系统原理及MySQL应用教程》教材第1版和第2版被国内众多院校选用，为机械工业出版社计算机分社20周年金牌作者。
青椒课堂（大数据人工智能教学实训平台）是依据大数据产业数字化人才能力要求，基于院校对大数据技术应用型人才培养的需求，结合企业大数据业务场景，以技术为驱动打造青椒课堂，助力高校大数据专业领域数字化人才培养。
大数据人工智能教学实训平台的设计全面落实教、训、用、监、评一体化的思想和模式。从教学、实训、使用、监控、评估等多方面注重专业人才和特色人才的培养。平台是集专业度、便捷性、安全性及可扩展性的理实一体化教学实训平台，平台主要涵盖了教师备课、授课，学生实操、实训，考试竞赛，数据统计分析及教学规划等全流程控制的综合平台。
实验环境配置说明
第1章Linux操作系统
1.1主机名配置
1.1.1设置主机名
1.1.2Hosts映射
1.2防火墙配置与管理
1.2.1防火墙操作命令
1.2.2配置防火墙规则
1.3时间同步
1.3.1同步网络时间
1.3.2同步服务器时间
1.4定时任务管理
1.5SSH远程访问
1.5.1SSH协议
1.5.2SSH连接工具
1.6软件包管理
1.6.1软件配置
1.6.2下载安装软件
思考与练习
第2章数据库技术
2.1MySQL数据库
2.1.1MySQL的安装
2.1.2数据库操作管理
2.1.3数据表操作管理
2.1.4数据操作管理
2.1.5视图
2.1.6权限管理
2.1.7备份与还原
2.1.8SQL优化
2.2非关系型数据库NoSQL
2.2.1HBase列式数据库
2.2.2Redis数据库
2.2.3MongoDB文件数据库
思考与练习
第3章大数据平台技术
3.1Hadoop分布式大数据框架
3.1.1搭建Hadoop伪分布式集群
3.1.2搭建Hadoop完全分布式集群
3.1.3命令行方式管理HDFS
3.1.4使用开发工具连接Hadoop
集群
3.1.5Java API操作HDFS
3.1.6分布式计算框架之MapReduce
3.1.7编写MapReduce方法
3.1.8配置Hadoop集群高可用
（HA）
3.2Hive数据仓库
3.2.1本地模式安装Hive数据仓库
3.2.2Hive数据仓库的常见属性
3.2.3Hive DDL操作
3.2.4Hive DML操作
3.2.5Hive中的数据查询
3.2.6Hive中的窗口函数
3.2.7案例：国内主要城市房屋出租
情况统计分析
3.3HBase数据库
3.3.1搭建HBase伪分布式集群
3.3.2HBase的Shell操作
3.3.3HBase的Java API操作
3.3.4使用HBase的过滤器
3.3.5HBase与MapReduce的集成
3.3.6HBase与Hive的集成
3.3.7HBase与Sqoop的集成
3.4Spark技术框架
3.4.1集群安装部署
3.4.2Spark Shell
3.4.3Spark SQL
3.4.4Spark Streaming
3.4.5Spark MLlib
3.4.6Structured Streaming实时计算
3.5大数据平台运维与管理
3.5.1故障排查
3.5.2性能调优
3.6大数据框架应用
3.6.1协调框架：ZooKeeper
3.6.2数据收集：Flume
3.6.3数据传输：Sqoop
3.6.4任务调度工具：Azkaban
思考与练习
第4章数据采集与分析
目录4.1报表数据处理
4.1.1数据预处理
4.1.2数据分析
4.2网络信息获取技术
4.2.1HTTP基本原理
4.2.2网页组成
4.2.3网络请求
4.2.4正则表达式
4.2.5XPath解析
4.2.6Beautiful Soup
4.2.7数据存储
4.3数据统计分析
4.3.1描述性分析
4.3.2探索性分析
4.3.3缺失值分析
4.3.4方差分析
4.3.5T检验
4.3.6卡方检验
思考与练习
第5章数据挖掘与数据可视化
5.1数据挖掘
5.1.1线性回归
5.1.2逻辑回归
5.1.3支持向量机
5.1.4朴素贝叶斯
5.1.5决策树
5.1.6时间序列分析
5.1.7关联分析
5.1.8K-Means聚类
5.1.9主成分分析
5.2数据可视化
5.2.1报表可视化
5.2.2Matplotlib可视化
5.2.3Seaborn可视化
5.2.4ECharts实现数据可视化
5.2.5D3实现数据可视化
5.2.6FineBI实现数据可视化
5.2.7Tableau实现数据可视化
5.3业务分析报告撰写
5.3.1明确背景与目的
5.3.2寻找合适数据
5.3.3数据分析与图表
5.3.4报告结论与建议
5.3.5逻辑结构清晰
思考与练习
书单推荐
