《Hadoop 集群程序设计与开发》教学
大纲
课程名称:Hadoop 集群程序设计与开发
课程类别:必修
适用专业:大数据技术类相关专业
总学时:64 学时
总学分:4.0 学分
一、课程的性质
本课程是为大数据技术类相关专业学生开设的课程。大数据技术蓬勃发展,基于开源技
术的 Hadoop 在行业中应用广泛。Hadoop 开源免费、社区活跃,框架具备分布式存储和计
算的核心功能,并且有企业成功的案例(如如淘宝、百度等)。本课程首先通过企业项目发
展历程介绍了大数据与云计算的概念并将 Hadoop 在这二个领域中的作用与地位进行阐述。
通过 Hadoop 源码片断与理论及实操结合的模式介绍 Hadoop 分布式存储框架 HDFS 与分布
式计算框架 MapReduce 的用法。对于 HDFS 不能很好支持小条目读取的缺陷,引入 HBase
框架进行应用说明。对于 MapReduce 框架对于项目专业人员的技能要求门槛高,复杂业务
开发周期较长的问题引入了 Hive 框架进行应用说明。Hadoop 与 HBase 和 Hive 结合进行项
目中大数据的存取与统计计算在企业中的运用越来越广泛,学习 Hadoop 框架已然是进入大
数据行业所必不可少的一步。
二、课程的任务
通过本课程的学习,使学生对 Hadoop 框架有一个全面的理解,课程内容主要包括了
Hadoop 基本原理与架构、集群安装配置、HDFS 应用、HDFS I/O 操作、MapReduce 工作原
理与应用编程、HBase 基本应用、Hive 基本应用,关键知识点配置 Hadoop 源码片断和实操
案例进行辅助。涉及的知识点简要精到,实践操作性强。