Hadoop集群程序设计与开发PPT.rar

大数据

27.97MB

29 需要积分: 1

立即下载

资源介绍:

Hadoop集群程序设计与开发PPT.rar

《Hadoop 集群程序设计与开发》教学

大纲

课程名称：Hadoop 集群程序设计与开发

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64 学时

总学分：4.0 学分

一、课程的性质

本课程是为大数据技术类相关专业学生开设的课程。大数据技术蓬勃发展，基于开源技

术的 Hadoop 在行业中应用广泛。Hadoop 开源免费、社区活跃，框架具备分布式存储和计

算的核心功能，并且有企业成功的案例（如如淘宝、百度等）。本课程首先通过企业项目发

展历程介绍了大数据与云计算的概念并将 Hadoop 在这二个领域中的作用与地位进行阐述。

通过 Hadoop 源码片断与理论及实操结合的模式介绍 Hadoop 分布式存储框架 HDFS 与分布

式计算框架 MapReduce 的用法。对于 HDFS 不能很好支持小条目读取的缺陷，引入 HBase

框架进行应用说明。对于 MapReduce 框架对于项目专业人员的技能要求门槛高，复杂业务

开发周期较长的问题引入了 Hive 框架进行应用说明。Hadoop 与 HBase 和 Hive 结合进行项

目中大数据的存取与统计计算在企业中的运用越来越广泛，学习 Hadoop 框架已然是进入大

数据行业所必不可少的一步。

二、课程的任务

通过本课程的学习，使学生对 Hadoop 框架有一个全面的理解，课程内容主要包括了

Hadoop 基本原理与架构、集群安装配置、HDFS 应用、HDFS I/O 操作、MapReduce 工作原

理与应用编程、HBase 基本应用、Hive 基本应用，关键知识点配置 Hadoop 源码片断和实操

案例进行辅助。涉及的知识点简要精到，实践操作性强。

三、教学内容及学时安排

序

号

章节名称

主要内容

教学目标

学时

初识 Hadoop

1. 为什么要学习 Hadoop

2. Hadoop 与云计算的关系

3. Hadoop 与大数据的关系

4. 学习 Hadoop 需要具备哪

些知识基础

5. 学习 Hadoop 需要的实验

环境什么样

6. 学习完 Hadoop 能做什么

1. 了解 Hadoop 产生过程、应

用场景

2. 理解云计算、大数据概念及

Hadoop 与它们的关系

3. 了解 Hadoop 学习过程及目

前 Hadoop 人才需求情况

Hadoop 基础知

识

1. Hadoop 简介

2. Hadoop 版本演化工作原

理

3. HDFS（分布式文件系统）

工作原理

4. MapReduce （分布式计

算框架）工作原理

5. YARN（资源管理系统）

工作原理

6. 容错机制

7. 安全性

1. 了解 Hadoop 版本衍化情况

及生态系统的特点

2. 掌握 Hadoop 版本原理衍化

过程

3. 掌握 HDFS、MapReduce、

YARN 工作原理

Hadoop 开发环

境配置与搭建

1. 集群部署

2. 本地/独立模式搭建

3. Hadoop 伪分布模式搭建

4. 完全分布式搭建

5. 基于 Hadoop 环境

Eclipse 开发环境搭建

1. 掌握集群部署的要点

2. 掌握 Hadoop 集群配置的流

程及内容

3. 掌握基于 Hadoop 平台

Eclipse 开发环境的建立过程

Hadoop 分布式

文件系统（HDFS）

1. HDFS 流操作

2. HDFS 常用命令行操作

概述

3. 通过 Web 浏览 HDFS 文

件

4. HDFS API

1. 理解 HDFS 流的操作过程

2. 掌握常用 HDFS 命令

3. 掌握 HDFS Java API 编程

写法

Hadoop 的 I/O 操

作

1. 压缩

2. I/O 序列化类型

3. 基于文件的数据结构

1. 掌握压缩类型的正确应用

2. 掌握 Writable 类型的正确

应用

3. 掌握自定义 Writable 类型

的实现与应用

4. 掌握 SequenceFile 的基本

应用

资源文件列表:

Hadoop集群程序设计与开发PPT.rar.zip 大约有5个文件

Hadoop集群程序设计与开发PPT.rar.rar 7.35MB
Hadoop集群程序设计与开发教材最终代码(1).zip 2.99MB
Hadoop集群程序设计与开发教学大纲.doc 70KB
Hadoop集群程序设计与开发教学进度.doc 57KB
大数据基础PPT.zip.zip 17.6MB