在Linux上搭建伪分布式 -> 完全分布式hadoop集群

6.56MB

20 需要积分: 1

立即下载

资源介绍:

演示示例：Centos和Ubuntu

1 / 29

1.新建虚拟机................................................................................................................................................2

2.安装虚拟机系统 ......................................................................................................................................6

3.安装相关插件【vim，ssh】 ...........................................................................................................12

4.创建 hadoop 用户并使用 Xshell 远程登录 ..............................................................................12

5.传输相关文件【java，hadoop】..................................................................................................17

6.配置环境变量 ........................................................................................................................................18

7.修改主机名和域名映射.....................................................................................................................19

8.克隆三台主机 ........................................................................................................................................20

9.三台虚拟主机添加 ssh 免密登录..................................................................................................21

10 .修改 hadoop 配置文件（主机 nxf135）...............................................................................22

1.核心配置文件 core-site.xml...................................................................................................23

2.hdfs-site.xml .................................................................................................................................23

3. yarn-site.xml.............................................................................................................................24

4.MapReduce 配置文件：mapred-site.xml........................................................................24

5.修改集群的节点配置文件 workers....................................................................................25

11.添加一个发送文件的脚本 xsync ................................................................................................25

12.发送主机 nxf135 的 hadoop 配置文件到所有的主机节点上........................................27

13.启动 hadoop 相关服务 ...................................................................................................................27

1.格式化文件服务器(主机 nxf135)........................................................................................27

2.分别启动不同服务器的任务即可........................................................................................28

2.1 主机 nxf135 启动 dfs..................................................................................................28

2.2 主机 nxf136 上启动 yarn..........................................................................................29

14. 关闭 hadoop 相关服务 ..................................................................................................................31

2 / 29

1.新建虚拟机

VMwareWorkstationPro 下载链接：https://lestore.lenovo.com/detail/21600

3 / 29

4 / 29

5 / 29

按需下载 Ubuntu 镜像.ISO 文件：Index of /ubuntu-releases/ | 清华大学开源软件

镜像站 | Tsinghua Open Source Mirror

资源文件列表:

操作指南.zip 大约有3个文件

操作指南/
操作指南/hadoop伪分布式（单节点）.pptx 2.67MB
操作指南/hadoop完全分布式集群搭建.docx 4.41MB

在Linux上搭建 伪分布式 -> 完全分布式hadoop集群

资源介绍:

资源文件列表:

在Linux上搭建伪分布式 -> 完全分布式hadoop集群