windows下安装部署 hadoop-数字星空

windows下安装部署 hadoop

2024年10月13日 15:57

一、安装下载

1.首先在hadoop官网下载一个稳定版本，选择binary包

官网地址：https://hadoop.apache.org/releases.html

下载下来是tar.gz文件，用winrar解压即可。

2.因为这个压缩包是for linux系统的，win下还需要安装几个dll winutils,

下载地址：https://www.jianguoyun.com/p/Dcs2UoQQzuztCxiq89oFIAA

二、环境变量

1.在环境变量中配置好JAVA_HOME

2.将压缩包解压到 D:\\hadoop-3.3.6\ ，并在环境变量里将此路径添加到 HADOOP_HOME。

3.将 hadoop-3.3.6 目录下的 bin 文件夹添加到 PATH 变量中。

4.并把 winutils 压缩包解压后的 dll 文件拷贝复制到 hadoop 的 bin 目录下。

三、配置HADOOP

1.配置 hdfs-site.xml

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///D:/hadoop-3.3.6/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///D:/hadoop-3.3.6/data/datanode</value>
    </property>
</configuration>

2.配置 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
    
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/D:\\hadoop-3.3.6\data\tmp</value>
    </property>
</configuration>

3.配置 mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

4.配置 yarn-site.xml

<configuration>
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>
</configuration>