Hadoop 伪分布模式参数配置指南

2020/09/28 06:27

Hadoop通过改变其配置文件来更改运行模式,我们通过修改如下四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可让Hadoop以伪分布模式运行。

Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value的方式来实现。接下来让我们开始进行hadoop的配置吧,配置之前首先启动Ubuntu虚拟机,然后打开Xshell软件并连接登录虚拟机。

1、设置hadoop-env.sh配置文件

首先,我们需要修改hadoop运行相关的sh文件,以保证hadoop运行过程中能够正常使用其他软件或组件的功能,此处一般而言只需将JAVA功能添加在内既可。

cd ~/hadoop/etc/hadoop # 进入hadoop配置文件夹 vim hadoop-env.sh

在弹出的框体中输入i进入输入模式,此时可以编辑hadoop-env.sh了。

将JAVA路径写入到文件,只需修改

为如下代码

export JAVA_HOME=/usr/local/lib/jdk1.8

然后按Esc进入命令模式再输入:wq保存文件并退出。

注:后面编辑文件的操作有将不再反复赘述编辑器打开关闭过程,只对需要更改、编辑的内容进行说明。

2、配置core-site.xml文件

首先是core-site.xml,文件,该文件决定Hadoop core组件部分运行模式,在命令行中输入开始编辑文件

vim core-site.xml

在弹出的框体中输入i,然后配置如下内容

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

编辑完成内容如下

3、配置hdfs-site.xml文件

hdfs-site.xml将决定hdfs的部分运行情况,在命令行中输入

vim hdfs-site.xml

在弹出的框体中输入配置内容

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hduser/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hduser/tmp/dfs/data</value>

</property>

</configuration>

4、配置mapred-site.xml文件

mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及运行情况。hadoop这里只提供了模板,可先复制再编辑,在命令行中输入

cp mapred-site.xml.template mapred-site.xml # 复制模板 vim mapred-site.xml

在弹出的框体中输入配置内容

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5、配置yarn-site.xml文件

在命令行中输入

vim yarn-site.xml

在弹出的框体中输入配置内容

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

伪分布模式的配置内容就这里,下篇文章我们介绍如何启动单节点集群。

免费直播

    精选课程 更多

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司