这篇文章将为大家详细讲解有关hadoop2.7.2集群如何搭建，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
集群规划：
主机名 IP 安装的软件 运行的进程
Hadoop1 192.168.111.143 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)、ResourceManager
Hadoop2 192.168.111.144 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)、ResourceManager
Hadoop3 192.168.111.145 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
Hadoop4 192.168.111.146 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
Hadoop5 192.168.111.147 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
1. zookeeper集群搭建
1.1 解压
tar -zxvf zookeeper-3.4.9.tar.gz -C /home/hbase
1.2 修改配置
cd /home/hbase/zookeeper-3.4.9/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：
dataDir=/home/hbase/zookeeper-3.4.9/tmp
在zoo.cfg最后添加：
server.1=hadoop3:2888:3888
server.2=hadoop4:2888:3888
server.3=hadoop5:2888:3888
然后创建一个tmp文件夹
mkdir /home/hbase/zookeeper-3.4.9/tmp
再创建一个空文件
touch /home/hbase/zookeeper-3.4.9/tmp/myid
最后向该文件写入ID
echo 1 >> /home/hbase/zookeeper-3.4.9/tmp/myid
1.3 将配置好的zookeeper拷贝到其他节点
scp -r /home/hbase/zookeeper-3.4.9/ hadoop4: /home/hbase/
scp -r /home/hbase/zookeeper-3.4.9/ hadoop5: /home/hbase/
注意：修改hadoop4、hadoop5对应/home/hbase /zookeeper-3.4.9/tmp/myid内容
hadoop4：
echo 2 >> /home/hbase/zookeeper-3.4.9/tmp/myid
hadoop5：
echo 3 >> /home/hbase/zookeeper-3.4.9/tmp/myid
2. 安装配置hadoop集群（在hadoop1上操作）
2.1 解压
tar -zxvf hadoop-2.7.2.tar.gz -C /home/hbase/
2.2 配置HDFS
#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/home/habse/jdk/jdk1.7.0_79
export HADOOP_HOME=/home/habse/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/habse/hadoop-2.7.2/etc/hadoop
2.2.1 修改hadoop-env.sh
export JAVA_HOME=/home/hbase/jdk/jdk1.7.0_79
2.2.2 修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/habse/hadoop-2.7.2/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
</property>
</configuration>
2.2.3 修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>hadoop1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hadoop1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>hadoop2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hadoop2:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop3:8485;hadoop4:8485;hadoop5:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hbase/hadoop-2.7.2/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
2.2.4 修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.2.5 修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 开启RM高可靠 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop2</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2.2.6 修改slaves
slaves是指定子节点的位置， hadoop1上的slaves文件指定的是datanode和nodemanager的位置
hadoop3
hadoop4
hadoop5
2.2.7 配置免密码登陆
#首先要配置hadoop1到hadoop2、hadoop3、hadoop4、hadoop5的免密码登陆
#在hadoop1上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-coyp-id hadoop1
ssh-coyp-id hadoop2
ssh-coyp-id hadoop3
ssh-coyp-id hadoop4
ssh-coyp-id hadoop5
#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置hadoop2到hadoop1的免登陆
在hadoop2上生产一对钥匙
ssh-keygen -t rsa
ssh-coyp-id -i hadoop1
2.3 将配置好的hadoop拷贝到其他节点
scp -r /home/habse/hadoop-2.7.2/ root@hadoop2:/home/habse/
scp -r /home/habse/hadoop-2.7.2/ root@hadoop3:/home/habse /
scp -r /home/habse/hadoop-2.7.2/ root@hadoop4:/home/habse /
scp -r /home/habse/hadoop-2.7.2/ root@hadoop5:/home/habse /
3. 第一次启动
3.1 启动zookeeper集群（分别在hadoop3、hadoop4、hadoop5上启动zk）
cd /home/hbase/zookeeper-3.4.9/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status
3.2 启动journalnode（分别在在hadoop3、hadoop4、hadoop5上执行）
cd /home/habse/hadoop-2.7.2
sbin/hadoop-daemon.sh start journalnode
#运行jps命令检验，hadoop3、hadoop4、hadoop5上多了JournalNode进程
3.3 格式化HDFS
#在hadoop1上执行命令:
hdfs namenode -format
hdfs namenode -bootstrapStandby
3.4 格式化ZK(在hadoop1上执行即可)
hdfs zkfc -formatZK
3.5 启动HDFS(在hadoop1上执行)
sbin/start-dfs.sh
注意：
如果启动datanode时遇到找不到datanode所在的主机，首先检查slaves文件配置是否正确，如果没问题的话删除重新创建
3.6 启动YARN(hadoop1上执行)
sbin/start-yarn.sh
查看每台机器的进程：
到此，hadoop-2.7.2配置完毕，可以统计浏览器访问:
http://192.168.111.143:50070
NameNode 'hadoop1:9000' (active)
http://192.168.111.144:50070
NameNode 'hadoop2:9000' (standby)
Datanode：
所以hadoop集群安装完成后首先启动zookeeper和journalnode，然后格式化HDFS和ZKFC，然后启动namenode，resourcemanager，datanode
4. startup与shutdown
4.1 Hadoop Startup
1. ./zkServer.sh start(hadoop3、hadoop4、hadoop5)
2. ./hadoop-daemon.sh start journalnode(hadoop3、hadoop4、hadoop5)
3. hdfs zkfc -formatZK(hadoop1)
4. hdfs namenode -bootstrapStandby(hadoop2)
5. hdfs zkfc -formatZK(hadoop1)
6. ./start-dfs.sh (hadoop1)
7. ./start-yarn.sh(hadoop1)
8. 如果哪个进程没有启动，那么单独在那台机器上执行启动命令
9. ./yarn –daemon start proxyserver
10. ./mapred –daemon start historyserver
说明：
格式化工作仅在第一次启动hadoop之前完成(步骤2,3,4,5)，以后不用，如果以后启动过程中有问题可以重新格式化
单独启动resourcemanager：./yarn-daemon.sh start resourcemanager
单独启动namnode：./hadoop-daemon.sh start namenode
单独启动zkfc：./yarn-daemon.sh start zkfc
4.2 Hadoop shutdown
1. ./stop-dfs.sh
2. ./stop-yarn.sh
3. ./yarn –daemon stop proxyserver
4. ./mapred –daemon stop historyserver
5. 主备切换测试
杀掉当前状态为active的hadoop1 的namenode进程，可以看到hadoop2由standby变为active，再启动hadoop1的namenode则发现hadoop1的状态为standby
关于“hadoop2.7.2集群如何搭建”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。