小编给大家分享一下hadoop2.5.1伪分布式怎么部署,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
环境:Ubuntu 12.10 jdk 1.7
JDK和SSH下载安装不用再细说了,网上一大堆资料。
配置免登录命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
前面已经将源码编译好了,将/data/hadoop-2.5.1-src/hadoop-dist/hadoop-2.5.1.tar.gz拷贝到/data目录下
解压tar -xvf hadoop-2.5.1.tar.gz
配置etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
配置etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置YARN的配置文件etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
配置etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动/停止namenode和datanode命令
cd /data/hadoop-2.5.1
sbin/start-dfs.sh
sbin/stop-dfs.sh
启动/停止YARN命令
sbin/start-yarn.sh
sbin/stop-yarn.sh
验证命令:
bin/hdfs namenode -format
bin/hdfs dfs -put etc/hadoop input
namenode地址:http://localhost:50070/
ResourceManager地址:http://localhost:8088/
以上是“hadoop2.5.1伪分布式怎么部署”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注天达云行业资讯频道!