这篇文章给大家分享的是有关Hadoop1.x和Hadoop2.x有什么区别的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
Hadoop 2.0 产生背景
HDFS 2.x
解决HDFS 1.0 单点故障和内存受限问题。
解决单点故障
参考 HDFS High Availability Using the Quorum Journal Manager
参考 ZooKeeper Getting Started Guide
HDFS HA:通过准备NameNode解决;
如果住NameNode发生故障,则切换到备NameNode。
解决内存受限问题
2.x仅是架构上发生了改变,使用方式不变
对HDFS使用者透明
HDFS 1.x 中的命令和API仍可以使用
主备NameNode
解决单点故障
两种切换选择
基于Zookeeper自动切换方案
HDFS 2.x Federation
YARN
YARN - Yet Another Resource Negotiator;
Hadoop 2.0 新引入的资源管理系统,直接从MRv1演化而来;
YARN的引入,是的多个计算框架可运行在一个集群中
MapReduce On YARN
运行在YARN之上的MapReduce称为MRv2;
将MapReduce作业直接运行在YARN上,而不是运行在由JobTracker和TaskTracker构建的MRv1系统中;
在Hadoop2.0中并不存在JobTracker和TaskTracker;
MRv2的模块基本功能:
YARN:负责资源管理和调度;
MRAppMaster:负责一个应用程序/作业的任务切分、任务调度、任务监控和容错;
Map/Reduce Task:任务驱动引擎,与MRv1一致;
每个应用程序/作业(MapReduce作业)对应一个MRAppMaster
感谢各位的阅读!关于“Hadoop1.x和Hadoop2.x有什么区别”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!