mapreduce性能优化的方法是什么
更新:HHH   时间:2023-1-7


这篇文章主要讲解了“mapreduce性能优化的方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“mapreduce性能优化的方法是什么”吧!

map task 个数严重影响mr的性能。网上很多资料,讲解了原理和方法,我这里不再敖述。我总结了两种修改方法,希望对大家有帮助。

方法1:修改 hdfs 的blocksize,这种方法很不可取,需要重新启动集群。关键是以前的数据依然保持者以前blocksize的大小,新数据才会是新的blocksize的大小。比如以前是128M,修改为512M。以前的数据没变化,blocksize依然是128M。

方法二:推荐方法。代码中设置,最灵活,根据不同需求,设置不一样的值。设置 mapred.min.split.size 的大小代码中添加FileInputFormat.setMinInputSplitSize,单位是字节,如我的代码:

            job.setMapOutputValueClass(IntWritable.class);
            job.setNumReduceTasks(1);
            //设置最小分片为512M
            FileInputFormat.setMinInputSplitSize(job, 1024*1024*512);
            FileInputFormat.addInputPath(job, new Path("/usr/keyword/input"));

补充说明:

TextInputFormat.setMinInputSplitSize(job,1024L);//设置最小分片大小
TextInputFormat.setMaxInputSplitSize(job,1024×1024×10L);//设置最大分片大小

感谢各位的阅读,以上就是“mapreduce性能优化的方法是什么”的内容了,经过本文的学习后,相信大家对mapreduce性能优化的方法是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是天达云,小编将为大家推送更多相关知识点的文章,欢迎关注!

返回云计算教程...