Hadoop多Job并行处理的实例详解
Hadoop多Job并行处理的实例详解
有关Hadoop多Job任务并行处理，经过测试，配置如下：
首先做如下配置：
1、修改mapred-site.xml添加调度器配置：
mapred.jobtracker.taskScheduler org.apache.hadoop.mapred.FairScheduler
2、添加jar文件地址配置：
hadoopTest.jar 所生成jar的地址
Java基本代码如下：
//获取各个Job，有关Job的创建，这里就不贴上来了。
Jobjob_base=(Job)。。。;
Jobjob_avg=(Job)。。。;
Jobjob_runCount=(Job)。。。;
Jobjob_activeUser=(Job)....;
job_base.setJarByClass(CapuseDateTimerTask.class);
job_avg.setJarByClass(CapuseDateTimerTask.class);
job_runCount.setJarByClass(CapuseDateTimerTask.class);
job_activeUser.setJarByClass(CapuseDateTimerTask.class);
//执行完job_base才开始并行以下三个Job；
if(job_base.waitForCompletion(true)){
FileUtil.hdfsFileHandle(jobBase);
//并行Job
job_avg.submit();
job_runCount.submit();
job_activeUser.submit();
}
booleanbln1=job_avg.isComplete();
booleanbln2=job_runCount.isComplete();
booleanbln3=job_activeUser.isComplete();
//计算Job是否完成
while(!bln1||!bln2||!bln3){
bln1=job_avg.isComplete();
bln2=job_runCount.isComplete();
bln3=job_activeUser.isComplete();
}
最后将这些代码组装至Main方法，使用Hadoop执行命令运行：
hadoopjarjar包名称 方法入口所在的类
如：
hadoopjarhadoopTest.jarch03.testTest
可以通过50030端口来监控Job的并行状态，这里就不多说了！！
解释：
1、配置Jar地址可以解决打包所生成的jar包后，运行时出现ClassNotFound的问题；
2、给多个Job设定setJarByClass，经测试，如果不设定此类，运行时会出现ClassNotFound错误，其中CapuseDateTimerTask为Main方法所在的类名；
3、waitForCompletion与submit方法是有区别的，waitForCompletion是串行，而submit是并行，正是因为submit是并行所以后续的代码操作需要取其执行是否完成的状态来做判断处理即：isComplete()；
4、以上Job采用的是：org.apache.hadoop.mapreduce.Job
以上代码操作在单机/集群上测试都通过！
如有疑问请留言或者到本站社区交流讨论，感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。