要处理复杂关系的数据,一个工程里面绝对不止一个MapReduce作业,当有多个MapReduce作业时, 并且每个作业之间有依赖关系,所谓的依赖就是一个作业得到的结果是另外一个作业的输入,这个时候我们可 以使用JobControl吊用其中的的addDepending()方法,管理每个MapReduce工作间的依赖关系,具体的 示例如下:
step1:
//设置各个Configuration Configuration Aconf = new Configuration(); Configuration Bconf = new Configuration(); Configuration Cconf = new Configuration(); Configuration Dconf = new Configuration();
step2:
//创建job对象,需要注意的是JobControl要求作业必须封装成job对象 Job Ajob = new Job(Aconf); Job Bjob = new Job(Bconf); Job Cjob = new Job(Cconf); Job Djob = new Job(Dconf);
step3:
//设置依赖关系,构造一个DAG作业 Bjob.addDepending(Ajob); Cjob.addDepending(Ajob); Djob.addDepending(Bjob); Djob.addDepending(Cjob);
step4:
//创建JobControl对象,由他对作业进行监控和调度 JobControl JC = new JobControl("Native Bayes");
step5:
//把四个作业添加到JobControl中 JC.addJob(Ajob); JC.addJob(Bjob); JC.addJob(Cjob); JC.addJob(Djob);
step6:
//提交DAG作业 JC.run();
在实际运行过程中,不依赖于其他任何作业的Ajob会优先得到调度,一旦运行完成,Bjob,Cjob两个作业同 时被调度,待他们全部运行完成后Djob被调用,参看上面的依赖的顺序!!!
相关推荐
mapreduce多表关联join多个job相互依赖传递参数
用于多个MapReduce作业的任务调度算法.pdf
本文介绍了用Java编写并运行第一个mapreduce作业的步骤及遇到的问题和解决方案。
mrjob:在 Hadoop 或Amazon Web Services上运行MapReduce 作业
MapReduce集群多用户作业调度方法的研究与实现
mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce ...
基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf...
课后作业 1.请找出日志中的访问者ip,访问时间,来源地址,访问 地址 日志内容如下: 192.168.170.111—[20/Jan/2014:16:35:27 +0800] “GET /examples/servlets/images/code.gif HTTP/1.1” 200 292 ...
使用MyEclipse实现MapReduce
基本概念 MapReduce采用了Master/Slave架构,包括一个Master和若干个Slave...1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、
多MapReduce作业协同下的大数据挖掘类算法资源效率优化.pdf
基于MapReduce的矩阵相乘算法代码及其使用
hadoop mapreduce开发需要的pom文件,复制内容后,点击编译器的import导入即可使用
使用Hadoop MapReduce实现两个矩阵相乘算法
Hadoop MapReduce作业卡死问题的解决方法.docx
首先我们来讨论一下一个作业是如何在Yarn中运行的。 1、MapReduce2中的作业提交是使用与MapReduce1相同的用户API。 2、从资源管理器获取新的作业ID,在YARN命名法中它是一个应用程序ID。 3 、作业客户端检查作业的...
Hadoop 用mapreduce实现Wordcount实例,绝对能用
一个MapReduce简单程序示例 MapReduce hadoop