Hadoop中的RPC机制

xiaoxiao2021-03-01  19

以JobClient向JobTracker提交作业为例:JobClient远程调用JobTracker的submitJob方法;

//JobClient.java public RunningJob submitJob(JobConf job) throws FileNotFoundException, InvalidJobConfException, IOException { //... // Now, actually submit the job (using the submit name) // JobStatus status = jobSubmitClient.submitJob(jobId); //... }

 

其实jobSubmitClient是通过java.lang.reflect.Proxy动态代理产生的JobSubmissionProtocol接口的实例实现的

关于Proxy参见利用JAVA的动态属性之反射原理实现一个简单AOP容器 - AOP的实现原理分析 

Java动态代理功能首先,我们简单介绍一下Java动态代理功能。JAVA的动态代理功能主要通过java.lang.reflect.Proxy类与java.lang.reflect.InvocationHandler接口完成,这里正是通过它们实现一个简单的AOP容器的。其实,像JBoss AOP等其他动态AOP框架也都是通过Proxy和InvocationHandler来实现的。

 这个实例的submitJob方法会调用RPC.Invoker的invoke方法,然后RPC的client会调用call方法要远程调用的方法名和参数发送到RPC服务器。

在RPC服务器端,绑定了JobTracker

//JobTracker.java JobTracker(JobConf conf) throws IOException, InterruptedException { //........... this.interTrackerServer = RPC.getServer(this, addr.getHostName(), addr.getPort(), handlerCount, false, conf); this.interTrackerServer.start(); //.............. }

 Server内置的Listener(线程)处理Connection队列,调用Connetion处理数据生成Call并加入callQueue队列,Handler(线程)处理Call队列,并调用RPC.Server的call方法返回结果

 

 

相关资源:Hadoop RPC机制分析
转载请注明原文地址: https://www.6miu.com/read-4049941.html

最新回复(0)