spark streaming 写hdfs问题

spark streaming 里面在做 foreach 操作时要注意数据与节点与进程「jvm」之间的关系；「这一点往往大家比较容易混淆」

我总结了一下，供大家参考

dstream.foreachRDD { rdd =>      do something.....// 在driver内执行      rdd.foreach { recordsinworker =>          do something // 在worker上执行 「作用域是一个node」                }     rdd.foreachPartition{ recordsintask =>          do someting // 在task上执行 「作用域是一个进程一个jvm」               }

}

所以如果你的spark streaming code 在 dstream.foreachrdd 里面直接处理业务数据就是把所有的数据都拉到driver端进行处理，

1：dirver的生命周期是伴随程序的，也就是说它会固定在某个节点运行

2:   hdfs client 读写优先local

这样就会导致数据在当前节点肯定会有一份，从而导致数据分散不开。