http://blog.csdn.net/jewes/article/details/39896301
针对于map和reduce进行了相关的介绍,还比较通俗易懂,做个标记,感谢原文作者
并行集合的一个重要参数是slices,表示数据集切分的份数。Spark将会在集群上为每一份数据起一个任务。
典型地,你可以在集群的每个CPU上分布2-4个slices. 一般来说,Spark会尝试根据集群的状况,来自动设定slices的数目。
然而,你也可以通过传递给parallelize的第二个参数来进行手动设置。(例如:sc.parallelize(data, 3)).