大数据生态系统基础：Apache Spark（一）：介绍和编译、安装

Apache Spark 是一个快速和通用的大型数据处理引擎。

一、Spark 的特点

速度：在内存中运行程序要比Hadoop MapReduce快100倍，磁盘上的速度要快10倍。Apache Spark拥有一个先进的DAG执行引擎，它支持非循环数据流和内存计算。易用性：在Java、Scala、Python、r中快速编写应用程序。Spark提供了超过80个高级运算，这些运算可以轻松构建并行应用程序。你可以从Scala、Python和R shell中交互式地使用它。普遍性：组合SQL、流媒体和复杂的分析。Spark提供了一组库，其中包括SQL和DataFrames、用于机器学习的MLlib、GraphX和Spark流。您可以在同一个应用程序中无缝地组合这些库。随处运行：Spark在Hadoop、Mesos、独立或云计算上运行。它可以访问各种各样的数据源，包括HDFS、Cassandra、HBase和S3。可以使用其独立的集群模式运行Spark，在EC2上，在Hadoop纱线上，或者在Apache Mesos上。在HDFS、Cassandra、HBase、Hive、速子和任何Hadoop数据源上访问数据。

二、下载安装     1、下载         下载地点：http://spark.apache.org/downloads.html                  第一是选择版本，我们选用最新的2.2.0版本。第二是选择构建在 Hadoop 的系统，Spark 不适用 HDFS，所以，可以选择任何 Hadoop 版本，这里选择的是 Hadoop 2.6版本，因为我的系统装的是2.6.4 2、Maven依赖包的定义        

<dependency>

  <groupId>org.apache.spark</groupId>

  <artifactId>spark-core_2.11</artifactId>

  <version>2.2.0</version>

</dependency>

       后面在介绍开发的时候，默认都要添加该依赖包，以后不再说明。     3、解压包到 HOME 目录，并将目录改为 spark      ~ $tar  zxvf spark-2.2.0-bin-hadoop2.6.tar.gz      ~$mv spark-2.2.0-bin-hadoop2.6 spark      设置环境变量， 这里增添了 Scala语言的环境变量      ~/.bash_profile，或者/etc/profile 下。编辑完毕后，记得 source   ~/.bash_profile  90 ###setup spark  91 export SPARK_HOME=$HOME/spark  92 export PATH=$SPARK_HOME/bin:$PATH  93  94 ##setup zinc,scala  95 export ZINC_HOME=/usr/local/opt/zinc/libexec  96 export SCALA_HOME=/usr/local/opt/scala/libexec  97 export PATH=$ZINC_HOME/bin:$SCALA_HOME/bin:$PATH  98 ##setup R  99 export R_HOME=/Library/Frameworks/R.framework/Resources 4、可以下载源代码自己编译      在第2步选择Source code， 然后点击 spark-2.2.0.tgz 下载       编译步骤请参照： Mac OSX下编译 Hadoop 2.6.4 http://blog.csdn.net/caridle/article/details/76018314         

     a. note:提高Maven编译时的堆内存大小，防止编译过程中产生OOM异常,相关命令如下：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

      b. 编译

cd $SPARK_SOURCE_HOME(spark源码路径) mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phadoop-provided -Phive -Phive-thriftserver -Pnetlib-lgpl -DskipTests clean package       编译完毕后，在目录下有一个 dev 目录，里面生成了一个生成部署包的脚本 make-distribution.sh         ./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn            生成的安装包位于根目录下： spark-2.2.0-bin-custom-spark.tgz            生成的已经解压的文件在 dist 目录下：dist   5、 配置 slaves          进入到 spark /conf目录，          cp slaves.template slaves            在 slaves 中，增加三个从服务器的主机名称：              master                slave1               slave2 6、配置 spark-env.sh           cp spark-env.sh.template spark-env.sh           在 spark-env.sh 中增加   3 export SCALA_HOME=/usr/local/opt/scala   4 #export SPARK_WORK_MEMORY=4g   5 export SPARK_MASTER_IP=mymac   6 export MASTER=spark://mymac:7077 7、将当前的 spark 目录直接拷贝到其它的节点中       注意在 HOME 发送命令       scp -rf  ~/spark wangxinnian@master:~/  scp -rf  ~/spark wangxinnian@slave1:~/  scp -rf  ~/spark wangxinnian@slave2:~/         然后，分别对 master, slave1,slave2的.bash_profile 增加相同的环境目录  90 ###setup spark  91 export SPARK_HOME=$HOME/spark  92 export PATH=$SPARK_HOME/bin:$PATH  93  94 ##setup zinc,scala  95 export ZINC_HOME=/usr/local/opt/zinc/libexec  96 export SCALA_HOME=/usr/local/opt/scala/libexec  97 export PATH=$ZINC_HOME/bin:$SCALA_HOME/bin:$PATH  98 ##setup R  99 export R_HOME=/Library/Frameworks/R.framework/Resources 8、运行      在 sbin目录中，直接运行 start-all.sh 和 stop-all.sh。      也可以分开运行start-master.sh 和 stop-master.sh, 以及启动 worker 的 start-slave.sh 和 stop-slave.sh。      再运行 start-slave.sh spark://mymac:7077，后面要跟 master 的参数地址。 9、问题       master: failed to launch: nice -n 0 /Users/wangxinnian/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://mymac:7077 master:   at java.lang.ClassLoader.loadClass(ClassLoader.java:358) master:   at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:482) master: full log in /Users/wangxinnian/spark/logs/spark-wangxinnian-org.apache.spark.deploy.worker.Worker-1-master.out slave1: failed to launch: nice -n 0 /Users/wangxinnian/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://mymac:7077 slave1:   at java.lang.ClassLoader.loadClass(ClassLoader.java:358) slave1:   at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:482) slave1: full log in /Users/wangxinnian/spark/logs/spark-wangxinnian-org.apache.spark.deploy.worker.Worker-1-slave1.out slave2: failed to launch: nice -n 0 /Users/wangxinnian/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://mymac:7077 slave2:   at java.lang.ClassLoader.loadClass(ClassLoader.java:358) slave2:   at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:482) slave2: full log in /Users/wangxinnian/spark/logs/spark-wangxinnian-org.apache.spark.deploy.worker.Worker-1-slave2.out       表示无法连接到 Master， 可以查看日志。 Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0         at java.lang.ClassLoader.defineClass1(Native Method)       这是一个比较典型的 JDK 版本不正确的提示。