spark源码编译

xiaoxiao2021-02-28  36

在我们学习spark的时候,先了解了spark的基本原理,接下来就是需要搭建spark的开发环境以及源码阅读环境 源码阅读环境很多朋友在搭建的时候总是会出现这么那么多的问题,接下来由我一步一步告诉搭建如何搭建spark源码阅读的环境

环境: window 7 64位操作系统 maven :apache-maven-3.5.0 jdk :1.7.0_51 scala:2.11.0 spark:1.6.3 idea:2017.1.5 关于 jdk scala idea maven等这些的安装就不介绍了。

配置: 1、配置maven的settings文件。在mirrors标签内添加下面的内容,其实主要是用到了nexus-aliyun的这个私服,其他2个是因为有些jar包在阿里私服里面没有,但是在maven中心仓库查看着在另外的私服里面,所以配置了其他的2个。建议:首先只配置阿里的私服,当出错了需要用其他的才配置其他的,因为从阿里私服下载jar速度还是很快的。

<mirror> <id>scalanlp</id> <mirrorOf>*</mirrorOf> <name>scalanlp</name> <url>http://scalanlp.org/</url> </mirror> <mirror> <id>spring</id> <mirrorOf>*</mirrorOf> <name>Spring</name> <url>http://repo.spring.io/plugins-release/</url> </mirror> <mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror>

2、配置idea工具 2、1配置maven的环境信息 2、2 jdk的配置

3、开始导入spark的源代码 选择File->Open 选择spark源码的路径在点击OK

以上步骤就会将spark的源码导入idea工具里面,接下来就是编译spark的源码 编译过程: 选择编译的过程

点击compile以后在idea的下面会出现这么一个窗口,这里我们就查看编译的过程,由于编译过程需要下载很多jar包,所以这个需要一定的时间,大家安心等待就可以了,如果是从阿里私服下载的话,还是很快的 当出现了build success的时候说明编译已经成功了。我这个是再次编译所以只用了2分钟,首次编译一把需要半个小时到一个小时。这个和网络有关系

希望大家能自己编译spark成功。

转载请注明原文地址: https://www.6miu.com/read-600136.html

最新回复(0)