IDEA搭建spark-scala的sbt编辑环境实现WorldCount练习

xiaoxiao2021-02-28  5

1:打开IDEA先安装scala 插件 ---》File--Settings--Plugins--搜索scala 安装后关闭IDEA重启后如下图

2:新建Scala项目 File--New--Project--选择Scala--SBT

3:注意版本号的选择--点击finish就构建好了基本scala结构

在这里插一句话如果要是和Spark联合使用那么版本号很重要!!!可以查阅spark官网来看spark-scala的匹配版本号我的spark是2.2.0所以匹配的是2.11

打开新建的项目配置build.sbt文件

新建WorldCount :main下的scala--右键new--ScalaClass

写代码:

 

import org.apache.spark.{SparkConf, SparkContext} object WorldCount { def main(args: Array[String]) { val conf=new SparkConf().setAppName("wordcount") val sc=new SparkContext(conf) val input=sc.textFile("/test/helloSpark.txt") val lines=input.flatMap(line=>line.split(" ")) val count=lines.map(word=>(word,1)).reduceByKey{case (x,y)=>x+y} val output=count.saveAsTextFile("/test/helloSparkRes") } }

打jar包File--project structure

 

上图第一个框为项目;第二个为类;第三个为去除jar包至提取核心代码

把jar包考入spark集群中

jar包位置在你的项目路径out下

 

加入你已经搭建好了spark集群(scala2.11+spark2.2.0)

./start-master.sh

./spark-class org.apache.spark.deploy.worker.Worker spark://Master:7077 spark-submit --master spark://Master:7077 --class WorldCount /test/spark/untitled1.jar

 

 

 

 

 

 

 

 

 

转载请注明原文地址: https://www.6miu.com/read-1750352.html

最新回复(0)