使用 SBT 构建 Spark Application

2024年1月12日 322次阅读 来源: kviccn

在 Spark 分布式计算框架之环境搭建 这篇文章中，我们已经成功的搭建起了 Spark 的运行环境，并且在 spark-shell 中做了一些小尝试，计算了一个文本文件中每一行的平均长度。但是，这怎么能满足你呢。你才不要在命令行敲来敲去，你要用华丽丽的 IDE，开发出可以在任何环境下运行的 app，这才是你想要的。好，现在就来满足你。

安装 SBT

SBT 之于 Scala 就像 Maven 之于 Java，用于管理项目依赖，构建项目

下载

点击这里下载 SBT
本文下载的是 sbt-0.13.13.tgz

$ wget https://dl.bintray.com/sbt/native-packages/sbt/0.13.13/sbt-0.13.13.tgz

解压

将刚才下载的文件移动到 /opt/scala 目录中

$ sudo mv sbt-0.13.13.tgz /opt/scala

进入 /opt/scala 目录

$ cd /opt/scala

解压

$ sudo tar zxvf sbt-0.13.13.tgz

配置

打开配置文件 .bashrc

$ sudo vim ~/.bashrc

在文件末尾添加如下代码：

############# SBT_CONFIG #############
export SBT_HOME="/opt/scala/sbt-launcher-packaging-0.13.13"
export PATH="$SBT_HOME/bin:$PATH"

验证

在终端输入如下命令：

$ sbt -h

如果看到这样的输出则证明安装成功：

Usage:  [options]

  -h | -help         print this message
  -v | -verbose      this runner is chattier
  -d | -debug        set sbt log level to debug
  -no-colors         disable ANSI color codes
...

恩。安装好了，我要开始愉快的码代码了。_

少年，你还是太天真了。因为大家都懂得的原因，SBT 下载依赖的速度极慢。所以，在正式使用之前我们要给 SBT 动个小手术 — 换源。啊，多么痛的领悟。在此，先感谢一下我们的阿里妈妈。

换源方式很简单，在家目录下的 .sbt 目录下新建 repositories 文件，内容如下：

[repositories]
#local
public: http://maven.aliyun.com/nexus/content/groups/public/
typesafe:http://dl.bintray.com/typesafe/ivy-releases/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
ivy-sbt-plugin:http://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
sonatype-oss-releases
sonatype-oss-snapshots

如果家目录下没有 .sbt 目录，请手动创建

写一个独立的 Spark App

先贴目录结构

$ find .
.
./simple.sbt
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala

新建一个目录，作为项目根目录，目录结构如上

SimpleApp.scala 中的内容如下：

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "YOUR_SPARK_HOME/README.md"
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with b: $numBs")
    sc.stop()
  }
}

这个程序用于统计 README.md 文件中字符 a 和 b 出现的次数
注意：请将 YOUR_SPARK_HOME 替换为你的 Spark 安装目录路径

simple.sbt 是项目的配置文件，内容如下：

name := "Simple Project"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

注意空行

现在我们使用 sbt 将我们的项目打包
在项目根目录下输入如下命令：

$ sbt package

耐心等待打包完毕

最终你会看到如下输出信息：

...

 Packaging {..}/{..}/target/scala-2.11/simple-project_2.11-1.0.jar

使用 spark-submit 运行刚才编写的程序

$ ~/apps/spark-2.1.0-bin-hadoop2.7/bin/spark-submit \
  --class "SimpleApp" \
  --master local[4] \
  target/scala-2.11/simple-project_2.11-1.0.jar
...
Lines with a: 46, Lines with b: 23

输出信息比较多，要仔细观察哦。_

    原文作者：kviccn
    原文地址: https://www.jianshu.com/p/454cb5318372
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞