1、安装jdk

2、安装idea

3、安装maven

4、安装scala 

windows下 下载msi安装文件，因为当前spark使用的scala版本为 2.10.4，因此也选择安装2.10.4版本的scala。

5、安装idea的scala扩展工具 

http://blog.csdn.net/stark_summer/article/details/42460527

6、编写hello world

　新建项目，idea选择maven创建。选择archetype（org.scala-tool.archetypes:scala-archetype-simple）

　修改pom，修改scala.version为 2.10.4

　添加spark引用，因为安装spark使用的1.5.2，因此包也选用1.5.2的

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.11</artifactId>
  <version>1.5.2</version>
</dependency>

　添加打包maven plugin 

<plugin>
  <artifactId>maven-assembly-plugin</artifactId>
  <configuration>
    <archive>
      <manifest>
        <addClasspath>true</addClasspath>
        <!--这里要替换成jar包main方法所在类-->
        <mainClass>com.isenhome.WordCount</mainClass>
      </manifest>
    </archive>
    <descriptorRefs>
      <descriptorRef>jar-with-dependencies</descriptorRef>
    </descriptorRefs>
    <outputDirectory>out/assembly</outputDirectory>
  </configuration>
  <executions>
    <execution>
      <id>make-assembly</id> <!-- this is used for inheritance merges -->
      <phase>package</phase> <!-- 指定在打包节点执行jar包合并操作 -->
      <goals>
        <goal>assembly</goal>
      </goals>
    </execution>
  </executions>
</plugin>

编写代码

object WordCount {
  def main(args: Array[String]) {
    if (args.length < 1) {
      System.err.println("Usage: com.isenhome.WordCount <master> <input>")
      System.exit(1)
    }

    val conf = new SparkConf()
    val sc = new SparkContext(conf)
    val line = sc.textFile(args(0))

    line.flatMap(_.split(" "))
      .map((_, 1))
      .reduceByKey(_ + _)
      .collect()
      .foreach(println)

    sc.stop()
  }
}


使用idea生成jar包后，放置到spark master机器上。

执行spark-submit

./spark-submit –master spark://30.85.178.161:7077 –name WordCountByscala –class com.isenhome.WordCount –executor-memory 1G /home/datauser/test/spark/scala-tool-1.0-SNAPSHOT-jar-with-dependencies.jar hdfs://hadoop-1:9000/data/test/test.dat

spark-submit命令解析

Usage: spark-submit [options] <app jar | python file> [app options]