eclipse插件安装

eclipse版本：Luna Release(4.4.0)
这里需要安装有关maven和scala的插件。

m2e插件
m2e插件用于提供maven功能。直接在eclipse的Marketplace下载安装，安装后如下图所示：

m2e截图

Scala IDE
Scala IDE用于提供scala语言的开发环境。直接在Marketplace下载安装，安装后如下图所示：

Scala IDE

m2e-scala插件
m2e-scala用来支持scala开发中对maven的一些定制功能。通过eclipse的Install New Software安装。
Install New Software需要输入url，url为：http://alchim31.free.fr/m2e-scala/update-site/

安装过程如下所示：

1. Help->Install New Software

   打开Install New Software

2. 输入m2e-scala下载的url
   这里可以仅勾选第三项（图中红框所示），因为前两项中的m2e，我们已经在上面安装过了。

   m2e-scala下载

3. 安装完成后，可在Help->Installation Details中查看

安装好的m2e-scala

构建eclipse+maven+scala工程

导入scala工程

从下面的url下载现成的scala+maven工程。
url：https://github.com/scala/scala-module-dependency-sample
导入scala-module-dependency-sample-master/maven-sample这个工程。这样，一个scala+maven工程就准备好了。
scala的版本为2.11.5，在pom.xml文件中，如下所示：
<pre>
<properties>
<scalaVersion>2.11.5</scalaVersion>

<scalaBinaryVersion>2.11</scalaBinaryVersion>
</properties>
<dependencies>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scalaVersion}</version>
</dependency>
…
</pre>

测试spark本地运行

配置spark依赖包
在pom.xml中添加spark-core及其有关依赖，因为依赖太多，这里只显示一部分。
<pre>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>1.2.1</version>
</dependency>

<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>2.4.0</version>
<scope>compile</scope>
<exclusions>
<exclusion>
<artifactId>netty</artifactId>
<groupId>org.jboss.netty</groupId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.2.0</version>
<scope>compile</scope>
<exclusions>
<exclusion>
<artifactId>servlet-api</artifactId>
<groupId>javax.servlet</groupId>
</exclusion>
</exclusions>
</dependency>
…
</pre>

spark-core的详细依赖可以在线查询。这里使用的网址是：http://search.maven.org/
在该网址中搜索spark-core，可以找到其pom文件，如下图所示。

spark-core的pom

编写运行spark代码

1. 新建Scala Object
   右键工程->New->Other…，找到Scala Wizards，选中其中的Scala Object，如下图所示。

   新建Scala Object

   点击Next，并将该Object起名为SimpleApp。
   新建完成后，在默认的package中将会出现一个SimpleApp.scala文件。

2. 添加spark代码
   在SimpleApp.scala文件中添加如下代码。该代码读取工作目录下的test.txt文件，并统计单词的个数。
   <pre>
   /* SimpleApp.scala */
   import org.apache.spark.SparkContext
   import org.apache.spark.SparkContext._
   import org.apache.spark.SparkConf
   object SimpleApp {
   def main(args: Array[String]) {
   val logFile = “test.txt” // Should be some file on your system
   val conf = new SparkConf().setAppName(“Simple Application”).setMaster(“local[2]”)
   val sc = new SparkContext(conf)
   val logData = sc.textFile(logFile, 2).cache()
   val numAs = logData.filter(line => line.contains(“a”)).count()
   val numBs = logData.filter(line => line.contains(“b”)).count()
   println(“Lines with a: %s, Lines with b: %s”.format(numAs, numBs))
   }
   }
   </pre>

3. 运行代码
   在工作目录下准备好test.txt文件，内容如下：
   <pre>
   a
   b
   </pre>
   右键SimpleApp.scala->Run as->Scala Application
   控制台的最后一行将输出统计信息：
   <pre>
   Lines with a: 1, Lines with b: 1
   </pre>

到这里，maven+scala+spark的工程就成功构建并且运行了。

一些问题

1. 在pom文件中添加spark-core依赖后，如果不添加spark-core依赖的其他包，工程依然可以编译通过，但是在执行时，会抛出ClassDefNotFound的异常，导致程序终止。

2. 如果本地没有配置好windows环境下的hadoop运行环境，则会抛出下面图中的异常。

   hadoop环境异常
   该异常并不影响程序的本地执行。如果要想解决该异常，则需要配置windows下的hadoop运行环境。
   详细可参考网址：
   http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os

PS
之前在CSDN上写了一篇同名的东西，搁着也就没管了。后来登上去一看，居然有人留下了一条评论。这有且仅有的一条评论说我写的太乱了。我就温习了一下我曾经的“大作”，确实是，不知所云。
毛病在哪呢？毛病就在没有重点，啥都想说。解决问题期间走的一些弯路、遇到的一些琐碎，全都倒腾了出来。虽然主体的线条还在，但是已经被边边角角的内容淹没了。
就从我的感受来说，对于这类不是理论，而是解决问题的东西，ITers一般都怀着一颗实用的心来看。东西的开头最好就是直指病症，1-2-3-4，嗒哒，搞定！再有什么想补充的问题，想深入的，放在后面来说。我就按照这个想法，将这东西重写了一遍。我觉得，还是有进步的吧。
哈哈，我发现在东西刚刚写完时，我总是感觉良好的，一如当初那篇“不知所云”的东西完成的时候。