在idea中使用spark

2019年6月8日 170次阅读 来源: 蒙奇D路飞_9f41

Spark 是用scala语言实现的，专为大规模数据处理而设计的快速通用的计算引擎。

安装scala

  • 所需文件 :
  1. scala-intellij-bin-2016.3.9.zip
  2. hadoop2.6
  3. test1.txt

本文默认是idea已经可以打开其他maven项目运行了。如果你还没有打开过其他项目，或者没有配置过JDK,Maven,SVN…请转去 [idea打开maven项目]（http://www.jianshu.com/writer#/notebooks/15779596/notes/16214599/preview）

  • 1. 在idea中配置plugin，安装scala

    • 1.1 file->settings->plugins->右侧面板选择install plugins from disk,选择
      scala-intellij-bin-2016.3.9.zip 所在路径,安装后restart idea

《在idea中使用spark》 scala插件安装

  • 1.2 file->Project Structure->libraries->点击右侧面板，左上方的+红色按钮，配置
    Scala SDK，默认会弹出选择Scala jdk 2.10。

《在idea中使用spark》 Scala SDK

  • 1.3如果弹出框显示nothing to show，则选择download ->2.10.6，等待下载完成后，选择相应版本。(等好久 ╮(￣▽￣)╭)
  • 配置完成后，截图如下：

《在idea中使用spark》 Scala SDK配置成功

  • 2.配置hadoop

新增系统变量 HADOOP_HOME: hadoop2.6的文件路径，如：

  HADOOP_HOME:  D:\hadoop2.6

  • 3.检验是否成功安装

在spcp-spark项目中，找到HDFSTest.scala ，修改一下代码中测试文件（test1.txt）的路径。然后在代码内，run HDFSTest,控制台打印数据，则成功安装

《在idea中使用spark》 修改test1.txt路径

    原文作者：蒙奇D路飞_9f41
    原文地址: https://www.jianshu.com/p/c90ea0cdcb7f
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞