Spark的安装（基于Mac）

2023年6月11日 253次阅读 来源: A粒麦子

一、简介

1.1内容

在mac电脑上成功安装spark（不用预先安装hadoop），并在jupyter上使用pyspark来操作spark。

1.2 知识点

  • jdk的安装
  • spark和pyspark的安装
  • 虚拟环境的内核

1.3 环境

本文所有的环境变量是在.bash_profile 或 .zshrc中配置的

vim ~/.bash_profile   # 编辑文件
source ~./bash_profile   # 更新文件

一、安装Java JDK的dmg文件

spark目前暂不支持JDK-9，所以选择下载最新的JDK-8版本
官网下载(慢)
国内下载(快)
下载完成之后，直接点击jdk-8.dmg文件安装，并添加对应的环境变量

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Content    s/Home"
export PATH="$JAVA_HOME/bin:$PATH"

在Terminal中输入java查看安装结果

二、安装Spark&pyspark

2.1下载

> brew install apache-spark
> sudo -H pip install pyspark --user

2.2配置

apache-spark的默认安装位置：/usr/local/Cellar/apache-spark/2.2.0，其版本为目前最新的2.2.0版

# spark的配置

export SPARK_PATH="/usr/local/Cellar/apache-spark/2.2.0"
export PATH="$SPARK_PATH/bin:$PATH"

2.3运行

在Terminal中，输入pyspark查看安装是否成功

三、pyspark的ipython环境

在jupyter notebook中使用pyspark，需要配置环境变量

# 基于python的版本，配置2或3
export PYSPARK_PYTHON="/Library/Frameworks/Python.framework/Versions/3.5/bin/python3.5"
export PYSPARK_DRIVER_PYTHON="/Library/Frameworks/Python.framework/Versions/3.5/bin/ipython3"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
alias pysbook='$SPARK_PATH/bin/pyspark'

在terminal中输入pyspark或者pysbook(别名)，可以直接运行带spark的ipython notebook。

参考链接：
【1】 stack overflow上的java环境配置
【2】 在mac上搭建spark＋ipython环境
【3】Spark学习（一） — Spark安装及简介
【4】mac下Spark的安装与使用
【5】Spark安装和配置

    原文作者：A粒麦子
    原文地址: https://www.jianshu.com/p/f284b77289ca
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞