Spark+Jupyter=在线文本数据处理逻辑测试平台

前言

最近在学习Spark,除了原生的Scala以外,Spark还提供了一个pyspark支持Python。以前曾经搭过一个基于IPython notebook的在线代码运行平台,其中用到的numpy,scipy,matplotlib,pandas等文本/数据处理库让我觉得如果能和pyspark结合说不定是个不错的组合——可以直观的测试代码逻辑,比起shell不知道要高到哪里去了。

至于这个平台,你可以搭载在树莓派,阿里云ecs,甚至是本机架设,方便快捷简单易上手。

事实上对于这篇文章,你也可以单纯把它看作是单机布置伪分布式Spark的教程,因为前面步骤一样一样的。

前期准备

硬件:

Linux/Mac计算机 x1

Linux用Ubuntu作为示例,Mac默认有HomeBrew或者Macport

软件:

Java环境,配置过JAVA_HOME
Python环境,默认为Python2

需联网,没有网络的请自行下载源码包并上传至机器

下载

Spark:

前往Apache官网下载:

  • hadoop2.6.0.tar.gz
  • spark-1.6.1-bin-hadoop2.6.tar.gz
  • scala-2.10.6.tar.gz

下载并统一使用

tar xvzf XXX.tar.gz

进行解压,之后执行

$mv hadoop2.6.0 /usr/local/hadoop
$mv spark-1.6.1-bin-hadoop2.6 /usr/local/spark
$mv scala-2.10.6 /usr/lcoal/scala

将文件夹移动到/usr/local备用

IPython:

之前用的Ipython notebook已经独立出来变成了jupyter,在这个步骤Python首先要安装setuptools,之后执行

$easy_install pip virtualenv

Virtualenv是Python的一个沙盒环境,适合配置不同版本的库来适配不同应用。
之后用Virtualenv创建一个IPython ENV

$cd /your/IPython/path/
$virtualenv ipython
$source ipython/bin/activate
(ipython)$

当前缀出现(ipython)的时候,说明这个env已经创建成功并正在使用中,如果需要退出就执行

(ipython)$cd ipython/bin && deactivate
$

之后在ipython环境中执行

(ipython)$pip install ipython jupyter numpy scipy pandas snownlp

安装matplotlib库则稍微麻烦些,需要先安装其依赖的包libpng和freetype
安装libpng:

$apt-get install libpng-dev

安装freetype:

$cd ~/Downloads
$wget http://download.savannah.gnu.org/releases/freetype/freetype-2.4.10.tar.gz
$tar zxvf freetype-2.4.10.tar.gz
$cd freetype-2.4.10/
$./congfigure
$make
$make install

之后执行

pip install matplotlib

配置环境变量

在这一步,Ubuntu请执行

$vim ~/.bashrc

Mac执行

$vim ~/.bash_profile

在文件末尾输入:

export PATH="$PATH:/usr/local/share/scala/bin"
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python/lib/py4j-0.9-src.zip
IPYTHON_OPTS="notebook"$SPARK_HOME/bin/pyspark

:wq保存退出之后可以开始进行最后一步的spark环境配置了

Spark配置:

说是Spark的配置其实是更像是Hadoop的配置,毕竟Spark默认配置就能运行。
首先进入Hadoop的配置文件夹

$cd /usr/local/hadoop/etc/hadoop
$ls

你可以看到以下几个文件

  • core-site.xml
  • yarn-site.xml
  • mapred-site.xml
  • hdfs-site.xml

别急一个一个来

vim core-site.xml

写入

<property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
</property>
vim yarn-site.xml

写入

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

如果没有mapred-site.xml

$ mv mapred-site.xml.template mapred-site.xml && vim mapred-site.xml

写入

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
vim hdfs-site.xml

写入

<property>
   <name>dfs.replication</name>
   <value>1</value>
 </property>

呼,长嘘一口气
然后格式化一下namenode

$hdfs namenode -format

启动hadoop服务

$start-all.sh

输入数次密码,如果不想每次都输密码就百度一下hadoop的ssh免密配置

$jps

看到如下

17785 SecondaryNameNode 
17436 NameNode 
17591 DataNode 
18096 NodeManager 
17952 ResourceManager 
23635 Jps 

很好你成功启动了hadoop,接下来进入spark文件夹

$cd $SPARK_HOME/sbin
$start-all.sh

输入一次密码之后查看jps是否多了一个worker和一个master,不出意外的话你的spark应该是能运行了

启动Jupyter

好累啊终于到了这一步了,进入ipython环境的前提下执行

(ipython)$jupyter notebook --generate-config
(ipython)$vim ~/.jupyter/jupyterA_notebook_config.py

写入

c.NotebookApp.ip='*'
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888

然后执行

jupyter notebook

在浏览器输入http://ip_address:8888就能访问辣!
然后就愉快的新建notebook开始敲代码叭!
oh yeah

    原文作者:蔡菜寀
    原文地址: https://www.jianshu.com/p/bbd4190089e7
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞