使用PyCharm配置Spark的Python开发环境（基础）

2019年8月19日 313次阅读 来源: 鸡蛋大王

在本地搭建好Spark 1.6.0后，除了使用spark-submit提交Python程序外，我们可以使用PyCharm这个IDE在本地进行开发调试,提升我们的开发效率。配置过程也十分简单，在stackoverflow上搜索到的。同时，IntelliJ IDEA加入Python插件后也可以使用Python开发Spark程序，配置步骤一致。

我的博客原文地址链接：http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html

0.安装PyCharm和py4j

我的系统环境（Ubuntu 14.04.4 LTS）

下载安装最新版本的PyCharm，官网地址：https://www.jetbrains.com/pycharm/download/ 。

安装步骤：

  • Unpack the pycharm-5.0.4.tar.gz using the following command: tar xfz pycharm-5.0.4.tar.gz

  • Run pycharm.sh from the bin subdirectory

安装py4j：

$ sudo pip install py4j

1.配置Pycharm

打开PyCharm，创建一个Project。
然后选择“Run” ->“Edit Configurations” ->“Environment variables”
《使用PyCharm配置Spark的Python开发环境（基础）》
增加SPARK_HOME目录与PYTHONPATH目录。

  • SPARK_HOME:Spark安装目录

  • PYTHONPATH:Spark安装目录下的Python目录
    《使用PyCharm配置Spark的Python开发环境（基础）》

2.测试Pycharm

运行一个小的Spark程序看看：

"""SimpleApp"""

from pyspark import SparkContext

logFile = "/home/tom/spark-1.6.0/README.md"
sc = SparkContext("local","Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print("Lines with a: %i, lines with b: %i"%(numAs, numBs))

运行结果：

Lines with a: 58, lines with b: 26
    原文作者：鸡蛋大王
    原文地址: https://segmentfault.com/a/1190000004538128
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞