Spark入门——Python

一.安装spark

安装可参照厦门大学数据实验室出的安装教程–Spark快速入门指南 – Spark安装与基础使用

二.Spark Python

参照官方文档–Spark Programming Guide
任何Spark程序都SparkContext开始,SparkContext的初始化需要一个SparkConf对象。所以所有的Spark Python的第一句都应该是

from pyspark import SparkContext,SparkConf
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)

appName参数是在集群界面将会展示的应用名称,master可以是Spark、Mesos、Yarn的集群URL,或者“local”。实际在集群上运行程序的时候,我们不需要把master 写死,可以通过spark-submit来部署应用并接收参数。本地测试时则用“local”参数

In the PySpark shell, a special interpreter-aware SparkContext is already created for you, in the variable called sc. Making your own SparkContext will not work.

    原文作者:野生大头鱼
    原文地址: https://www.jianshu.com/p/d6d4c2d112e7
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞