在win上安装spark以及使用

2023年4月20日 245次阅读来源: tgw_wzu

安装

Anaconda使用总结 http://www.jianshu.com/p/2f3be7781451

Spark在Windows下的环境搭建 http://www.jianshu.com/p/7b325155edab

pycharm开发spark(但未成功) http://blog.csdn.net/huangxia73/article/details/51372557

注意环境配置后仍未生效,则重启就行.原因不明

在idea上可以使用scala连接集群,但未实践

spark文档 http://spark.apache.org/docs/latest/

sprak需要python或者scala语言王垠学习语言 http://www.yinwang.org/blog-cn/2017/07/06/master-pl

在本机做了一个月地铁数据统计,依据清分系统算出各条线路的客流量的demo.

数据部分16.04 5G;17.04 12G 运行时间5H左右.

计划用scala和python实现官网上的doc

    原文作者：tgw_wzu
    原文地址: https://www.jianshu.com/p/6cbec99e4058
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。