Spark分布式集群搭建的步骤 1)准备linux环境,设置集群搭建账号和用户组,设置ssh,关闭防火墙,关闭seLinux,配置host,hostname 2)配置jdk到环境变量 3)搭建hadoop集群,如果要做m…
标签:集群
Spark 框架安全认证实现
导言 随着大数据集群的使用,大数据的安全受到越来越多的关注一个安全的大数据集群的使用,运维必普通的集群更为复杂。 集群的安全通常基于kerberos集群完成安全认证。kerberos基本原理可参考:一张图了解Kerber…
Spark Job调度
概况 spark提供了一些方案来调度资源。首先,每个spark程序都在跑在若干个独立的executor集群上的(其中executor是一个jvm来run task和store data),集群管理提供了集群层面的资源分配…
Spark完全分布式集群搭建
环境准备 服务器集群 我用的CentOS-6.6版本的4个虚拟机,主机名为hadoop01、hadoop02、hadoop03、hadoop04,另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使…
Spark on Yarn集群搭建详细过程
由于最近学习大数据开发,spark作为分布式内存计算框架,当前十分火热,因此作为首选学习技术之一。Spark官方提供了三种集群部署方案: Standalone, Mesos, Yarn。其中 Standalone 为Sp…
Spark on Yarn 环境搭建
本文记录Spark on Yarn的集群环境的搭建,并通过通过SparkPi实例程序来测试集群。在搭建本集群之前必须先搭建好Hadoop集群,搭建Hadoop集群请参考:Hadoop集群环境搭建(三台). 主要内容: 安…
IDEA开发Spark应用并提交本地Spark 2.1.0 standalone集群运行
本文主要参考了如下两篇博文: Windows下IntelliJ IDEA中调试Spark Standalone 怎么解决java.lang.NoClassDefFoundError错误 一、通过IDEA连接远程集群运行应…
浅谈:Hadoop、spark、SaaS、PaaS、IaaS、云计算
Hadoop & Spark 首先二者均不是属于产品类别,理解为生态系统或者也有人将其称为“大数据通用处理平台”也是可以的,这种称呼也更为准确 Hadoop是由Apache基金会所开发的分布式系统基础架构 Had…
PySpark on Yarn的相关依赖的解决方式
问题 Spark on Yarn是将yarn作为ClusterManager的运行模式,Spark会将资源(container)的管理与协调统一交给yarn去处理。 Spark on Yarn分为client/clust…
Mysql集群安装详细步骤
图片.png MySQL集群是为了提供一个高可用性和低延迟的MySQL兼容数据库而设计的。mysql集群技术通过ndb(网络数据库)和ndb cluster存储引擎实现,为mysql数据库系统提供无共享集群和自动分片。在…
redis集群搭建
前言: 昨天公司要求搭建一个redis原生集群,之前一直用的codis集群(go语言 redis集群工具),想看看这两个 性能有没有差距,中间遇到 了一些坑 ,记录下来,方便以后参考并与大家共享。 第一步安装 redis…
什么是MySQL集群
MySQL分布式集群-博客-云栖社区-阿里云 一、什么是MySQL集群 MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案,其目的是提供容错性和高性能。 数据更新使用读已提交隔离级别(…