CentOS下Hadoop+Spark集群环境搭建 硬件环境 虚拟机*3 每台虚拟机配置:系统CentOS6.5 64位,内存1g,硬盘20g。 网络地址: master:172.27.35.10 slave1:172.…
标签:hadoop
hadoop spark HA高可用集群搭建
方案 192.168.211.129 elastic (zookeeper、kafka、hadoop namenode、yarn resourcemanager、hbase hmaster、park master、es …
Spark-on-yarn遇到的Java crash问题
问题描述 配置好Hadoop集群(包括hdfs和yarn),配置好spark-on-yarn,提交任务后发现container异常退出,有core dump产生;修改yarn的资源配置,依然crash。 containe…
Spark on hdp yarn cluster踩坑(timeline-service)
部署方案 spark官网下载基于hdp的Hadoop版本的pre-built的spark安装包 在机器上解压,并在spark-env中配置HADOOP_CONF_DIR,SPARK_CONF_DIR,spark-defa…
spark几种部署模式,每种模式特点及搭建
Spark分布式集群搭建的步骤 1)准备linux环境,设置集群搭建账号和用户组,设置ssh,关闭防火墙,关闭seLinux,配置host,hostname 2)配置jdk到环境变量 3)搭建hadoop集群,如果要做m…
Spark Hadoop 环境搭建
首先准备一台Linux环境的服务器,建议使用 VMware 或者 virtual box 来虚拟一台服务器,这对于新手来说比较适合,既能随时调整也能随时导出并迁移。 准备软件: Java环境, 下载链接,建议选择 1.7…
集群搭建(kafka+hadoop+spark+elasticsearch)
集群搭建(两台与多台一样,hadoop没有选则HA方案) 1. vim /etc/hosts (每个节点都修改) 10.128.7.39 hostname1 10.128.7.84 hostname2 2. 安装jdk,…
Spark on Yarn集群配置
--------"道路是曲折的,前途是光明的。" 最近又涉及到了hadoop以及spark的安装,之前课题设计中有要求安装过hadoop,所以这里直接把hadoop的安装过程以及初入手时出现的问题copy过程,以备份…
使用Docker安装Hadoop和spark
使用docker配置安装hadoop和spark 分别安装hadoop和spark镜像 安装hadoop镜像 选择的docker镜像地址,这个镜像提供的hadoop版本比较新,且安装的是jdk8,可以支持安装最新版本的s…
spark中删除文件夹
在写spark代码的时候,经常会遇到文件夹路径存在的情况,一般有以下的解决方式 1.在shell脚本中 直接调用hadoop fs -rm path 2.通过设置可直接覆盖文件路径,此方法我没有测试 yourSparkC…
Yarn Client模式下启动Spark的配置问题
由于YARN client模式对用户不直接暴露用于提交YARN程序的辅助程序,因此许多参数是通过环境变量来设置的,可以在spark-env.sh中进行如下配置: spark-env.sh 这是我的spark-env.sh…
HDFS:Spark删除hdfs文件
1. 查看hdfs文件中前几行 随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5 返回前几行的样本数据…