安装 Hive +Sqoop+MySQL+Spark 先将 system_logs.sql 导入 MySQL,使用 Sqoop 将 MySQL 中的数据导入 Hive 使用 spark 读取 Hive 中的数据,完成以下…
标签:spark
Spark 2.3 on yarn的配置安装
这是一篇spark环境的安装文档,不知道为什么查了下网上的安装步骤总是感觉怪怪的,有把环境变量配置到spark-env.sh的,有配置了yarn然后启动spark-standalone服务的,虽然不能保证我的方法是最标准…
Hive常用设置
切换计算引擎(Hive CLI内设置) 设置MapReduce为计算引擎 set hive.execution.engine=mr; 设置Spark为计算引擎 set hive.execution.engine=spar…
Hive on Spark安装配置详解及避坑指南
个人主页:http://www.linbingdong.com 简介 本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具…
spark sql with hive
spark standalone spark-1.5.0-bin-hadoop2.6 spark-env.sh配置 export SPARK_MASTER_IP=172.16.31.11 export SPARK_MAS…
【Spark】Saving data in the Hive serde table is not supported yet
问题描述 最近收到一个任务报错: Saving data in the Hive serde table bigdata.books is not supported yet. Please use the insert…
运行spark 官方hive范例的完整记录
sample java: org.apache.spark.examples.sql.hive.JavaSparkHiveExample 几处修改: SparkSession spark = SparkSession .…
SparkSQL与Hive on Spark的比较
SparkSQL与Hive on Spark的比较 – 在路上的学习者 – 博客频道 – CSDN.NET http://blog.csdn.net/yeruby/article/de…
spark从入门到放弃四十:hive on spark
文章地址:http://www.haha174.top/article/details/259225 知识背景(1) hive 是目前大数据领域,事实上的sql 标准。其底层默认是基于MapReduce实现的,但是由于M…
如何在华为平台使用自己的spark
场景 我们私有云团队在给客户部署系统时遇到困难,客户要求在他们购买的华为大数据平台上部署我们的产品,我们底层主要用到了spark、hdfs、和hive,hdfs和hive可以用华为的,但spark不能用华为的,华为目前只…
[笔记] 用单节点HIVE+SPARK执行ETL任务
动机 本身是java码农. 运维的Hadoop小集群上硬盘故障已经成为每天日常, 有各种hdfs故障. 最严重一次,文件没法从datanode同步到namenode的情况,导致集群完全不可用. 目前很多ELT任务都是用S…
第五章 从Hive平滑过渡到Spark SQL
第五章 从Hive平滑过渡到Spark SQL [TOC] SQLContext(1.X)/HiveContext(1.X)/SparkSession(2.X)使用 spark-shell/spark-sql的使用 th…