alluxio1.8.0版本集成hive metastor时存在连接耗时较长的问题,更换1.7.1版本后正常,安装步骤相同 官方安装文档:https://www.alluxio.org/docs/1.8/cn/Getti…
标签:alluxio
Spark & Alluxio
概述 Alluxio(在1.0版本之前名为Tachyon)是一个以内存分布式存储系统。它统一了数据访问的方式,为上层计算框架和底层存储系统构建了桥梁。 应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。…
当SparkSQL遇上Alluxio
前言 Alluxio官方文档介绍了Hive的配置方法,也介绍了Spark的配置方法,重点介绍了Spark程序如何访问Alluxio上的文件,但是没有介绍如何配置SparkSQL(这里指纯SQL方式,不是DataFrame…