我知道Hive Metastore用于存储我们在HIVE中创建的表的元数据,但为什么spark需要Metastore,Metastore和Spark之间的默认关系是什么

spark SQL是否正在使用metasore,如果这样存储数据帧元数据？

为什么即使没有使用任何sql库,默认情况下spark也会检查Metastore连接？

最佳答案 这是
spark-2.2.0 documentation的解释

当未由hive-site.xml配置时,上下文会自动在当前目录中创建metastore_db,并创建一个由spark.sql.warehouse.dir配置的目录,该目录默认为Spark应用程序当前目录中的目录spark-warehouse开始了.请注意,自Spark 2.0.0起,不推荐使用hive-site.xml中的hive.metastore.warehouse.dir属性.而是使用spark.sql.warehouse.dir指定仓库中数据库的默认位置.