SparkSQL如何直接访问hive元数据信息 不再需要去mysql里的表里去查找 [hadoop@hadoop001 bin]$ ./spark-shell --master local[2] --jars ~/sof…

（1）背景 目前使用Python读取Hive表，解析转换之后并发插入Redis，使用fetchone方法读取速度较慢，Python转换处理的速度也较慢。所以需要优化插入Redis的流程。 考虑使用SparkSQL读取数据…