Join原理 Hive执行引擎会将HQL“翻译”成为MapReduce任务，如果多张表使用同一列做Join,将被“翻译”成一个MapReduce任务，否则会被“翻译”成多个MapReduce任务 例如：以下将被“翻译”成…

spark RDD常用函数/操作 文中的代码均可以在spark-shell中运行。 transformations map(func) 集合内的每个元素通过function映射为新元素 val a = Array(1,2…

在Spark SQL 编程时，经常需要对获取的DataFrame 对象进行map 操作。map 基于的元素是Row. 那么如何操作Row呢？ 1. 使用Row 提供的 get方法，获取需要的列 2. 使用类型匹配，显示的…

Hive数据操作 Hive执行命令方式 cli,jdbc,hwi,beeline cli shell hive -help hive –help list,source 注：命令脚本必须在集群的节点或hive…