spark的dataframe操作，其中map和flatmap挺绕头的，其实要理解也很简单，只需要记住一下即可： map是对dataframe的每一个row的操作。 flatmap是先map，再扁平化。 具体示例我们可以…

Spark之中map与flatMap的区别 一直不太明白spark之中map与flatMap之间的区别。map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应…

0x01前言 官网上的spark with scala 的文档比较难理解,内容也特别少。初学遇到很多实际情况，会很迷茫怎么处理数据。 在此把自己踩的坑列一列，供初学者参考。 大牛请轻拍，有问题欢迎指教。 0x02 理解 …

刚开始看Spark API 或者Scala编程的时候，发现函数式编程看的不太明白。又不想系统的看看Scala的书，就找找网上资料了，顺便做做笔记。 map map操作，按照Spark里面的说就是，将一个RDD中的每一个元…

explode和inline函数可以将单列扩展成多列或者多行。 1.explode将单列扩展成多行 select explode(subordinates) from employees; image.png explo…

hive中join原理与机制 笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 Hive …

1、array数据类型 创建表： 示例数据： 插入数据： size函数：查询数组长度（map类型也适用） 取数据： array_contains函数：判断数组是否包含指定元素 2、map数据类型 创建表： 示例数据： 插…

1，一个Hive查询生成多个Map Reduce Job，一个Map Reduce Job又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤…

一般表的结构是增删查改，但是如果不是作为大BI部门，基本上其他做分析的人员，只能用到查这个功能了，需要慢慢熟悉数据结构，尤其是表结构。 其中最近遇到的是访问复合数据类型的信息： 首先看下符合数据类型的数据存储（表里的符合…

github链接 针对Hive的优化主要有以下几个方面： map reduce file format shuffle & sort job as whole job chain Hive job 分解 Hive…

hive中会对多个mapjoin做进一步的优化,即:将多个mapjoin合并为一个mapjoin,这样做的依据是: 一个mapjoin其实只是一个map 多个mapjoin其实是多个map,而多个map是可以合并为一个m…

Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。 如果自己使用Java开发，需要处理System.in,System,out以及key/value的各种逻辑，比较…