Hadoop 组件之Hive

           弄这个hive 就有点小曲折了 ,安装hive还算是顺顺利利,关键是hive 使用默认的Derby数据库,一次只能建立一个任务会话,所以,我用MySQL数据库,我的MySQL数据库是安装自爱Linux上的,因为hive 版本不高出现了兼容不匹配的问题,所以又重新安装高版本的,安装之后在/etc/profile文件下指定hive的安装目录,在conf hive.sh文件下指定 Java Hadoop hive的安装目录 之后安装MySQL,给root用户设置密码 基本上hive 安装配置完成。

  hive 是数据仓库,是建立在Hadoop平台上的,Hadoop 的两大核心技术,

一:hdfs  二:mapreduce

其他的组件是围绕着这两大核心技术展开的,hive底层走的是mapreduce 即可以自定义mapreduce 任务、提供类SQL语言。

           hive 是SQL解析引擎。hive 将sql语言解析生成mapreduce然后在Hadoop上运行。hive 中的表其实就是HDFS目录,按表名把文件分开。如果是分区表,则分区值是文件夹。可以直接在mapreduce中使用这些数据。hive可以相当于Hadoop客服端工具,部署时不一定放在集群节点上,可以放在某一个节点上。

      hive 没有专门的存储模式。 它可以默认直接加载文本文件,在创建表时候,指定数据的列,行,分隔符,hive即可解析数据。

    原文作者:起个什么呢称呢
    原文地址: https://www.jianshu.com/p/88cd58eab4b2
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞