【微信分享】梁堰波：主流SQL on Hadoop框架选择-CSDN.NET http://www.csdn.net/article/2015-07-24/2825293 着眼当下的SQL on Hadoop产品，最吸引…

Powershell 从 Windows7 时代开始内置于 Windows 系统当中，可以看作是微软对 cmd 的大升级，目前两者并存于 Windows 系统中。 首先强烈推荐一个 powershell 学习网站： po…

在hadoop上运行python程序 准备文件 测试文件test.txt (/home/hadoop/input/test.txt) mapper.py (/home/hadoop/input/code/mapper.p…

加载数据 有多种方式将数据加载到Hive表中。用户可以创建外部表，指向HDFS中的指定路径。在这种特殊用法中，用户可以使用HDFS put或者copy命令将文件复制到指定路径，然后使用所有相关行格式信息创建指向这个路径的…

对应HADOOP版本是2.5.2 安装MySQL yum install mysql-server 启动MySQL service mysqld start 进入MySQL mysql 修改用户权限 > use m…

表属性操作 修改表名 alter table table_name rename to new_table_name; 修改列名 alter table tablename change column c1 c2 int…

title: 大数据学习路线 date: 2017-02-17 13:45:03 tags: [大数据,学习路线,Hadoop生态] categories: “大数据” [TOC] 最近整理下大数…

环境配置 hive-2.3.2 hbase-1.4.2 phoenix-4.14.0-HBase-1.4 spark-2.3.0-bin-hadoop2.7 想通过phoenix来统一hbase表的操作，所以首先在pho…

第9章 模式设计 1、按天划分的表建议使用分区表 2、HDFS namenode会将所有的文件系统的元数据信息加载到内存中 3、hive没有主键或基于序列秘钥生成的自增键的概念 4、为了避免分区中数据不均的问题，可以用另…

一、关系运算： 1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual wher…

order by : Hive中order by和SQL语言中的order by是一样，它会对查询结果做一次全局排序，那么在Hive中如果使用了order by，所有的数据就都会只会被一个reducer来处理，如果数据量…

背景 在网上搜了一下，目前python连接hive的工具大概有pyhs2，impyla，pyhive。但是都没有找到有支持hiveserver2 ha的方式。但是目前集群需求是连接带ha方式的hive thrift服务，…