Linux基础类 nohup python test.py &>nohup.out & 就是把执行python test.py中间的log文件存放到nohup.out里面了。& 代表后台执行…
分类:Hive
[DBA]hive的基本操作
hive的基本操作 – 奏乐 – 博客园 http://www.cnblogs.com/hankedang/p/5649473.html 指定hive sql 运行队列 set mapreduce…
Hive系列之分区表和桶
为提升hive数据的查询和写入性能, hive提供了分区表机制。hive每个表格可以指定多个分区key, 这些分区key决定数据的存储方式,比如表格T有个日期型分区列ds, 表格的数据会存储在:表在hdfs路径/ds=&…
Hive扩展功能(八)--表的索引
软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 </br> 主机配置: 一共m1, m2, m3这三部机, 每部主机的用户名都为cent…
如何在华为平台使用自己的spark
场景 我们私有云团队在给客户部署系统时遇到困难,客户要求在他们购买的华为大数据平台上部署我们的产品,我们底层主要用到了spark、hdfs、和hive,hdfs和hive可以用华为的,但spark不能用华为的,华为目前只…
HiveQL 数据定义:视图和索引
分区 • 创建视图 • 删除视图 • 创建索引 • 删除索引 视图可以允许保存一个查询并且像对待表一样对待这个查询进行操作。 视图是一个逻辑结构,不会存储数据。 创建视图 CREATE VIEW [IF NOT EXIS…
Hive查询HBase调用MapReduce性能优化
折腾了很久,被领导天天督促&指点,算是有个最基本的性能优化。 1. 背景介绍: Hive使用hive-hbase-handler建立HBase external table。在hive查询包含count(*)、j…
hadoop-docker环境从零搭
《1,虚拟机ubuntu16.04》 设置root用户初始密码 sudo passwd 《2,ssh》 apt-get update apt-get install openssh-server 允许root登录 vi …
实时分析系统(HIVE/HBASE/IMPALA)浅析
实时分析系统(HIVE/HBASE/IMPALA)浅析 – 大数据和云计算技术 (欢迎关注同名微信公众号) – ITeye技术网站 http://jiezhu2007.iteye.com/blog…
##[倾斜]Hive 数据倾斜总结
Hive 数据倾斜总结 – 菠萝大数据梦工厂(Free World) – 博客频道 – CSDN.NET http://blog.csdn.net/jiangshouzhuang/ar…
Hive安装报错汇总
今天安装hive,按着官方文档操作,但是并没有能够成功,把碰到的问题记录下 1)执行$HIVE_HOME/bin/hive 报错:## Caused by: MetaException(message:Version i…
Ubuntu安装Hive,并使用Mysql作为元数据库
版本信息: Ubuntu:16.04 JDK:1.8.0_144 Hadoop:2.7.4 Hive:2.1.1 MySQL:5.7.22 今天捣鼓了一下午关于Hadoop集群安装Hive,遇到了一些问题,在此记录下来。…