<configuration> <property> <name>dfs.replication</name> <value>2</value> &…
标签:name
mapred-site.xml配置
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn<…
黑猴子的家:Hadoop 日志聚集
Job运行完成以后,将日志信息上传到HDFS系统上 1、配置yarn-site.xml <!-- 开启日志聚集功能 --> <property> <name>yarn.log-aggr…
NameNode HA异常调查
【起因】22:31:04分被通知集群异常,无法正常处理调度任务;远程登录查看,发现HDFS NameNode发生脑裂; NameNode节点:name21.hadoop,name22.hadoop hadoop版本:2.…
Hive关于select count(*) 有数据,而select * 无数据的解决方案
问题: 工作中遇到了select count(*) from tab_name可以得出数据,但select * from tab_name没有数据,如图所示 Paste_Image.png 本人的原因是因为locatio…
shell 中hive传参
方式一 $ vim test.sql内容如下: use ${db_name}; select count(*) from liaisons; 运行 $ hive -d db_name='source_data' -f t…
hive集成ldap
隶属于文章系列:大数据安全实战 https://www.jianshu.com/p/76627fd8399c <property> <name>hive.server2.authenticatio…
Hive中sql的使用
1、创建表 建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)…
黑猴子的家:Hive 创建表
1、语法概述 1)建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], .…
Spark SQL的selectExpr
两者等价,可看作把sql语句直接拿来使用 df1.selectExpr("*","(DEST_COUNTRY_NAME = ORIGIN_COUNTRY_NAME) as withincountry").show(5) …
Spark实现列转行
1、列转行 行转列和列转行是我们常用的功能,假如我们有如下的csv文件: +---+----+---------+ |id |name|address | +---+----+---------+ |1 |a |add1…
MySQL 多列索引
MySQL 多列索引 多列索引也叫联合索引又叫复合索引 也就是把多个字段按顺序连起来创建一个索引 ( 最多16列 ) 理解这句:按顺序的连起来 从左到右的 为什么要创建多列索引? 相对在每个列上单独建索引 多列索引占用空…