YARN架构设计也是主从架构,分为Resource Mananger(RM)和Node Manager(NM),其中RM主要负责应用管理和资源调度,NM主要负责容器和作业。 一、YARN架构介…
标签:hadoop
Hadoop环境搭建(主机名、Ip地址、映射及网络配置)
一、在安装的虚拟机上修改主机名地址 1.显示当前主机名命令: hostname 2.修改主机名命令: 方法①:输入 vi /etc/ hostname 方法②:输入 host…
HDFS文件的压缩
前言 新搭建的集群,需要进行各种测试,于是让一个同事导入一些测试数据,大约1.4T左右。我进行了一个简单的hive测试 //故意增加shuffle SELECT DISTINCT(COUNT id) FROM test_…
hadoop 实现序列化
前言 序列化想必大家都很熟悉了,对象在进行网络传输过程中,需要序列化之后才能传输到客户端,或者客户端的数据序列化之后送达到服务端 序列化的标准解释如下: 序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便…
HDFS ls查看文件命令按照时间排序(sort by time)
我们在使用HDFS Shell的时候只用最频繁的命令可能就是 ls 了,其具体含义我就不介绍了。在使用 ls 的命令时,我们可能想对展示出来的文件按照修…
Hive 的使用操作方法-表创建,删除,分区的增删,修改表结构,重命名,行列互转和sql查询
Hive 的使用操作方法-表创建,删除,分区的增删,修改表结构,重命名,行列互转和sql查询 做大数据或数据分析的人员应该都非常熟悉Hive吧,它是一…
2021-01-05
1、 大数据具有哪些特点?ABCD (A) 数据的“大量化” (B) 数据的“快速化” (C) 数据的“多样化” (D) 数据的“价值化” 2、 大数据的两个核心技术是什么?AC (A) 分布式存储 (B) 数据处理与分…
在mac上进行hadoop集群搭建
一、环境说明 软件版本 环境&软件 版本 操作系统&macOs 11.2.1 虚拟机&VMware Fusion 12.1 服务器&CentOS 7.8 jdk 1.8 hadoop 2.…
4、配置虚拟机IP地址
1、三个需要配置的地方 虚拟机 VMware 本机电脑 2、VMware配置 VMware【编辑】菜单中的虚拟网络编辑器 点击VMnet8, 点击右下角的【更改设置】 点击VMnet8 【NAT模式】将最下面的子网IP改…
如何查看mapreduce日志
hadoop代码,由main开始呼出map和reduce的, 在main里面写system.out是可以得到输出内容的, 但是在map和reduce中就没那么简单了。 执行中的log能看到,但是执行完了,就没有了! 参照…
查看mapreduce日志
在linux中没法看到map和reduce自定义的日志,比如syso打印的 访问上面链接 往下拉选择map或者reduce 选择一个task 点击logs finish
hadoop配置Mapreduce job日志
1.你需在 mapred-site.xml 中对其进行配置,并分发到整个集群 <property> <name>mapreduce.jobhistory.address</name> …