hadoop 1.core-site.xml 1.fs.defaultFS hdfs默认端口 2.hadoop.tmp.dir Hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的…

一、 压缩文件读取 spark 自动根据文件后缀名判断压缩格式，不用特别指定 二、写文件时压缩 spark会加载Hadoop的默认的配置，如果hadoop中设置了压缩，spark没指定压缩则会用hadoop的配置方式压缩…

阿里封神谈hadoop学习之路-博客-云栖社区-阿里云 https://yq.aliyun.com/articles/28400?utm_campaign=wenzhang&utm_medium=article&…

HDFS常用命令 1.启动与关闭hadoop $ cd /usr/local/hadoop $ ./sbin/start-dfs.sh #启动hadoop $ cd /usr/local/hadoop $ ./sbin/…

默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。 复…

学习hadoop已有一月之余，由于前段时间不太上心，导致脑海之中并没有留下什么映像，但是这两天的集中学习让我对于mapreduce过程中的shuffle有了一定的了解，所以现在赶紧记下这难得的感触，不期望能给别人带来感悟…

0. 基本环境说明 jdk版本: jdk1.7.0_80 hadoop版本: hadoop-2.6.1 hive版本: apache-hive-1.2.2-bin 1. 下载解压 #解压到指定的目录 tar xzvf a…

只是试图将基本的RDD数据集导入DynamoDB.这是代码： import org.apache.hadoop.mapred.JobConf var rdd = sc.parallelize(Array(("", Map…

在清空/tmp 和/home/centos/downloads/hadoop-2.7.2/logs中的数据执行start-all.sh后，主控制机只出现了SecondaryNameNode节点和ResourceManag…

【微信分享】梁堰波：主流SQL on Hadoop框架选择-CSDN.NET http://www.csdn.net/article/2015-07-24/2825293 着眼当下的SQL on Hadoop产品，最吸引…

在hadoop上运行python程序 准备文件 测试文件test.txt (/home/hadoop/input/test.txt) mapper.py (/home/hadoop/input/code/mapper.p…

最近在Hadoop大数据分析上很流行一个叫/var/tmp/java -c /var/tmp/w.conf的病毒程序，当然了，我本人也被中招了，后来就把在/var/tmp/里面的程序删除了，并且将定时任务crontab也…