hadoop 安装/启动步骤中常见问题 Hadoop 2.x 命令及可执行文件目录的变化： 在1.x中，所有的命令文件，都是放在bin目录下，没有区分客户端和服务端命令，并且最终命令的执行都会调用hadoop去执行；而在…

sequenceiq/hadoop-docker: Hadoop docker image https://github.com/sequenceiq/hadoop-docker 在 Docker 上运行 Apache …

五、安装ntpd时间服务器 按照Cloudera的官方建议，所有的CDH节点和Cloudea Manager节点都需要启动ntpd服务。要不然会报如下错误： 1. 此角色的主机的运行状况为不良。 以下运行状况测试不良： …

Hive可以处理非结构化数据. 如果我们在oracle数据库中有图像文件,我们必须运行sqoopout将该图像从oracle加载到另一个源数据库并导出到hive表中. 你可以帮我解决一下如何处理hive中的图像文件???…

速记： 1. 场景&报错： Java 代码开发，访问HDFS并写数据，执行可执行jar包报错如下（执行命令:java -jar xxx.jar）： 18/03/15 09:39:16 WARN util.Nati…

// Transwarp – 新闻详情 http://www.transwarp.io/news/detail?id=29 企业的核心数据处理逐渐分为两大模块： 以关系型数据库（RDBMS）为主，主要用于解决…

hbase依赖于hadoop环境，搭建habase之前首先需要搭建好hadoop的完全集群环境，因此看这篇文章之前需要先看我的上一篇文章：hadoop集群搭建 环境准备 hbase软件包: http://mirror.b…

转自：hadoop2.7 动态新增节点和删除节点 转自：spark集群动态增加worker节点 hadoop安装过程中包括yarn的节点，hadoop有多个节点，spark也是多个节点，也区分master和slave

隶属于文章系列：大数据安全实战 https://www.jianshu.com/p/76627fd8399c 修改hdfs-site.xml /var/opt/hadoop-2.7.4/etc/hadoop/hdfs-s…

转自：https://blog.csdn.net/hguisu/article/details/7256833 Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoo…

Hadoop是个高效的工具 介绍了Hadoop的由来和组成，当然提供给你用来分析的数据，以及最快的方式。更重要的是描述第一个Hadoop工程的详细编写过程。 1.认识Hadoop 1.1解决高速增长的存储空间和读取速度不…

1、hadoop 1.X  数据块块默认64M；2.X   128M  （该值可以更改，dfs.block.size 在 hdfs-site.xml中） 2、重点说一下2.X版本和3.X版本…