在目前相信大多数IT开发人员对于人工智能+大数据并不陌生，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解，科多大数据带大家来学习了解一下大数据的基…

最近跑一个Hadoop程序，处理一年的log，处理的时候发现Map有18000多个，Reduce任务数我设置了1000个。 最后半个小时过去了，所有Map都执行完毕，就有一个Reduce没有结束，然后没管他继续干其他的了…

承接上一篇文章已经创建了的Hadoop 2.6 的伪分布式环境，这里记录一下创建HBase伪分布式环境的过程,使用的HBase版本是1.1.1。 主要分为以下几步： 搭建Hadoop 2.6伪分布式环境（见上一篇文章） …

Apache Hive可以帮助您快速查询和管理大型数据集。 它是Hadoop生态系统的ETL工具。 在本教程中，您将学习Hive的重要主题，如HQL查询，数据提取，分区，bucket等。 Hive简介 Hive是在Had…

Get Spark from the downloads page of the project website. This documentation is for Spark version 2.2.0. Spark…

core-site.xml 配置项 缺省值 配置说明 hadoop.tmp.dir /tmp/hadoop-${user.name} 只可以设置一个值；建议设置到一个足够空间的地方，而不是默认的/tmp下，服务端参数，修…

1、官方grep案例 1）在hadoop-2.8.2文件下面创建一个input文件夹 [victor@node1 hadoop-2.8.2]$ pwd /opt/module/hadoop-2.8.2 [victor@n…

1.下载hadoop http://hadoop.apache.org/releases.html 2.解压下载的hadoop文件 tar -zxvf /HADOOP-VERSION-FULL-PATH.tar.gz 3…

课程一、大数据运维之Linux基础 本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程。因为企…

我有大量的服务.我记录事件.每隔几分钟,我使用gzip压缩日志并将它们旋转到S3.从那里,我们使用亚马逊的Hadoop处理日志 – 弹性mapreduce – 通过Hive. 就在服务器上,当我们压缩和旋转日志时,我们会…

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Ha…

elasticsearch-hadoop可以看作是一个connector,使得数据可以在hadoop和elasticsearch之间双向流动。从架构上看，elasticsearch-hadoop集成了两个分布式系统：ha…