今天启动mongodb的时候，之前一直没注意，今天发现又warning，想整一整。 下面是告警 2019-09-05T12:00:55.271+0800 I CONTROL [initandlisten] 2019-09…

kafka中有三个特别重要的概念：主题(topic)、分区(partition)和副本(replication)。 我们先来看kafka在创建时候的命令 bin/kafka-topics.sh --zookeeper n…

随着互联网的高速发展，越来越多的企业业务迁移上云，业务对于云上的存储需求量也快速增加。这时候就需要一种方法让数据处理起来更简单，另外支持扩展性、便于访问信息。在这特定的环境下，衍生出了OSS对象存储产品。什么是OSS对象…

1 数据分块存储+副本的策略 数据分块存储+副本的策略是HDFS保证可靠性和性能的关键，原因如下： 文件分块存储之后按照数据块来读，提高了文件随机读的效率和并发读的效率； 保存数据块若干副本到不同的机器节点实现可靠性的同…

作用与用法 在Function中使用数据集缓存能够减少函数内部查询调用次数，从而提高效率，尤其适用于数据变动不频繁（如：组织机构）的数据。属于11g新特性。 CREATE OR REPLACE FUNCTION getO…

本文来自网易云社区。 随着时代的发展，计算机技术已经成为了人们生活以及日常办公必不可少的重要手段，尤其是近两年来，大数据以及云计算已经成为了企业管理的重要手段，不仅帮助企业提升业务管理，同样对于企业的人力资源管理同样起着…

云计算与网格计算 csdn 您可能想知道与网格计算相比的云计算。 在本文中，我将讨论云计算服务类型以及云计算与网格计算之间的异同。 我研究了为什么云计算可能比网格计算更具优势，两者都需要考虑哪些问题，以及一些安全问题。 …

转载自：https://blog.csdn.net/nieson2012/article/details/79551337 列存储不同于传统的关系型数据库，其数据在表中是按行存储的，列方式所带来的重要好处之一就是，由于查…

（作者：陈玓玏） 有时候我们需要查看Hive表对应文件的文件大小，那么分两步： 知道Hive表在HDFS中的存储位置； 查看Hive表对应的文件大小。 1. 知道Hive表在HDFS中的存储位置 使用show creat…

业务 需求：统计每小时的PV数 数据采集 hdfs hive 数据清洗（ETL） 用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程 字段过滤 “31…

孔淼：大数据分析处理与用户画像实践 直播内容如下： 今天咱们就来闲聊下我过去接触过的数据分析领域，因为我是连续创业者，所以我更多的注意力还是聚焦在解决问题和业务场景上。如果把我在数据分析的经验进行划分的话，刚好就是我所经…

入门 引言 Elasticsearch是一个高度可扩展开源的全文搜索引擎.它搜索几乎是实时的,用ES作为搜索引擎,为复杂搜索功能的需求提供解决方案. ES的使用场景: 网上商场,搜索商品. ES配合logstash,ki…