前置条件：zookeeper搭建完成，三台虚拟机，kafka安装包 1. 解压kafka安装包 1.进入要安装的目录，我的安装包直接放在了安装的目录，并解压 cd /opt/soft tar -zxvf kafka_2.…

这里先简单介绍下hive，Impala、HBase： hive： hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduc…

gdpr通用数据保护条例 The General Data Protection Regulation (GDPR) comes into force on 25th May 2018. Designed to stre…

package cn.evun.gehr.bees.blue.controller; import java.io.*; import java.util.ArrayList; import java.util.List…

恶梦护士 asa 在日常工作中，我们处理大量问题和挑战，例如“如何保护数据？”，“这是哪种类型？”。 改为“这些概念应该是什么？” 本文并不针对特定的编程问题，例如加密的工作方式或避免SQL注入。 我将不再关注一个主题或…

Spark读文本并将多行合并为一行   数据格式 六月 15, 2015 4:28:02 下午 INFO: 六月 15, 2015 4:28:03 下午 INFO: 六月 15, 2015 4:28:04 下午…

kafka中有三个特别重要的概念：主题(topic)、分区(partition)和副本(replication)。 我们先来看kafka在创建时候的命令 bin/kafka-topics.sh --zookeeper n…

随着互联网的高速发展，越来越多的企业业务迁移上云，业务对于云上的存储需求量也快速增加。这时候就需要一种方法让数据处理起来更简单，另外支持扩展性、便于访问信息。在这特定的环境下，衍生出了OSS对象存储产品。什么是OSS对象…

1 数据分块存储+副本的策略 数据分块存储+副本的策略是HDFS保证可靠性和性能的关键，原因如下： 文件分块存储之后按照数据块来读，提高了文件随机读的效率和并发读的效率； 保存数据块若干副本到不同的机器节点实现可靠性的同…

本文来自网易云社区。 随着时代的发展，计算机技术已经成为了人们生活以及日常办公必不可少的重要手段，尤其是近两年来，大数据以及云计算已经成为了企业管理的重要手段，不仅帮助企业提升业务管理，同样对于企业的人力资源管理同样起着…

云计算与网格计算 csdn 您可能想知道与网格计算相比的云计算。 在本文中，我将讨论云计算服务类型以及云计算与网格计算之间的异同。 我研究了为什么云计算可能比网格计算更具优势，两者都需要考虑哪些问题，以及一些安全问题。 …

（作者：陈玓玏） 有时候我们需要查看Hive表对应文件的文件大小，那么分两步： 知道Hive表在HDFS中的存储位置； 查看Hive表对应的文件大小。 1. 知道Hive表在HDFS中的存储位置 使用show creat…