1 ZooKeeper的一致性特点 概念 描述 备注 顺序一致性 以ZXID来保证事务的顺序性 原子性 以ZAB保证原子操作，要么成功，要么失败 单一视图 无论客户端从哪个服务器获取到关于应用的数据都是一致的 可靠 以版…

官网：https://redis.io/documentation 中文官网：http://www.redis.cn/documentation.html redis redis-trib.rb工具的使用 1、creat…

Redis Cluster Specification 1 设计目标和理由 1.1 Redis Cluster goals 高性能可线性扩展至最多1000节点。集群中没有代理，（集群节点间）使用异步复制，没有归并操作(m…

Spark学习笔记 Data Source->Kafka->Spark Streaming->Parquet->Spark SQL(SparkSQL可以结合ML、GraphX等)->Parq…

原文 IMPORTANT:在MongoDB3.4以后 ，使用mongod实例作为config servers已被弃用。在3.4以后，你必须将你的config server从SCCC升级到CSRS。 Config serv…

本文展示了在之前搭建的Hadoop分布式集群的基础上如何搭建Spark分布式集群环境 一、已有环境 ubuntu 14.04 hadoop 2.7.1 集群安装参考 三台机器 master、slave1、slave2 二…

问题 Spark on Yarn是将yarn作为ClusterManager的运行模式，Spark会将资源（container）的管理与协调统一交给yarn去处理。 Spark on Yarn分为client/clust…

从源hbase集群中复制出HBase数据库表到本地目录 hadoop fs -get scp到目的集群 hadoop fs -put 到目的集群HDFS 亦可使用distcp将集群复制至目标集群 具体办法参考：DistC…

设置Hadoop环境 在Tools -> Hadoop Distribution 中选择 “HortonWorks HDP 2.5.x”。 复制core-site.xml文件 复制 Hadoop 环境下的的 cor…

Zookeeper有三种运行模式：单机模式、伪集群模式和集群模式。注意的是一般zookeeper集群由3~5台服务器组成，即2n+1台机器,至少是2台。 注意点： #server.A=B：C：D：其中 A 是一个数字，表…

1. 前言 每一次搭建集群环境都像一次战斗，作战中任何一个细节的出错都会导致严重的后果，所以搭建中所需要做的配置如系统配置、网络配置（防火墙记得关）、用户权限、文件权限还有配置文件等等内容，都必须非常仔细，将失误扼杀在摇…

迁移对于运维来说，是家常便饭，不停服迁移是对DBA的考验，下面混总了目前了解到迁移方案： 利用replication 和 snapshot 完成数据迁移, 业务自动切换 步骤: 建立两个集群的replication,主从…