分布式锁 之前看程序员小灰的公众号，通过漫画的形式讲解了分布式锁的内容。 后来想到公司的项目里，也利用到了分布式锁，但是分布式锁的具体代码实现和在项目中的应用并不是自己写的，具体情况还不是太懂。寻思，决定利用这个热度来看…

1、zookeeper是什么框架？ zookeeper是一个开源的分布式协调服务框架。 2、有哪些应用场景？ 应用场景：分布式通知/协调、负载均衡、配置中心、分布式锁、分布式队列等。 3、使用什么协议？ 使用ZAB协议。…

持续更新~~~~ Zookeeper典型应用场景有哪些？ ZooKeeper是一个高可用的分布式数据管理与协调框架。基于对ZAB算法的实现，使该框架保证了分布式环境中数据的一致性，也正是基于这样的特性，使得ZooKeep…

Redis Cluster是Redis的分布式解决方案，从3.0版本正式的推出，有效的解决了Redis分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以考虑采用Redis Cluster架构方…

通过调用SparkContext的parallelize方法，在一个已经存在的Scala集合上创建的（一个Seq对象）。集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集。 data = […

一、MemCache简介 MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。…

HBase HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（F…

本文旨在快速搭建一套Hadoop及HBase的分布式环境，自己测试玩玩的话ok，如果真的要搭一套集群建议还是参考下ambari吧，目前正在摸索该项目中。下面先来看看怎么快速搭建一套分布式环境。 准备 三台虚拟机：1台作为…

标签： crontab 调度 虽然现在越来越多的开源机器学习工具支持分布式训练，但分布式机器学习平台的搭建和运维的门槛通常是比较高的。另外一方面，有一些业务场景的训练数据其实并不是很大，在一台普通的开发机上训练个把小时足…

写这篇文章的目的主要是为了记录下自己在zookeeper 锁上踩过的坑,以及踩坑之后自己的一点认识; 从zk分布式锁原理说起,原理很简单,大家也应该都知道,简单的说就是zookeeper实现分布式锁是通过在zk集群上的路…

ZooKeeper为分布式应用提供了高效且可靠的分布式协调服务，提供了诸如tong’yi统一命名服务、配置管理和分布式锁等分布式的基础服务。在解决分布式数据一致性方面，ZooKeeper并没有直接采用Paxo…

上一节介绍了DynamoDB 的查询，本来计划这一节介绍使用索引的查询，不过随机看到了更新操作，就先写更新操作吧 update (修改表中的数据) SQL 语言提供用于修改数据的 UPDATE 语句。DynamoDB 使…