对于分布式锁可以从几个问题入手: 分布式锁应用的场景是什么样的呢? 分布式锁的实现是怎么样的呢? 分布式锁的实现方案应用有什么优劣势? 分布式锁的方案如何选择?等 一、分布式锁概念 1、什么是分布式锁 分布式锁在分布式环…
标签:分布式
使用crontab调度hadoop任务和机器学习任务的正确姿势
标签: crontab 调度 虽然现在越来越多的开源机器学习工具支持分布式训练,但分布式机器学习平台的搭建和运维的门槛通常是比较高的。另外一方面,有一些业务场景的训练数据其实并不是很大,在一台普通的开发机上训练个把小时足…
Java + Spark SQL + Hive + Maven简单实例实现
一. 前期准备 1.linux搭建Java和Scala环境搭建 2. linux搭建hadoop+spark+hive分布式集群 hadoop分布式集群搭建:hadoop分布式集群搭建 spark分布式集群搭建:spar…