前言 Jenkins支持分布式构建,可以配置多个slave节点,让任务跑在不同的机器上。 节点管理 所有节点机器用到的Jdk, Git等环境的路径需要统一,安装位置和Jenkins所在服务器的位置保持一致,以便于管理。 …
标签:机器
使用crontab调度hadoop任务和机器学习任务的正确姿势
标签: crontab 调度 虽然现在越来越多的开源机器学习工具支持分布式训练,但分布式机器学习平台的搭建和运维的门槛通常是比较高的。另外一方面,有一些业务场景的训练数据其实并不是很大,在一台普通的开发机上训练个把小时足…