一、什么是RPC框架? RPC,全称为Remote Procedure Call,即远程过程调用,是一种计算机通信协议。 比如现在有两台机器:A机器和B机器,并且分别部署了应用A和应用B。假设此时位于A机器上的A应用想要…
标签:机器
玩转Jenkins - 分布式构建
前言 Jenkins支持分布式构建,可以配置多个slave节点,让任务跑在不同的机器上。 节点管理 所有节点机器用到的Jdk, Git等环境的路径需要统一,安装位置和Jenkins所在服务器的位置保持一致,以便于管理。 …
[Jenkins] jenkins 添加 节点 slave [Mac]
步骤主要分 主从 机器的配置 先说 slave 从属的机器配置 1. slave 机器的设置 1.1 远程登录 为了让 master 机器能够 ssh 登录到slave机器, 需要开启 从属机器的 远程登录功能 偏好设置…
Zookeeper 安装及配置(Mac)
Zookeeper 是 什 么? (摘抄)有这样一个场景:系统中有大约100w的用户,每个用户平 均有3个邮箱账号,每隔5分钟,每个邮箱账需要收取100封邮件,最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台…
Zookeeper 使用
zk特点 ① 顺序一致性 由于zk对于客户端发出的更新请求都会为它分配一个全局唯一的递增编号。该编号反映了事务操作的先后顺序。 ② 原子性 一台的机器应用了某事务,那么所有机器都将应用;否则都没应用。 ③ 单一视图 zk…
MongoDB 集群分片搭建
环境要求 本次安装环境使用了三台乌班图虚拟机, 关于为什么搭建分片集群,想必这里不用多介绍了.肯定是因为数据量太大,不是一台机器所能承受的. 关于这些分片的理论知识可以去谷歌,后者 SB度 都可以,只是SB 度都是千篇一…
Spark 开发环境搭建(四)-Hadoop 集群创建
四、Hadoop 集群创建 根据前几节的设置,我们已经对一台机器完成了从网络到hadoop等一些列的配置,为便于测试hadoop 集群,本节将介绍如何利用virtual box clone工具创建相同的机器。 1. 利用…
Hadoop 2.x分布式集群部署
服务组件的规划 机器的配置需要根据实际情况考虑。由于我用的虚拟机,所以各个容量大小设置的都很低。* 注意:搭建分布式至少三台机器。 * 机器1 机器2 机器3 主机名:bigdata-00 主机名:bigdata-01 …
HDFS balance
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络…
使用crontab调度hadoop任务和机器学习任务的正确姿势
标签: crontab 调度 虽然现在越来越多的开源机器学习工具支持分布式训练,但分布式机器学习平台的搭建和运维的门槛通常是比较高的。另外一方面,有一些业务场景的训练数据其实并不是很大,在一台普通的开发机上训练个把小时足…