在开发hadoop应用时，为了便于开发，通常我们将日志打印到控制台来观察应用的运行情况。然而在使用到与zookeeper交互，在日志中经常性会打印一些info级别的日志在，即使设置了相关的日志级别，但依然可以打印出一下日…

现象 ZooKeeper读写过程中，重新选主，然后节点重启后，数据不一致了。例如原来有节点A，B，C。 创建临时节点znode1，节点A、B、C上均可见，此时节点B是leader。 重启A、B、C三个节点后，发现临时节点…

（1）kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent（数据采集器）[source channel sink]。 （2）kafka做…

内置功能(只列了一部分功能) 1.用户管理：用户是系统操作者，该功能主要完成系统用户配置。 2.机构管理：配置系统组织机构（公司、部门、小组），树结构展现，可随意调整上下级。 3.区域管理：系统城市区域模型，如：国家、省…

概述 zookeeper的内存模型： zk的数据存在内存当中（高性能），但是同时记录操作日志+内存快照（二进制），持久化。（类似于Redis) 状态机+命令日志：内存中保存数据的最终状态，命令日志中保存所有的操作过程，内…

在开发环境中，记录日志这件事情常常被忽视，因为我们有强大的 IDE ，可以调试，可以断点，问题出现后一般都能很快解决。但在生产环境，异常一旦发生，如果不能重现，又没有提前做好日志记录，就会非常被动，问题的定位也可能需要花…

MongoDB的特点 高扩展性 分布式存储 低成本 结构灵活 安装与配置 官网下载 定义数据库存储位置MongoDB文件夹，并在文件夹下创建以下文件夹 data文件夹存放数据 logs文件夹存放日志 etc存放mongo…

发现问题 重启虚拟机后。运行pm2 start process.json。打开页面发现没有数据。 定位问题 查看数据库连接的日志信息。发现数据库连接失败。 解决步骤 首先，删除mongod.lock文件。 进入mongo…

mongo默认是没有进行日志分割的，所有的日志持续写到一个文件中。缺点是很明显的，日志文件会越来越大 占用过多磁盘空间 日志文件写入性能越来越低 问题排查越来越困难 配置分割策略 要实现日志分割，首先要配置日志分割策略，…

MongoDB数据库详细配置说明(文章来源于Internet) 启动MongoDB有2种方式 直接指定配置参数 指定配置文件。 由配置文件启动方式如下： mongod --config /your_path/mongod…

通常可使用redis的list数据结构形成日志。但list仅支持对数量进行筛选。如获取近100条日志记录。无法实现获取近30天数据。 当然可以使用sorted set实现按天获取，但当日志数量不断增加时，sorted s…

在redis.conf中添加配置(如果配置已存在就修改)： loglevel notice#日志等级   logfile “/usr/redis/log/redis.l…