Crawlab 单节点服务集群搭建部署简明教程

2019年10月2日 236次阅读 来源: MarvinZhang

本文经授权转载自
清雨的博客，作者会定期更新相关信息，欢迎前往阅读。

1、安装 Docker CE → 传送门

CentOS 使用者可以直接参考这篇文章：Docker CE 简明安装步骤 for CentOS

2、一些前期准备

sudo mkdir -p /opt/docker
sudo chown ${USER} -R /opt/docker
mkdir -p /opt/docker/crawlab/data/mongodb
mkdir -p /opt/docker/crawlab/data/redis
mkdir -p /opt/docker/crawlab/logs/crawlab
mkdir -p /opt/docker/crawlab/spiders
mkdir -p /opt/docker/crawlab/tmp
touch /opt/docker/crawlab/docker-compose.yml
cat /dev/null > /opt/docker/crawlab/docker-compose.yml

3、编排 Docker Compose

一些关于配置的说明：

  • 固定各个服务的 IP 是为了方便和物理网络的其它服务对接，此时只要在物理网络终端设置好路由表，就能直接通过 Docker 服务的 Subnet 网段，便捷的访问运行在容器里的各类服务。
  • MongoDB 和 Redis 的数据持久化到本地可根据自己的需求来设置，如果想在执行 docker-compose down 命令后保存原本的任务队列/任务运行详情/定时任务设置等，则必须持久化 MongoDB 的数据，至于 Redis 的数据未持久化是否有影响，博主这边暂时未测试过。

P.S：一定要同步容器时区设置，否则定时任务可能无法按照你预设的时间执行。

4、运行 Crawlab 服务集群

# 切换到 Crawlab 工作目录
cd /opt/docker/crawlab
# 后台启动 Crawlab 服务群，并重定向运行日志至 /tmp/crawlabs.log
nohup docker-compose up > /tmp/crawlabs.log 2>&1 &

5、测试集群是否能正常工作

打开 http://localhost:8080/ 或 http://<;your_ip>:8080/

使用默认的账号密码 admin/admin 尝试登录，能登录则正常

否则请查看运行日志/tmp/crawlabs.log排查错误

6、其它爬虫的集成与对接

略

7、常见问题 Q&A

https://tikazyq.github.io/cra…

另外，感谢微信“Crawlab 开发交流群”的群主及同仁在博主部署时提供的各种帮助。
有部署上的疑问，大家可以留言一起交流。

参考资料：

    原文作者：MarvinZhang
    原文地址: https://segmentfault.com/a/1190000020225110
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞