青海省网站建设_网站建设公司_Spring_seo优化

Crawlab 是一款分布式爬虫管理平台，支持运行任何语言，具有扩展性还提供了爬虫自动化部署、在线文件编辑等功能。本文将详细的介绍如何利用 Docker 在本地部署 Crawlab 并结合路由侠实现外网访问本地部署的 Crawlab。

第一步，本地部署 Crawlab

本文 Crawlab 的安装需在 docker 环境下进行，若未安装 docker 可参考文章安装 Docker 详细说明（Linux）。

1，创建 Crawlab 文件夹。

mkdir -p /volume1/docker/crawlab/{data,master,worker01,worker02}

2，进入 Crawlab 目录。

cd /volume1/docker/crawlab

4，创建 docker-compose.yml 文件。

vim docker-compose.yml

version: '3.3' services: master: image: crawlabteam/crawlab:latest container_name: crawlab_example_master environment: CRAWLAB_NODE_MASTER: "Y" CRAWLAB_MONGO_HOST: "mongo" volumes: - "./master:/root/.crawlab" ports: - "8235:8080" depends_on: - mongo worker01: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker01 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker01:/root/.crawlab" depends_on: - master worker02: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker02 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker02:/root/.crawlab" depends_on: - master mongo: image: mongo:4.2 container_name: crawlab_example_mongo restart: always volumes: - ./data:/data/db

5，启动容器。

docker-compose up -d

6，浏览器输入 http://localhost:8235 即可访问 Crawlab。

第二步，外网访问 Crawlab

当前未提供网页管理，在任意一台 Windows 机器安装路由侠 Windows 版，用作跨机器管理。点此下载

1，下载安装完成后，打开路由侠界面，进入【设备中心】。点击右下角的“添加设备”，此时可查看到对应的安装码，此安装码用于将设备添加到对应账号下，可选中后复制。

2，直接下载后导入。

wget https://dl.luyouxia.com:8443/v2/lyx-docker-x86_64.tar docker load -i lyx-docker-x86_64.tar

3，然后使用该镜像启动容器。

docker run --name lyx -it --restart=always --net=host -e code=这里填写安装码 luyouxia/lyx

4，当前 Linux 终端这边，如果是使用的上面的命令，Docker 是运行在前台，此时可以按住 Ctrl+C ，退出路由侠，容器也将退出。现在可以使用以下命令将其放入后台持续运行。

docker start lyx

5，现在回到 Windows 这边设备列表，点击右上角的×返回主界面，再次进入，就可以找到这个设备，可以修改名称。

6，回到主界面，点击【内网映射】。

7，注意右上角的设备名称下拉框，这里选中刚刚添加的设备名称，此时在这个界面上添加的映射，就属于刚刚这个设备。添加或修改一般需要等待30秒，容器中的路由侠进程就会更新并加载。切换好设备后，点击【添加映射】。

8，选择【原生端口】。

9，在内网端口里填写端口 8235 后点击【创建】按钮，如下图。

10，创建好后，就可以看到一条映射的公网地址，鼠标右键点击【复制地址】。

11，在外网电脑上，打开浏览器，在地址栏输入从路由侠生成的外网地址，就可以看到内网部署的 Crawlab登录界面了。