Crawlab Lite  - 爬虫管理平台

Dicke 29天前

Crawlab 的轻量版本,基于 Golang 的爬虫管理平台,支持任意语言编写的爬虫。

相比较 Crawlab,该版本专注于单机上的爬虫管理,平台运行不依赖任何的外部数据库,去除了大量非必要功能。

快速开始

Docker Compose

1. 在任意目录下创建 docker-compose.yml,内容如下:

version: '3'
services:
  master:
    image: zkqiang/crawlab-lite:latest
    container_name: master
    ports:
      - "8080:8080"

2. 在目录下运行命令:

docker-compose up -d

3. 访问 http://localhost:8080

源代码

1. 克隆仓库

git clone https://github.com/crawlab-team/crawlab-lite
cd crawlab-lite

2. 运行后端

cd backend
go run main.go

3. 运行前端

cd ../frontend
npm i && npm run serve

4. 访问 http://localhost:8080

截图

爬虫列表

任务列表

定时列表

    公告

    《从零开始开发BBS》课程上线啦,快来跟着我一步步搭建属于你的BBS吧。

    课程地址:https://www.shiyanlou.com/courses/1436
    9折优惠邀请码: ZHwfIjb1

    该课程会带领大家一步步的了解并熟悉Go语言开发,如果你是一个Go语言初学者,或者正准备学习Go语言,那么这个课程非常适合你。如果你熟练掌握了本课程中的知识点,相信你就已经入门Go语言开发,并能胜任日常的开发工作了。