爬虫管理平台 Crawlab v0.4.8 发布

本次更新包括几个部分：

支持界面安装（预装）Python 以外的多种语言环境

更好的安装界面，可以看到多个节点的安装情况

优化 RPC，基于 Redis 延迟队列作为 RPC

更多功能配置

功能 / 优化

支持更多编程语言安装：现在用户可以安装或预装更多的编程语言，包括 Java、.Net Core、PHP.

安装 UI 优化：用户能够更好的查看和管理节点列表页的安装.

更多 Git 支持：允许用户查看 Git Commits 记录，并 Checkout 到相应 Commit.

支持用 Hostname 作为节点注册类型：用户可以将 hostname 作为节点的唯一识别号.

RPC 支持：加入 RPC 支持来更好的管理节点通信.

是否在主节点运行开关：用户可以决定是否在主节点运行，如果为否，则所有任务将在工作节点上运行.

默认禁用教程

加入相关文档侧边栏

加载页面优化

重复节点 #391

重复上传爬虫 #603

节点第三方模块安装失败导致节点安装第三方部分无法使用 #609

离线节点也会创建任务 #622

结果展示

支持其他数据库

可配置爬虫

可配置爬虫支持 Splash

可配置爬虫支持 CrawlSpider

可配置爬虫支持正则表达式字段

可配置爬虫支持转化为自定义爬虫

任务

任务重试机制

定时任务

日历展示

全局

支持版本更新日志展示

服务器

支持终端操作 Docker 镜像

SDK

更多命令支持

插件系统

参考

Github: https://github.com/crawlab-team/crawlab

Demo: https://crawlab.cn/demo

RPC

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。