草庐下载

Crawlab(分布式爬虫管理平台) v0.5.1免费版

2023-07-21
  • 软件大小：1.1M
  • 更新日期：2020/9/30
  • 软件语言：简体
  • 软件类别：源码相关
  • 软件授权：免费软件
  • 软件官网：
  • 适用平台：WinAll

Crawlab是基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架，分为Docker、直接部署、Kubernetes三种安装方式。

Crawlab是基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架，分为Docker、直接部署、Kubernetes三种安装方式！

软件介绍

　　Crawlab架构：

　　Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。

　　前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。

　　主节点

　　主节点是整个Crawlab架构的核心，属于Crawlab的中控系统。主节点负责与前端应用进行通信，并通过Redis将爬虫任务派发给工作节点。同时，主节点会同步（部署）爬虫给工作节点，通过Redis和MongoDB的GridFS。

　　工作节点

　　工作节点的主要功能是执行爬虫任务和储存抓取数据与日志，并且通过Redis的PubSub跟主节点通信。通过增加工作节点数量，Crawlab可以做到横向扩展，不同的爬虫任务可以分配到不同的节点上执行。

　　MongoDB

　　MongoDB是Crawlab的运行数据库，储存有节点、爬虫、任务、定时任务等数据，另外GridFS文件储存方式是主节点储存爬虫文件并同步到工作节点的中间媒介。

　　Redis

　　Redis是非常受欢迎的Key-Value数据库，在Crawlab中主要实现节点间数据通信的功能。例如，节点会将自己信息通过HSET储存在Redis的nodes哈希列表中，主节点根据哈希列表来判断在线节点。

　　前端

　　前端是一个基于Vue-Element-Admin的单页应用。其中重用了很多Element-UI的控件来支持相应的展示。

点击下载
编程开发源码相关

有关Crawlab(分布式爬虫管理平台) v0.5.1免费版的更多相关下载软件

  1. 天博体育是黑平台吗APP(官方)下载安装安卓/苹果通用v12.10.tb - 2

    类型：生活服务版本：大小：106M更新：2024/02/2812:40语言：简体等级：官网：暂无作者：暂无【需要搜索这个官方app的朋友，请加专员微信号：k83054 或者扫码 关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠天博体育是黑平台吗版软件的简介如下首先很高兴介绍这款2024年的天博体育是黑平台吗软件最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，天博体育是黑平台吗软件最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家信任和下载 接下来是下载的流

  2. 足球水位分析软件免费APP(官方)下载安装安卓/苹果通用v12.4.zq - 2

    类型：生活服务版本：大小：106M更新：2024/02/2616:14语言：简体等级：官网：暂无作者：暂无需要搜索这个官方app的朋友，请加专员微信号：d59847  或者扫码关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠，免费看高清体育赛事直播首先很高兴介绍这款2024年的足球水位分析软件免费版本下载官网手机登录版最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，足球水位分析软件免费版本下载官网手机登录版最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家

  3. 荷甲买球平台APP(官方)下载安装安卓/苹果通用v12.10.hj - 2

    类型：生活服务版本：大小：106M更新：2024/02/2621:27语言：简体等级：官网：暂无作者：暂无【需要搜索这个官方app的朋友，请加专员微信号：b58027  或者扫码 关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠荷甲买球平台版软件的简介如下首先很高兴介绍这款2024年的荷甲买球平台软件最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，荷甲买球平台软件最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家信任和下载 接下来是下载的流程，简单介绍给大

  4. 荷甲竞猜平台APP(官方)下载安装安卓/苹果通用v12.10.hj - 2

    类型：生活服务版本：大小：106M更新：2024/02/2621:33语言：简体等级：官网：暂无作者：暂无【需要搜索这个官方app的朋友，请加专员微信号：b58027  或者扫码 关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠荷甲竞猜平台版软件的简介如下首先很高兴介绍这款2024年的荷甲竞猜平台软件最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，荷甲竞猜平台软件最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家信任和下载 接下来是下载的流程，简单介绍给大

  5. 荷甲竞猜押注平台APP(官方)下载安装安卓/苹果通用v12.10.hj - 2

    类型：生活服务版本：大小：106M更新：2024/02/2621:36语言：简体等级：官网：暂无作者：暂无【需要搜索这个官方app的朋友，请加专员微信号：b58027  或者扫码 关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠荷甲竞猜押注平台版软件的简介如下首先很高兴介绍这款2024年的荷甲竞猜押注平台软件最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，荷甲竞猜押注平台软件最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家信任和下载 接下来是下载的流程，

  6. 荷甲竞猜押注平台有哪些APP(官方)下载安装安卓/苹果通用v12.10.hj - 2

    类型：生活服务版本：大小：106M更新：2024/02/2621:39语言：简体等级：官网：暂无作者：暂无【需要搜索这个官方app的朋友，请加专员微信号：b58027  或者扫码 关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠荷甲竞猜押注平台有哪些版软件的简介如下首先很高兴介绍这款2024年的荷甲竞猜押注平台有哪些软件最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，荷甲竞猜押注平台有哪些软件最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家信任和下载 接

  7. 荷甲竞猜押注平台下载APP(官方)下载安装安卓/苹果通用v12.10.hj - 2

    类型：生活服务版本：大小：106M更新：2024/02/2621:43语言：简体等级：官网：暂无作者：暂无【需要搜索这个官方app的朋友，请加专员微信号：b58027  或者扫码 关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠荷甲竞猜押注平台下载版软件的简介如下首先很高兴介绍这款2024年的荷甲竞猜押注平台下载软件最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，荷甲竞猜押注平台下载软件最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家信任和下载 接下来是

  8. 欧会杯买球平台APP(官方)下载安装安卓/苹果通用v12.4.lh - 2

    类型：生活服务版本：大小：106M更新：2024/02/2520:36语言：简体等级：官网：暂无作者：暂无【需要搜索这个官方app的朋友，请加专员微信号：d59847 或者扫码 关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠欧会杯买球平台版软件的简介如下首先很高兴介绍这款2024年的欧会杯买球平台软件最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，欧会杯买球平台软件最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家信任和下载 接下来是下载的流程，简单介绍

  9. 欧会杯竞猜平台APP(官方)下载安装安卓/苹果通用v12.4.lh - 2

    类型：生活服务版本：大小：106M更新：2024/02/2520:47语言：简体等级：官网：暂无作者：暂无【需要搜索这个官方app的朋友，请加专员微信号：d59847 或者扫码 关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠猜平台版软件的简介如下首先很高兴介绍这款2024年的欧会杯竞猜平台软件最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，欧会杯竞猜平台软件最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家信任和下载 接下来是下载的流程，简单介绍给大家！

  10. 欧会杯竞猜押注平台APP(官方)下载安装安卓/苹果通用v12.4.lh - 2

    类型：生活服务版本：大小：106M更新：2024/02/2520:52语言：简体等级：官网：暂无作者：暂无【需要搜索这个官方app的朋友，请加专员微信号：d59847 或者扫码 关注（微信公众号：足球评论员大罗）免费获取每日赛事超高胜率推荐，免费5串1预测，比分预测等】免费获取平台红包，注册大礼等优惠欧会杯竞猜押注平台版软件的简介如下首先很高兴介绍这款2024年的欧会杯竞猜押注平台软件最新版软件app给大家，这是一款亲测安全靠谱的软件，有非常广泛的用户基础，欧会杯竞猜押注平台软件最新版后有24小时在线客服为您解答任何需要的问题，多年来以优质的服务立足于市场，值得大家信任和下载 接下来是下载的流

随机推荐