阿狸下载为您提供安全的软件下载!

当前位置:首页 > 软件下载 > 其他软件 > 编程开发 > Crawlab_Crawlab下载|CrawlabV0.5.1版

Crawlab_Crawlab下载|CrawlabV0.5.1版

分享到:

  Crawlab是一款软件站2020年全新为您搜集整理的软件,融合了全网最新的软件版本,给您带来最愉快的软件下载体验。下面是本站推荐的Crawlab软件的下载地址,请您放心下载!

 

  Crawlab是一款功能强劲且占用体积小的基于Golang的分布式爬虫管理平台,支持多种类型等编程语言,可以执行爬虫任务和储存抓取数据与日志,功能十分的全面,操作简单,有需要的用户本站免费下载。

 

  软件介绍

 

  Crawlab这款分布式爬虫管理平台,架构包括了一个主节点(Master Node)和多个工作节点(Worker Node),以及负责通信和数据储存的Redis和MongoDB数据库,主节点负责与前端应用进行通信,工作节点的主要功能是执行爬虫任务和储存抓取数据与日志,MongoDB储存有节点、爬虫、任务、定时任务等数据,下面我们详细介绍一下,一起来看看吧~

 

  软件说明

 

  Crawlab架构:

 

  Crawlab的架构包括了一个主节点(Master Node)和多个工作节点(Worker Node),以及负责通信和数据储存的Redis和MongoDB数据库。

 

  前端应用向主节点请求数据,主节点通过MongoDB和Redis来执行任务派发调度以及部署,工作节点收到任务之后,开始执行爬虫任务,并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简,去除了不必要的节点监控模块Flower,节点监控主要由Redis完成。

 

  主节点

 

  主节点是整个Crawlab架构的核心,属于Crawlab的中控系统。主节点负责与前端应用进行通信,并通过Redis将爬虫任务派发给工作节点。同时,主节点会同步(部署)爬虫给工作节点,通过Redis和MongoDB的GridFS。

 

  工作节点

 

  工作节点的主要功能是执行爬虫任务和储存抓取数据与日志,并且通过Redis的PubSub跟主节点通信。通过增加工作节点数量,Crawlab可以做到横向扩展,不同的爬虫任务可以分配到不同的节点上执行。

 

  MongoDB

 

  MongoDB是Crawlab的运行数据库,储存有节点、爬虫、任务、定时任务等数据,另外GridFS文件储存方式是主节点储存爬虫文件并同步到工作节点的中间媒介。

 

  Redis

 

  Redis是非常受欢迎的Key-Value数据库,在Crawlab中主要实现节点间数据通信的功能。例如,节点会将自己信息通过HSET储存在Redis的nodes哈希列表中,主节点根据哈希列表来判断在线节点。

 

  前端

 

  前端是一个基于Vue-Element-Admin的单页应用。其中重用了很多Element-UI的控件来支持相应的展示。

展开更多

软件截图

Crawlab(分布式爬虫管理平台)PC版下载地址

最新软件推荐

本地下载方式 其他下载方式

最新资讯

  • 如果出行找不到路,那就下载百度地图这款苹果软件
    如果出行找不到路,那就下载百度地图这款苹果软件

    现在人的生活水平提高了,动不动就会来一场说走就走的旅行。如果去到一个陌生的城市就容易迷路,找不到吃饭的地方,甚至是找不到酒店在哪里,这时候就非常的困难了。好在现在有像百度地图这样的苹果软件,可以规定最短路线,可以时刻链接周边美食所在地。接下来说一下技巧。 最近的旅游景点 如果出差刚刚有时间,想去周围逛一逛的话,就可以使用百度地图。打开百度地图然后往上刷,消耗就会出现附近比较火的地方,附近的人都喜欢去的地方,然后就可以浏览确认想去的地方。 如果都不符合心意的话,可以点击为你精选好去处下面的蓝色字体精选好去处...

  • 爱玩音乐的朋友看过来,苹果软件中的必备软件
    爱玩音乐的朋友看过来,苹果软件中的必备软件

    社会不断在变化,每个年代的人喜欢的东西都不相同,就拿最常见又最时髦的音乐来说,爷爷奶奶喜欢听戏曲、相声,爸爸妈妈喜欢听邓丽君、李宗盛;现在的大部分年轻人喜欢的音乐更是五花八门,喜欢听音乐的同时还能利用各类软件制作音乐,库乐队就是一款可以制作音乐的苹果软件。 1、大家最关心的问题,库乐队是一款免费的苹果软件吗? 库乐队一直都是一款免费开源的软件,使用苹果手机的用户可以通过APP Store下载安装,使用起来非常方便,简单易学,喜欢自己动手制作音乐的朋友,可以利用这款手机软件进行制作。 2、苹果软件中的库乐队...

  • 苹果发布iOS 14.1系统:iPhone 12系列将预装上市
    苹果发布iOS 14.1系统:iPhone 12系列将预装上市

    发布新iPhone的同时,苹果自然也没忘记推送新的iOS系统。 据外媒最新报道称,苹果在发布会结束后就直接推送了iOS 14.1系统(版本号是18A8395),一同进行的还有 iPadOS 14.1。 目前可以肯定的是, iPhone 12 mini、iPhone 12、iPhone 12 Pro和iPhone 12 Pro Max首先上市的机型,会直接预装iOS 14.1系统。 据外媒的报道,iOS 14.1系统并没有什么新功能加入,主要是修复了一些Bug,同时提高了系统的稳定性,而从命名上也能看出来。...

  • 你知道爱思助手这款电脑软件吗?知道它的用途吗?
    你知道爱思助手这款电脑软件吗?知道它的用途吗?

    如果你是从来没用过或没买过苹果手机的人,那你应该就没听说过爱思助手这款电脑软件了,这款软件知道的人并不多,毕竟是一款辅助管理功能的电脑软件。有些人买二手苹果手机的时候,经常会看到那些闲鱼卖家说爱思全绿,放心购买。 所谓的爱思全绿指的就是爱思助手这款电脑软件,它是用来检测苹果手机的信息和一些数据。所以有些想买二手苹果手机的人会知道这款电脑软件,他们在买二手苹果手机时就怕卖家不靠谱,手机是拆修过或换过里面的元件,因此会要求爱思全绿。 爱思助手在哪里可以下载呢? 在百度里搜索爱思助手,然后它这个电脑软件是有官网...

  • 安卓软件美团除了定外卖之外还能够做什么?这些操作能够为生活提供便利
    安卓软件美团除了定外卖之外还能够做什么?这些操作能够为生活提供便利

    如果你要问小编目前比较受欢迎的外卖软件有什么,那么除了饿了么之外美团绝对是数一数二的。随着外卖业的发达加上人们生活水平的提升,不少的人都会通过安卓软件美团来点外卖吃,一来是不需要自己跑去买,二来则是不需要自己做饭,但是其实美团除了定外卖之外还有很多的功能,小编今天就给大家讲一讲美团其他的好处。 一、优惠券 其实安卓软件美团最开始出名并不是因为外卖,而是因为它的优惠券,通过美团,能够购买到不少的优惠券,这些优惠券比起去店里面消费会优惠不少,而且除了美食的优惠券之外还有娱乐的优惠券,品种多样。同时如果购买了之...

  • 猫眼苹果软件买电影票经验分享:座椅的位置选择哪里更舒适?
    猫眼苹果软件买电影票经验分享:座椅的位置选择哪里更舒适?

    在工作的闲暇之余,人们喜欢去电影院观看最新的电影,在男孩女孩约会时,电影院也是一个约会圣地,超大的屏幕,立体的音效给人无与伦比的观影体会。那么电影院座椅的位置应该如何选择呢?猫眼苹果软件买电影票经验分享: 猫眼苹果软件买电影票经验分享:1:不能选择最前方几排的座椅。 有人可能认为距离屏幕越近越好,显然这是错误的。因为坐在前排时,屏幕在你的斜上方,就像在教室上课时坐第一排需要仰着脖子看黑板一样。一场电影需要的时间大概两个小时,那么你就需要仰着脖子看电影两个小时,脖颈会非常酸痛。所以不能选择前排的电影院座椅。...