气流:何时使用celery 执行器和何时使用中胚层执行器

yhqotfr8  于 2021-06-26  发布在  Mesos
关注(0)|答案(4)|浏览(314)

我是一个新的气流,并试图了解如何在我们的环境中设置它(在aws上)。
我读过气流用celery 和redis broker。它与mesos有何不同?我以前没用过celery ,但我试着在我的开发机器上设置celery redis,它工作起来很轻松。但添加新组件意味着添加更多监控。
因为我们已经使用mesos进行集群管理,所以我想如果我不选择celery ,而是使用mesosexecutor,我会错过什么呢?

u0njafvf

u0njafvf1#

对我们来说,中胚层切除器不能用。我们需要一个抽象级别来处理作业的依赖关系,我们不能(也不应该)依赖于任何安装在mesos从属服务器上的依赖关系。当docker容器和/或mesos容器将由mesosexecutor支持时,我们可以转向它。而且,我喜欢看到马拉松里面分配的工人。我正在研究如何自动缩放马拉松的工人。

cunj1qz1

cunj1qz12#

使用celery 是目前比较成熟/稳定的方法。
对我们来说,使用容器管理依赖项比管理mesos示例上的依赖项更方便,如果选择mesosexecutor就是这种情况。因此,我们发现celery 更灵活。
我们目前正在使用celery +rabbitmq,但我们将切换到mesosexecutor在未来,虽然我们的代码库稳定。

pb3s4cty

pb3s4cty3#

celeryexecuter不一定需要使用redis代理。celery可以使用的任何代理都与airflow兼容,不过建议使用rabbitmq代理或redis代理。
celery 和中celery 很不一样。虽然气流也支持mesosexecutor,但如果您计划分配工人,建议使用celeryexecutor。据我所知,airbnb使用celeryexecutor并积极维护它。

p8ekf7hl

p8ekf7hl4#

mesosexecutor目前仍处于实验阶段,不支持运行docker容器,每个任务有不同的资源限制,可能还有许多其他限制。
不过,我计划对此进行研究,这是一项社区工作,而且在部署mesos集群方面花费了一些精力,我觉得添加celery 和另一个mq代理是浪费资源。

相关问题