airflow分布式部署踩坑记录之其他篇<3>

xiaoxiao2021-03-01  5

Q1:怎么进行分布式部署? airflow celery采用的是消息队列的方式生产任务,分发任务和执行任务,所以想要进行分布式部署,只需要在不同机器上部署完全一样的airflow服务,在borker节点上开启airflow的webserver,scheduler,flower服务以及mysql服务和rabbitMQ服务,在其他机器上设置和borker节点上相同的配置信息,并且只开启worker服务。

Q2启用访问认证?

安装用户管理插件 user_management 插件地址 https://github.com/teamclairvoyant/airflow-user-management-plugin 使用插件添加用户名和邮箱以及密码添加配置开启登陆认证 vim AIRFLOW_HOME/airflow.cfg [webserver] authenticate = True auth_backend = airflow.contrib.auth.backends.password_auth 重新启动airflow服务,登陆即可遇到ValueError: too many values to unpack的错误是因为sqlalchemy模块的问题 执行pip install -U'sqlalchemy==1.1.18'即可解决

怎么添加添加celery的其他配置?(明天补)

转载请注明原文地址: https://www.6miu.com/read-3650186.html

最新回复(0)