问题描述: 使用Airflow时,可能会遇到Databricks连接类型未显示的情况。这可能是由于Databricks连接类型的插件未正确安装或配置而导致的。解决此问题需要进行以下步骤:
pip install apache-airflow-providers-databricks
from airflow.models.connection import Connection from airflow import settings
conn_id = "databricks_conn"
conn_type = "databricks"
host = "https://
new_conn = Connection( conn_id=conn_id, conn_type=conn_type, host=host, extra={"token": login} )
session = settings.Session() session.add(new_conn) session.commit()
注意:上面代码片段中的Databricks连接类型名称必须是“databricks”,否则将无法正常显示在Airflow的连接类型选项中。
完成上述步骤后,重新启动Airflow并打开连接创建页面。此时应该可以看到Databricks连接类型已经正确显示。