可以通过在 airflow.cfg
配置文件中增加 dagbag_size_limit
参数来解决该问题。下面是具体的步骤:
打开 airflow.cfg
配置文件。
找到 dagbag_size_limit
参数,如果不存在,则需要手动添加。
更改 dagbag_size_limit
的值,该值默认为 500,将其增加到需要的大小。例如,将其设置为 1000。
重启 Airflow 服务,或者重新加载 DAG。
示例代码:
[core]
dagbag_size_limit = 1000
在上面的示例中,我们将 dagbag_size_limit
的值设置为 1000 来限制 DAG 的数量。这将允许更长的 dag_id
,并且可以列出更多的 DAG。
请注意,增加 dagbag_size_limit
的值可能会对系统资源产生影响,因此应谨慎考虑更改此设置。