Airflow GCSToGCSOperator是一个Airflow库中的Operator,用于将Google Cloud Storage(GCS)中的文件复制到另一个GCS存储桶中。它还可以使用正则表达式来指定要复制的文件。下面是如何使用正则表达式的示例代码:
from airflow.contrib.operators.gcs_to_gcs import GCSToGCSOperator
operator = GCSToGCSOperator(
task_id='gcs_to_gcs_task',
source_bucket='my-source-bucket',
source_object='file-*.txt', # 使用正则表达式指定要复制的文件
destination_bucket='my-destination-bucket',
destination_object='file.txt'
)
在上面的代码中,source_object
参数使用正则表达式file-*.txt
来匹配所有以file-
开头且以.txt
结尾的文件。
如果你想更改正则表达式,只需修改source_object
参数即可。
当运行任务时,指定的文件将被复制到目标存储桶中。