当Airflow: GoogleCloudStorageToBigQueryOperator任务执行时,出现'ValueError: Could not convert string to float”错误时,可能是由于源数据中包含非数字的值。为了解决这个问题,可以使用BigQuery Operator执行以下步骤:
from airflow.contrib.operators.bigquery_operator import BigQueryOperator
task = BigQueryOperator(
task_id='bq_operator',
sql='SELECT * FROM `my_dataset.short_data`',
destination_dataset_table='my_dataset.my_table',
write_disposition='WRITE_TRUNCATE')
task.execute(context={})
此外,也可以通过以下步骤解决上述问题:
上一篇:Airflow:chainingtasksinparallel
下一篇:Airflow:Kubernetes:权限拒绝,[require-container-resources-constraints]