在Airflow的BigQueryOperator中,可以使用“schema_fields”参数指定数据表的模式,也可以使用“create_disposition”参数指定是否自动创建模式。以下是使用“schema_fields”参数手动定义模式的示例代码:
from airflow.contrib.operators.bigquery_operator import BigQueryOperator
create_table = BigQueryOperator( task_id='create_table', sql='CREATE TABLE my_dataset.my_table ( name STRING, age INT64, gender STRING )', use_legacy_sql=False, bigquery_conn_id='my_bigquery_connection', create_disposition='CREATE_IF_NEEDED', schema_fields=[ {'name': 'name', 'type': 'STRING'}, {'name': 'age', 'type': 'INT64'}, {'name': 'gender', 'type': 'STRING'}, ], dag=my_dag )