要在BigQuery上使用Dataform,您需要执行以下步骤:
npm install -g @dataform/cli
dataform init
这将在当前目录中创建一个名为"dataform.json"的文件。
"warehouses": {
"myBigQueryWarehouse": {
"type": "bigquery",
"projectId": "your_project_id",
"credentials": {
"type": "service_account",
"project_id": "your_project_id",
"private_key_id": "your_private_key_id",
"private_key": "your_private_key",
"client_email": "your_client_email",
"client_id": "your_client_id",
"auth_uri": "your_auth_uri",
"token_uri": "your_token_uri",
"auth_provider_x509_cert_url": "your_auth_provider_x509_cert_url",
"client_x509_cert_url": "your_client_x509_cert_url"
}
}
}
请确保将上述示例中的"your_project_id"、"your_private_key_id"、"your_private_key"等替换为您的实际BigQuery连接详细信息。
const example = dataform
.declare({
schema: "your_dataset_name",
name: "your_table_name",
})
.query(ctx => `SELECT * FROM your_source_table`);
module.exports = example;
请确保将上述示例中的"your_dataset_name"、"your_table_name"和"your_source_table"替换为您实际的BigQuery数据集、表和源表名称。
dataform run
执行完毕后,您将看到Dataform在BigQuery上运行您的源声明,并创建相应的表。
这是一个简单的示例,帮助您开始在BigQuery上使用Dataform。您可以根据自己的需求和数据架构,进一步定义和使用更复杂的Dataform源声明。