当您在BigQuery上传作业时遇到“负载部分计数错误”的错误,通常是由于负载部分的数量超过了BigQuery的限制。
解决此问题的方法是在上传作业时减少负载部分的数量或大小。以下是一些解决方法的代码示例:
from google.cloud import bigquery
client = bigquery.Client()
# 创建一个空的负载部分列表
load_job = client.load_table_from_uri(
uris=["gs://bucket/file1.csv", "gs://bucket/file2.csv"],
destination="project_id.dataset.table",
)
# 设置负载部分的数量限制
load_job.source_format = bigquery.SourceFormat.CSV
load_job.max_bad_records = 100 # 设置允许的错误记录数
load_job.max_files_per_partition = 100 # 设置每个分区的最大文件数
# 执行作业
load_job.result()
from google.cloud import bigquery
client = bigquery.Client()
# 创建一个空的负载部分列表
load_job = client.load_table_from_uri(
uris=["gs://bucket/file1.csv", "gs://bucket/file2.csv"],
destination="project_id.dataset.table",
)
# 设置负载部分的大小限制
load_job.source_format = bigquery.SourceFormat.CSV
load_job.max_bad_records = 100 # 设置允许的错误记录数
load_job.max_bytes_per_partition = 1000000000 # 设置每个分区的最大字节数
# 执行作业
load_job.result()
请根据您的具体需求选择适当的解决方法,并根据您的具体情况调整代码示例中的参数值。