可以在LOAD_JOB中使用ALLOWJAGGEDROWS和MAXBADRECORDS选项来处理这个问题。
在ALLOWJAGGEDROWS选项为true时,如果某一行数据的数组元素数量与先前行不同,该行数据就会被丢弃而不是引发错误。在MAXBADRECORDS选项为一个非负整数时,可以限制最多允许出现的错误行数,超过后就会放弃导入整个文件。
代码示例:
bq load \
--source_format=CSV \
--allow_jagged_rows \
--max_bad_records=10 \
mydataset.mytable \
gs://mybucket/myfile.csv \
schema.json