要使用AWS CLI和Bash将包含JSON的多个文件放入AWS Kinesis Firehose,可以按照以下步骤进行操作:
确保已安装并配置了AWS CLI。如果尚未安装,请按照AWS CLI文档中的说明进行安装和配置。
创建一个包含要上传的JSON文件的目录。假设该目录名为json_files。
在Bash中创建一个脚本文件,比如upload_to_firehose.sh,并将以下代码添加到脚本中:
#!/bin/bash
stream_name="your_firehose_stream_name"
bucket_name="your_s3_bucket_name"
prefix="optional_prefix_for_s3_objects"
for file in json_files/*.json; do
echo "Uploading $file"
aws s3 cp $file s3://$bucket_name/$prefix$(basename $file)
done
echo "Triggering Kinesis Firehose delivery"
aws firehose put-record-batch --delivery-stream-name $stream_name --records file://json_files/records.json
将your_firehose_stream_name替换为您的Kinesis Firehose流的名称。
将your_s3_bucket_name替换为包含上传文件的S3存储桶的名称。
如果需要,在optional_prefix_for_s3_objects中添加一个可选的S3对象前缀。
将json_files文件夹中的.json文件替换为要上传的实际JSON文件。
保存并关闭脚本文件。
在终端中导航到包含脚本文件的目录,并运行以下命令以授予脚本执行权限:
chmod +x upload_to_firehose.sh
./upload_to_firehose.sh