AWS上大型Excel文件的批处理超时问题。
创始人
2024-09-27 07:01:37
0

可以使用 AWS Lambda 函数、Amazon S3 存储桶和 AWS Step Functions 执行以下操作:

  1. 将 Excel 文件上传到 AWS S3 存储桶。

  2. 创建一个 AWS Lambda 函数,该函数将读取预定的 S3 存储桶中的 Excel 文件,并将其拆分为单个任务以进行并行处理。

  3. 使用 AWS Step Functions 构建有序工作流,以在 AWS Lambda 函数的并行任务处理期间跟踪进度,并将任务状态存储到 Amazon DynamoDB 数据库中。

  4. 启用 AWS Step Functions 超时策略,以在预定义的时间段内检查并处理 Excel 文件的进度状态。

  5. 利用 AWS Lambda 函数和 Amazon S3 存储桶删除进度状态管理的数据库条目和拆分的单个任务。

以下是使用 Node.js 编写的 AWS Lambda 函数代码示例,用于并行处理 Excel 文件中的数据:

const XLSX = require('xlsx');
const AWS = require('aws-sdk');

const s3 = new AWS.S3();
const db = new AWS.DynamoDB.DocumentClient();

exports.handler = async (event, context) => {

    const { bucket, key } = event;
    const { lineStart, lineEnd } = event; // Optional parameters for specifying rows to work in.

    try {
        const s3Response = await s3.getObject({ Bucket: bucket, Key: key }).promise();
        const workbook = XLSX.read(s3Response.Body, { type: 'buffer' });
        const worksheet = workbook.Sheets[workbook.SheetNames[0]];
        const rows = XLSX.utils.sheet_to_json(worksheet, { range: `${lineStart || worksheet['!ref'].split(':')[0]}:${lineEnd || worksheet['!ref'].split(':')[1]}` });

        const chunkSize = parseInt(process.env.CHUNK_SIZE);
        const chunks = Math.ceil(rows.length / chunkSize);
        for (let i = 0; i < chunks; i++) {
            const start = i * chunkSize;

相关内容

热门资讯

安卓换鸿蒙系统会卡吗,体验流畅... 最近手机圈可是热闹非凡呢!不少安卓用户都在议论纷纷,说鸿蒙系统要来啦!那么,安卓手机换上鸿蒙系统后,...
app安卓系统登录不了,解锁登... 最近是不是你也遇到了这样的烦恼:手机里那个心爱的APP,突然就登录不上了?别急,让我来帮你一步步排查...
安卓系统拦截短信在哪,安卓系统... 你是不是也遇到了这种情况:手机里突然冒出了很多垃圾短信,烦不胜烦?别急,今天就来教你怎么在安卓系统里...
安卓系统要维护多久,安卓系统维... 你有没有想过,你的安卓手机里那个陪伴你度过了无数日夜的安卓系统,它究竟要陪伴你多久呢?这个问题,估计...
windows官网系统多少钱 Windows官网系统价格一览:了解正版Windows的购买成本Windows 11官方价格解析微软...
安卓系统如何卸载app,轻松掌... 手机里的App越来越多,是不是感觉内存不够用了?别急,今天就来教你怎么轻松卸载安卓系统里的App,让...
怎么复制照片安卓系统,操作步骤... 亲爱的手机控们,是不是有时候想把自己的手机照片分享给朋友,或者备份到电脑上呢?别急,今天就来教你怎么...
安卓系统应用怎么重装,安卓应用... 手机里的安卓应用突然罢工了,是不是让你头疼不已?别急,今天就来手把手教你如何重装安卓系统应用,让你的...
iwatch怎么连接安卓系统,... 你有没有想过,那款时尚又实用的iWatch,竟然只能和iPhone好上好?别急,今天就来给你揭秘,怎...
iphone系统与安卓系统更新... 最近是不是你也遇到了这样的烦恼?手机更新系统总是失败,急得你团团转。别急,今天就来给你揭秘为什么iP...