Apache Nifi:当每行具有不同单元格长度时,将Excel解析为CSV时出现问题。
创始人
2024-09-04 13:30:48
0

如果在将Excel解析为CSV时遇到每行具有不同单元格长度的问题,可以使用Apache Nifi的Record处理器和RecordReader和RecordWriter来解决此问题。以下是一个使用Nifi解决此问题的示例流程:

  1. 使用"GetFile"处理器获取Excel文件。
  2. 使用"ConvertRecord"处理器将Excel文件转换为Record流。
  3. 在"ConvertRecord"处理器中,选择适当的RecordReader和RecordWriter。可以使用"CSVReader"作为RecordReader,以便能够处理具有不同单元格长度的行。
  4. 在"ConvertRecord"处理器中,将"Output Batch Size"属性设置为较大的值,以确保所有记录都被正确读取。
  5. 将"ConvertRecord"处理器的输出连接到"PutFile"处理器,将Record流写入CSV文件。

下面是一个使用Apache Nifi Groovy脚本的示例,用于将Excel解析为CSV:

import org.apache.commons.csv.CSVFormat
import org.apache.commons.csv.CSVPrinter
import org.apache.commons.csv.CSVRecord
import org.apache.nifi.components.PropertyDescriptor
import org.apache.nifi.flowfile.FlowFile
import org.apache.nifi.processor.AbstractProcessor
import org.apache.nifi.processor.ProcessContext
import org.apache.nifi.processor.ProcessSession
import org.apache.nifi.processor.Relationship
import org.apache.nifi.processor.io.InputStreamCallback
import org.apache.nifi.processor.io.OutputStreamCallback

import java.io.IOException
import java.io.InputStream
import java.io.OutputStream
import java.io.InputStreamReader
import java.io.OutputStreamWriter
import java.nio.charset.StandardCharsets
import java.util.ArrayList
import java.util.List

class ExcelToCsvProcessor extends AbstractProcessor {

    private static final PropertyDescriptor DESTINATION_CSV_FILE = new PropertyDescriptor.Builder()
            .name("Destination CSV file")
            .description("The destination CSV file to write the converted data.")
            .required(true)
            .addValidator(StandardValidators.NON_EMPTY_VALIDATOR)
            .build()

    private static final Relationship SUCCESS = new Relationship.Builder()
            .name("success")
            .description("Successfully converted Excel to CSV.")
            .build()

    private static final Relationship FAILURE = new Relationship.Builder()
            .name("failure")
            .description("Failed to convert Excel to CSV.")
            .build()

    @Override
    public List getSupportedPropertyDescriptors() {
        return [DESTINATION_CSV_FILE]
    }

    @Override
    public Set getRelationships() {
        return [SUCCESS, FAILURE]
    }

    @Override
    public void onTrigger(ProcessContext context, ProcessSession session) throws IOException {
        FlowFile flowFile = session.get()
        if (flowFile == null) {
            return
        }

        String destinationCsvFile = context.getProperty(DESTINATION_CSV_FILE).getValue()

        session.read(flowFile, new InputStreamCallback() {
            @Override
            void process(InputStream inputStream) throws IOException {
                List csvRecords = parseExcel(inputStream)

                if (!csvRecords.isEmpty()) {
                    session.write(flowFile, new OutputStreamCallback() {
                        @Override
                        void process(OutputStream outputStream) throws IOException {
                            writeCsv(csvRecords, outputStream)
                        }
                    })

                    session.transfer(flowFile, SUCCESS)
                } else {
                    session.transfer(flowFile, FAILURE)
                }
            }
        })
    }

    private List parseExcel(InputStream inputStream) throws IOException {
        List csvRecords = []

        Iterable records = CSVFormat.EXCEL.parse(new InputStreamReader(inputStream, StandardCharsets.UTF_8))
        for (CSVRecord record : records) {
            csvRecords.add(record)
        }

        return csvRecords
    }

    private void writeCsv(List csvRecords, OutputStream outputStream) throws IOException {
        CSVPrinter csvPrinter = new CSVPrinter(new OutputStreamWriter(outputStream, StandardCharsets.UTF_8), CSVFormat.EXCEL)

        for (CSVRecord record : csvRecords) {
            csvPrinter.printRecord(record)
        }

        csvPrinter.flush()
        csvPrinter.close()
    }
}

将此脚本保存为ExcelToCsvProcessor.groovy,并将其部署到Apache Nifi中。然后,您可以在Nifi中创建一个处理组,添加"GetFile"处理器来获取Excel文件,然后添加一个自定义处理器,选择ExcelToCsvProcessor,并配置目标CSV文件的路径。最后,将自定义处理器的输出连接到"PutFile"处理器,将Record流写入CSV文件。

这个示例

相关内容

热门资讯

安装apache-beam==... 出现此错误可能是因为用户的Python版本太低,而apache-beam==2.34.0需要更高的P...
避免在粘贴双引号时向VS 20... 在粘贴双引号时向VS 2022添加反斜杠的问题通常是由于编辑器的自动转义功能引起的。为了避免这个问题...
Android Recycle... 要在Android RecyclerView中实现滑动卡片效果,可以按照以下步骤进行操作:首先,在项...
omi系统和安卓系统哪个好,揭... OMI系统和安卓系统哪个好?这个问题就像是在问“苹果和橘子哪个更甜”,每个人都有自己的答案。今天,我...
原生ios和安卓系统,原生对比... 亲爱的读者们,你是否曾好奇过,为什么你的iPhone和安卓手机在操作体验上有着天壤之别?今天,就让我...
Android - 无法确定任... 这个错误通常发生在Android项目中,表示编译Debug版本的Java代码时出现了依赖关系问题。下...
Android - NDK 预... 在Android NDK的构建过程中,LOCAL_SRC_FILES只能包含一个项目。如果需要在ND...
Akka生成Actor问题 在Akka框架中,可以使用ActorSystem对象生成Actor。但是,当我们在Actor类中尝试...
Agora-RTC-React... 出现这个错误原因是因为在 React 组件中使用,import AgoraRTC from “ago...
Alertmanager在pr... 首先,在Prometheus配置文件中,确保Alertmanager URL已正确配置。例如:ale...