Apache NiFi:通过比较多行具有不同数据的方式创建新列
创始人
2024-09-04 13:31:28
0

要通过比较多行具有不同数据的方式创建新列,可以使用Apache NiFi中的EvaluateJsonPath处理器和ExecuteScript处理器。下面是一个使用Python脚本的解决方法示例:

  1. 配置EvaluateJsonPath处理器:

    • 将EvaluateJsonPath处理器添加到NiFi流程中。
    • 配置JsonPath表达式来提取需要比较的数据字段,并使用属性名称存储提取的值。例如,可以使用$.data.field1$.data.field2分别提取两个字段的值。
    • 将提取的值存储在属性中,以便在后续步骤中使用。
  2. 配置ExecuteScript处理器:

    • 将ExecuteScript处理器添加到NiFi流程中,并将其连接到EvaluateJsonPath处理器。
    • 配置Script Engine为Python。
    • 编写以下Python脚本来进行比较并创建新列:
import json

flowFile = session.get()
if flowFile is not None:
    try:
        # 获取EvaluateJsonPath处理器中提取的属性值
        field1 = flowFile.getAttribute('field1')
        field2 = flowFile.getAttribute('field2')
        
        # 比较字段值并创建新列
        if field1 == field2:
            new_column = 'same'
        else:
            new_column = 'different'
        
        # 将新列添加到JSON数据中
        json_data = json.loads(flowFile.getAttribute('json'))
        json_data['new_column'] = new_column
        
        # 将更新后的JSON数据写回流文件
        flowFile = session.putAttribute(flowFile, 'json', json.dumps(json_data))
        
        session.transfer(flowFile, REL_SUCCESS)
    except Exception as e:
        # 处理异常情况
        log.error(str(e))
        session.transfer(flowFile, REL_FAILURE)
  1. 配置连接:
    • 将ExecuteScript处理器连接到下一个处理器(例如PutFile)以便将结果写入文件或其他目标。
    • 配置连接的成功和失败关系。

这样,当流文件通过流程时,EvaluateJsonPath处理器将提取的字段值存储在属性中,然后ExecuteScript处理器将使用Python脚本进行比较并创建新列,并将更新后的JSON数据写回流文件。最后,流文件将传输到下一个处理器进行进一步处理或写入目标。

相关内容

热门资讯

安卓换鸿蒙系统会卡吗,体验流畅... 最近手机圈可是热闹非凡呢!不少安卓用户都在议论纷纷,说鸿蒙系统要来啦!那么,安卓手机换上鸿蒙系统后,...
app安卓系统登录不了,解锁登... 最近是不是你也遇到了这样的烦恼:手机里那个心爱的APP,突然就登录不上了?别急,让我来帮你一步步排查...
安卓系统拦截短信在哪,安卓系统... 你是不是也遇到了这种情况:手机里突然冒出了很多垃圾短信,烦不胜烦?别急,今天就来教你怎么在安卓系统里...
安卓系统要维护多久,安卓系统维... 你有没有想过,你的安卓手机里那个陪伴你度过了无数日夜的安卓系统,它究竟要陪伴你多久呢?这个问题,估计...
windows官网系统多少钱 Windows官网系统价格一览:了解正版Windows的购买成本Windows 11官方价格解析微软...
安卓系统如何卸载app,轻松掌... 手机里的App越来越多,是不是感觉内存不够用了?别急,今天就来教你怎么轻松卸载安卓系统里的App,让...
怎么复制照片安卓系统,操作步骤... 亲爱的手机控们,是不是有时候想把自己的手机照片分享给朋友,或者备份到电脑上呢?别急,今天就来教你怎么...
安卓系统应用怎么重装,安卓应用... 手机里的安卓应用突然罢工了,是不是让你头疼不已?别急,今天就来手把手教你如何重装安卓系统应用,让你的...
iwatch怎么连接安卓系统,... 你有没有想过,那款时尚又实用的iWatch,竟然只能和iPhone好上好?别急,今天就来给你揭秘,怎...
iphone系统与安卓系统更新... 最近是不是你也遇到了这样的烦恼?手机更新系统总是失败,急得你团团转。别急,今天就来给你揭秘为什么iP...