ApacheNifi发布Kafka时出现超时异常
-
调整Kafka生产者的超时时间 在Nifi中，可以通过更改Kafka生产者的配置来调整超时时间。在控制面板中，选择“Controller Services”并找到您正在使用的Kafka生产者服务。在服务配置中找到“Max Request Timeout(ms)”字段并增加其值，以增加生产者请求的超时时间。
-
调整Nifi的线程池大小 如果Nifi的线程池大小不足以处理大量的Kafka消息，就会出现超时异常。可以通过在nifi.properties文件中设置以下属性来增加线程池的大小： nifi.queue.backpressure.count=10000 nifi.queue.backpressure.size=1GB nifi.remote.input.secure=false nifi.remote.input.socket.port=10443 nifi.remote.input.http.enabled=true nifi.remote.input.http.transaction.ttl=30 sec
-
增大Nifi服务器的内存 如果Nifi服务器的内存不足以处理Kafka消息，那么可以考虑增加Nifi服务器的内存。您可以通过更改nifi-env.sh文件中的JAVA_MIN_MEM和JAVA_MAX_MEM参数来增加Nifi服务器的内存。
以下是一个示例Kafka生产者服务配置，您可以根据自己的需要进行修改：
{ "bootstrap.servers": "localhost:9092", "acks": "all", "retries": 0, "batch.size": 16384, "linger.ms": 1, "buffer.memory": 33554432, "max.request.size": "1048576", "max.block.ms": "10000" }