NiFi 1.16.3 生产使用的更新及BUG。

Posted 2022-11-12 青冬

序

公司本人负责的 NiFi 集群差不多 50+。已经有一半集群从1.15.2 升级到 1.16.3 版本，平均升级时间 5min左右，其中还涉及到一些扩容操作。但如果依托到 ambari 或者其他管理平台肯定花费时间会大大增加。

更新特新

https://cwiki.apache.org/confluence/display/NIFI/Release+Notes#ReleaseNotes-Version1.16.3

个人使用体验

• 终于把HDFS连接相关的进行了更新，提升hdfs-client版本到3.3，修复了很多版本，终于不用创建那么多安全线程了：
  

• 1.16.X 更新了 flow.json，确实写入速度变快了，体积变小了一半：
  but 现在的判断条件时 flow.json/xml 。但是也引入了一个新的bug：在 cluster 中，如果该node 没有flow.json/xml 的话，这个节点启动不会创建 flow.json，并且在比较和 cluster中的flow.json的时候会报 java.lang.NullPointerException问题。所以要手动进行copy一个，或者单节点启动一次再加入集群。

• listFTP 更新，进行了几个类的开发，解决了代理导致的各种问题：
  but 引入了新的bug，导致username/userpassword/ftp_ip 无法使用变量，需要重新打包standard，并更新重启集群。

• 解决了很多高危漏洞，但没有解决 apache common configuration，涉及了几个包，包含 frameword包，又要重新打nar包，打依赖。

• 加了retry，这个还是比较喜欢。

期望

• 跟 knox 配合打好一点，真的搭建起来是一个痛苦的过程。
• minifi 的使用体验真的很不好，如果脱离了CEP只能使用成这样，建议优先开发类似CEP的管理工具。