NIFI同步API接口数据

Posted 2022-08-24 DATA数据猿

NIFI同步API接口数据

前言

​ 通过NIFI同步工具，从API接口中获取指定数据，并同步到mysql数据库

一、测试接口

1.接口地址

https://api.apiopen.top/api/getImages?page=0&size=5

2.接口数据

二、NIFI任务流部署

1.InvokeHTTP

1.1 配置

HTTP Method 指定类型

Remote URL 指定API接口

1.2 InvokeHTTP Response

2.EvaluateJsonPath

1.1 配置

Desitination设置为flowfile-attribute时,则可以设置多个参数

Retrun Type设置为json，因为我们要获取json数据中嵌套json里的数组内容

添加参数code ，获取json中的code值

添加参数message，获取json中的message值

添加参数total，获取json中嵌套json的total值

添加参数result，获取json中嵌套json里的数组list

1.2 EvaluateJsonPath Match

3.ReplaceText

3.1 配置

获取上一步中的result数据，以便进行下一步的切分

3.2 ReplaceText Success

4.SplitJson

4.1 配置

4.2 SplitJson Split

通过splitJson后，会将result中的五条json数据切分开

5.EvaluateJsonPath

5.1 配置

获取result数据中的id,title,type,url等数据

5.2 EvaluateJsonPath Match

6.ReplaceText

6.1 配置

获取第二步中的code,message,total等数据

获取第五步中的result_id,title,type,url等数据

insert into nifi_aip_data values($result_id,$code,'$message',$total,'$title','$type','$url')

6.2 ReplaceText Success

7.PutSQL

7.1 配置

7.2 PutSQL Success

8.数据源连接配置

8.1 数据源连接管理

8.2 数据源连接配置