IDEA 中使用 Big Data Tools 连接大数据组件

Posted 2022-05-26 JasonLee实时计算

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了IDEA 中使用 Big Data Tools 连接大数据组件相关的知识，希望对你有一定的参考价值。

简介

Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，数字开放空间，Microsoft Azure 和 Hadoop 分布式文件系统（HDFS）来监视和处理数据的特定功能。

下面来看一下 Big Data Tools 的安装和使用，主要会配置 Flink,Kafka 和 HDFS。

安装 Big Data Tools 插件

image-20220522170703800

点击安装完成之后，需要重启一下 IDEA，插件才能生效，上面我已经安装过了。

Flink 配置（不推荐）

flink 需要下载即将发布的 IDEA 2022.2-EAP 版本才有，因为之前是不支持 flink 的。

image-20220522202515845

先点击 IDEA 右侧的 Big Data Tools，然后点击加号就可以添加 Flink 组件了。

image-20220522202819718

输入 Flink WEB UI 地址，点击 OK 就可以了。

image-20220522203842116

这样就可以直接在 IDEA 里面查看 Flink Dashboard，跟在 Web UI 上的功能完全一样，点击箭头所指的地方可以直接跳转到 Flink UI,虽然可以直接在 IDEA 里面查看 Dashboard，但是个人感觉还是在 Flink Web UI 上查看更加方便，可能是看习惯了。不是太推荐这个功能。

Kafka 配置（推荐）

然后来看一下 kafka 的配置。

image-20220522205522598

同样的，点击加号选择 Kafka 然后设置一下 Kafka 集群的 broker list ，点击 OK 就行了。

截屏2022-05-22 下午8.58.27

可以看到所有 topic 的详细信息，包括 partition，replicas 等，还可以查看 Consumers 的情况，这个功能还是不错的，虽然现在也有很多开源的 kafka 监控工具，但是配置起来还是有一点门槛，这个插件的配置几乎是零门槛，对于简单的查看 kafka 的信息还是非常不错的。

HDFS 配置（推荐）

最后再来配置一个 HDFS。

image-20220522211549151

Authentication type 选择 Explicit uri 然后设置一下 HDFS 服务地址就可以了。

image-20220522212131641

直接就可以查看 HDFS 上的目录及文件，这个功能还是非常方便的，就不用在登录 HDFS-Web 去查看文件了。

总结

从 Big Data Tools 插件的安装配置到使用，主要介绍了 Flink，Kafka,HDFS,这三个组件的配置使用，整个配置过程是非常简单的，当然这个插件支持的组件远不止这些，包括像 spark，hive，zeppelin 等都是支持的，感兴趣的同学可以自己在 IDEA 里面体验一下，整体上来说，这个插件还是非常有用的。

IDEA 中使用 Big Data Tools 连接大数据组件

简介

安装 Big Data Tools 插件

Flink 配置（不推荐）

Kafka 配置（推荐）

HDFS 配置（推荐）

总结

推荐阅读