Impala初试

Posted 2021-04-24 菜鸟学大数据

    有了Impala之后，接下来我们就先做一个简单的示例。采用ClouderaImpalaJdbc的java API。上代码先：

    这里，主要就是连接Impala的代码，我们从终端输入送那个参数，分别是我们需要查询的SQL语句，Impala daemon所在的任意一台机器，提供JDBC连接的端口，在这里如果没有修改的话默认是21050。

ImpalaUtil类中，主要是连接Impala的代码块，如下：

    第一个方法是连接impala，可以看到和去连接hive的步骤几乎是一样的，我们在connectionUrl后加入了auth=noSasl，表示不允许或者不尝试SASL验证，同时我们可以看到，我们用的hive的jdbc。

    第二个方法是查询得到查询结果，很眼熟的代码。我们调用了connectImpala，然后去执行查询语句，最后返回。

    将代码打包成jar，提交到集群，命令如下：

    这里为了测试，我采用了yarn-client的提交模式，同时加入了三个参数，在最后面，然后回车之后，会进行任务的提交。

    这里需要注意的地方是，我们的impalahost指的是Impala Daemon所在的主机，而不是Impala statestore所在的节点，要不然不成功。端口如果修改了的话需要改成自己修改之后的port值。要不然会报出如下的错误：

最后得出的结果如下：

嗯，很简单。

如有问题，欢迎指正！