玩转 Elasticsearch 的 SQL 功能

Posted OSC开源社区

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了玩转 Elasticsearch 的 SQL 功能相关的知识,希望对你有一定的参考价值。


链接:

https://my.oschina.net/u/569210/blog/1836797

转载请在文中注明来源和作者


最近发布的 Elasticsearch 6.3 包含了大家期待已久的 SQL 特性,今天给大家介绍一下具体的使用方法。


首先看看接口的支持情况


目前支持的 SQL 只能进行数据的查询只读操作,不能进行数据的修改,所以我们的数据插入还是要走之前的常规索引接口。


目前 Elasticsearch 的支持 SQL 命令只有以下几个:


玩转 Elasticsearch 的 SQL 功能


我们分别来看一下各自怎么用,以及有什么效果吧,自己也可以动手试一下,看看。

首先,我们创建一条数据:


玩转 Elasticsearch 的 SQL 功能


RESTful 下调用 SQL


在 ES 里面执行 SQL 语句,有三种方式,第一种是 RESTful 方式,第二种是 SQL-CLI 命令行工具,第三种是通过 JDBC 来连接 ES,执行的 SQL 语句其实都一样,我们先以 RESTful 方式来说明用法。


RESTful 的语法如下:


玩转 Elasticsearch 的 SQL 功能


因为 SQL 特性是 xpack 的免费功能,所以是在 _xpack 这个路径下面,我们只需要把 SQL 语句传给 query 字段就行了,注意最后面不要加上 ; 结尾,注意是不要!


我们执行上面的语句,查询返回的结果如下:


玩转 Elasticsearch 的 SQL 功能


ES 俨然已经变成 SQL 数据库了,我们再看看如何获取所有的索引列表:


玩转 Elasticsearch 的 SQL 功能


返回如下:


玩转 Elasticsearch 的 SQL 功能


有点多,我们可以按名称过滤,如 twitt 开头的索引,注意通配符只支持 %和 _,分别表示多个和单个字符(什么,不记得了,回去翻数据库的书去!):


玩转 Elasticsearch 的 SQL 功能


上面返回的结果都是:


玩转 Elasticsearch 的 SQL 功能


如果要查看该索引的字段和元数据,如下:


玩转 Elasticsearch 的 SQL 功能


返回:


玩转 Elasticsearch 的 SQL 功能


都是动态生成的字段,包含了 .keyword 字段。 还能使用下面的命令来查看,主要是兼容 SQL 语法。


玩转 Elasticsearch 的 SQL 功能


另外,如果不记得 ES 支持哪些函数,只需要执行下面的命令,即可得到完整列表:


玩转 Elasticsearch 的 SQL 功能


返回结果如下,也就是当前6.3版本支持的所有函数,如下:


玩转 Elasticsearch 的 SQL 功能

玩转 Elasticsearch 的 SQL 功能

玩转 Elasticsearch 的 SQL 功能


同样支持通配符进行过滤:


玩转 Elasticsearch 的 SQL 功能


结果:


玩转 Elasticsearch 的 SQL 功能


那如果要进行模糊搜索呢,Elasticsearch 的搜索能力大家都知道,强!在 SQL 里面,可以用 match 关键字来写,如下:


玩转 Elasticsearch 的 SQL 功能


最后,还能试试 SELECT 里面的一些其他操作,如过滤,别名,如下:


玩转 Elasticsearch 的 SQL 功能


结果如下:


玩转 Elasticsearch 的 SQL 功能


或是分组和函数计算:


玩转 Elasticsearch 的 SQL 功能


结果如下:


玩转 Elasticsearch 的 SQL 功能


SQL-CLI 下的使用


上面的例子基本上把 SQL 的基本命令都介绍了一遍,很多情况下,用 RESTful 可能不是很方便,那么可以试试用 CLI 命令行工具来执行 SQL 语句,妥妥的 SQL 操作体验。


切换到命令行下,启动 cli 程序即可进入命令行交互提示界面,如下:


玩转 Elasticsearch 的 SQL 功能


当你看到一个硕大的创口贴,表示 SQL 命令行已经准备就绪了,查看一下索引列表,不,数据表的列表:


[attach]2546[/attach]


各种操作妥妥的,上面已经测试过的命令就不在这里重复了,只是体验不一样罢了。


玩转 Elasticsearch 的 SQL 功能


JDBC 对接


JDBC 对接的能力,让我们可以与各个 SQL 生态系统打通,利用众多现成的基于 SQL 之上的工具来使用 Elasticsearch,我们以两个工具来举例。


和其他数据库一样,要使用 JDBC,要下载该数据库的 JDBC 的驱动,我们打开: https://www.elastic.co/downloads/jdbc-client


玩转 Elasticsearch 的 SQL 功能


只有一个 zip 包下载链接,下载即可。



下载安装启动之后的程序主界面如下图:


玩转 Elasticsearch 的 SQL 功能


我们如果要使用 ES 作为数据源,我们第一件事需要把 ES 的 JDBC 驱动添加到 DbVisualizer 的已知驱动里面。我们打开 DbVisualizer 的菜单【Tools】-> 【Driver Manager】,打开如下设置窗口:


玩转 Elasticsearch 的 SQL 功能


点击绿色的加号按钮,新增一个名为 Elasticsearch-SQL 的驱动,url format 设置成 jdbc:es:,如下图:


玩转 Elasticsearch 的 SQL 功能


然后点击上图黄色的文件夹按钮,添加我们刚刚下载好且解压之后的所有 jar 文件,如下:


玩转 Elasticsearch 的 SQL 功能


添加完成之后,如下图:


玩转 Elasticsearch 的 SQL 功能


就可以关闭这个 JDBC 驱动的管理窗口了。下面我们来连接到 ES 数据库。


选择主程序左侧的新建连接图标,打开向导,如下:


玩转 Elasticsearch 的 SQL 功能


选择刚刚加入的 Elasticsearch-SQL 驱动:


玩转 Elasticsearch 的 SQL 功能


设置连接字符串,此处没有登录信息,如果有可以对应的填上:


玩转 Elasticsearch 的 SQL 功能


点击 Connect,即可连接到 ES,左侧导航可以展开看到对应的 ES 索引信息:


玩转 Elasticsearch 的 SQL 功能


同样可以查看相应的库表结果和具体的数据:


玩转 Elasticsearch 的 SQL 功能


用他自带的工具执行 SQL 也是不在话下:


玩转 Elasticsearch 的 SQL 功能


同理,各种 ETL 工具和基于 SQL 的 BI 和可视化分析工具都能把 Elasticsearch 当做 SQL 数据库来连接获取数据了。


最后一个小贴士,如果你的索引名称包含横线,如 logstash-201811,只需要做一个用双引号包含,对双引号进行转义即可,如下:


关于 SQL 操作的文档在这里:


  • https://www.elastic.co/guide/en/elasticsearch/reference/current/sql-jdbc.html


Enjoy!

玩转 Elasticsearch 的 SQL 功能


推荐阅读






点击“阅读原文”查看更多精彩内容

以上是关于玩转 Elasticsearch 的 SQL 功能的主要内容,如果未能解决你的问题,请参考以下文章

Elasticsearch:从零开始到搜索 - 使用 Elasticsearch 摄取管道玩转你的数据

五分钟带你玩转Elasticsearch还不了解Elasticsearch?带你全方位认知

五分钟带你玩转Elasticsearch还不了解Elasticsearch?带你全方位认知

玩转大数据系列之四:搜索服务

elasticsearch使用7大原则,轻松玩转ES

五分钟带你玩转docker实战elk环境——elasticsearch搭建