使用Antlr4和neo4j解析sql生成数据地图

Posted 2022-12-09 大树的困惑

使用Antlr4和neo4j解析sql生成数据地图

杂谈1:

之前学习搭建atlas平台的时候就很好奇他是如何解析sql,然后根据sql生成对应的血缘图的,在学习spark源码的过程中认识了antlr4 这样一个可以根据自定义语法规则来解析成语法树的工具

于是我就希望可以参考atlas的解析功能,将复杂的长sql解析出它的数据地图出来.

杂谈2:

那么有人会问了,这样做的意义在哪里.

如果做过数据开发之类的工作的话,应该会遇到那种情况,

维护了大量的表,但是不知道这些表究竟被谁用了,

因为迭代更新,可能需要改动表结构,但是不知道会影响到哪些表,这种情况比比皆是.

或者是某些表已经启用了,成了数据孤岛了,但是你还一直浪费资源维护它,种种情况,让我们意识到数据库表的元数据维护的重要性.

杂谈3:

实现这个功能主要是通过用antlr4定义了sql的语法规则,生成对应的接口代码,让我们可以遍历sql的语法树

然后就算监听节点,解析sql,然后构建成neo4j能够识别的语言进行导入和展示

更多情况下我们省去了麻烦手动维护在execl中,但是数据的准确性以及实时性得不到保证,所以及时进行元数据管理,可以避免发展后期形成数据沼泽.

apache Atlas 1.2.0 搭建以及hive的集成

https://blog.csdn.net/weixin_44445168/article/details/110727429

Antlr4学习笔记

https://blog.csdn.net/weixin_44445168/article/details/111060493

环境准备

antlr4

利用antlr4生成的语法树,通过它提供的监听接口,可以监听到每个节点及其子节点的内容和状态,以此来解析我们的sql

这里解析的sql选用oracle,oracle对应的plsql.g4文件在antlr4git中已经提供了

https://github.com/antlr/grammars-v4/tree/master/sql/plsql

我也已经上传到资源库了

https://download.csdn.net/download/weixin_44445168/14967225

生成对应的接口文件后(可以看上面关于antlr4 的博客关于接口文件如何生成)

关于入口节点我们选用compilation_unit

我们可以测试一下

这里提供一条测试sql

select * from tablea  a 
left join 
tableb  b on a.id=b.id 
left join 
tablec  c on a.id=c.id 
left join 
(select id from  tabled d left join tablee on e.id =d.id) d1 
on d1.id=a.id 

可以看到右边就是我们将sql解析后的语法树,我们可以先观察哪些节点是我们需要的,以及哪些节点需要如何处理.

NEO4J

概述

​ 图形数据库是以图形结构的形式存储数据的数据库。 它以节点，关系和属性的形式存储应用程序的数据。 正如RDBMS以表的“行，列”的形式存储数据，GDBMS以“图形”的形式存储数据。

对于NEO4J这里不多做赘述,我也是为了借鉴atlas才拿来用的,所以如果后续感兴趣的话在进行进一步的探索图数据库

这里提供一份免费的neo4j资源当然你也可以去对应的官网下载

https://download.csdn.net/download/weixin_44445168/14965747

下载neo4j 后免安装解压后进入安装bin目录,调出cmd,执行

neo4j.bat console 

可以看到对应的端口以及起来了,可以通过访问

http://localhost:7474 进入neo4j的web界面

如果是第一次的话,需要重置一下登录密码,

zh:neo4j

mm:neo4j

这里提供一份测试代码

public static void main(String[] args) 
//测试
        Driver driver = GraphDatabase.driver("bolt://localhost:7687", AuthTokens.basic("neo4j", "admin"));
        Session session = driver.session();
        session.run("CREATE (a:Person name: name, title: title)",
                parameters("name", "Arthur001", "title", "King001"));

        StatementResult result = session.run("MATCH (a:Person) WHERE a.name = name " +
                        "RETURN a.name AS name, a.title AS title",
                parameters("name", "Arthur001"));
        while (result.hasNext()) 
            Record record = result.next();
            System.out.println(record.get("title").asString() + " " + record.get("name").asString());
        
        session.close();
        driver.close();

代码上传到github上了,有兴趣的可以下载玩玩

antlr4 非研发的还是建议不要去探索,我反正比较吃力

https://github.com/lxw2/Antrl4_Plsql

目前简单的展示,如果你有更好的想法欢迎一起交流

补充:

neo4j 在调试过程中比较常用的一些语句

查询某个节点的内容

MATCH (n:tables) RETURN n LIMIT 25

删除所有的关系

MATCH (n:tables)-[r]-() DELETE n,r 

删除所有的节点 (如果删除的节点中存在带有关系的,需要先删除关系)

MATCH (n:tables) delete n 

创建节点标签并为之创建关联关系

CREATE (t_02:tables comment:'table:t_02',status:'live') 
CREATE (t_01:tables comment:'table:t_01',status:'live')
create (t_02)-[:join]->(t_01)

对这些语句有兴趣的可以去以下网站了解,获取博客,现在已经有很多这种博客提供查阅了

https://www.w3cschool.cn/neo4j/

–仅供个人学习使用参考