对比hive和mysql 复杂逻辑流处理

Posted amyliushu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了对比hive和mysql 复杂逻辑流处理相关的知识,希望对你有一定的参考价值。

 

1.mysql中可用存储过程和函数来实现复杂逻辑处理,两者的对比如下:
存储过程作为可执行文件,编译一次放在数据库中,函数又返回值。可设定使用权限。

存储过程中可使用游标,声明变量。用call调用。

 

2.Hive可用udf(user defined function)来实现复杂逻辑处理

  • 编辑Python脚本

常用的Python字符串分割处理函数有:split 等等

 

  • 加载udf

 

  • 调用udf

HQL语法

可将返回结果重新写入其他表内,此时 as后字段和插入表字段一致

 

 

以上是关于对比hive和mysql 复杂逻辑流处理的主要内容,如果未能解决你的问题,请参考以下文章

Flinkflink流批一体

Apache流处理框架对比

流式处理框架对比

6.流处理说明流计算与批计算对比数据时效性不同数据特征不同应用场景不同应用场景不同运行方式不同

输出流作为类成员

Hive Read & Write Flink